일단 일차적으로 구현한 hard-module은 아래 사진과 같은 구조를 가지고 있습니다.
특히
- One-hot task id 는 f.c. embedding layer(10->400->256)를 거친 뒤,
각 레이어마다 아래
- select_fc (256->4) 를 통과하여 4개 module중 어떤 것을 선택할지 gumbel-softmax를 통해 선택합니다.
- select_cond_fc(4->256)을 통과하여, task embedding과 elementwise곱을 통해 다음 레이어의 select_fc 인풋으로 사용됩니다.
의도한 건 아닌데
https://arxiv.org/abs/1711.01239
이 페이퍼와도 접점이 있는 것 같습니다.
저 논문에서는 아래처럼 각 Task (Ti)에 대해 트레이닝 진행도에 따라 어떤 module들이 선택되는지
그려놓은게 있었는데 training과정에서 저런거 그려보면 도움 될 것 같아 log를 남겨놓고 분석해보겠습니다~~
일단 일차적으로 구현한 hard-module은 아래 사진과 같은 구조를 가지고 있습니다.
특히
각 레이어마다 아래
의도한 건 아닌데
https://arxiv.org/abs/1711.01239
이 페이퍼와도 접점이 있는 것 같습니다.
저 논문에서는 아래처럼 각 Task (Ti)에 대해 트레이닝 진행도에 따라 어떤 module들이 선택되는지
그려놓은게 있었는데 training과정에서 저런거 그려보면 도움 될 것 같아 log를 남겨놓고 분석해보겠습니다~~