Fine Tuning 방법 조사

• /LoRA (Low-Rank Adaptation, arxiv:2106.09685)
  • /Microsoft
    해당 document에서 제공하는 github repo의 clone
    loralib라는 package를 만들어 pip에 업로드 해놓은 것 같으니 그걸 사용해도 될 것 같음
    example에 있는 예제 바탕으로 본 연구에 적용해보는 것도 좋을 듯
  • /LinearLoRA CAPTCHA, MNIST 데이터셋 load하고 CNN으로 학습하는 간단한 형태의 모델 학습 성공하면, 충분하게 Large model로 만들어서 Distillation하려고 함