피어세션240821

강의내용 Review

• 데이터 부족을 해결:
  • train dataset을 model로 학습을 하고 실제 상황에서 잘하는 게 중요하기 때문에, 수집된 데이터와 실제 환경의 다른 분포를 사용하는 것이 중요함.
  • 실제 환경과 유사한 모습으로 augmentation을 적절하게 선택하는 것이 중요함 (예: 사람의 경우 flip, 밤낮의 경우 색채 조정 등).
• RNN의 구조적 한계:
  • RNN의 장점은 input sequence가 달라져도 모델이 달라지지 않는다는 것.
  • 하지만, 길어질수록 gradient가 사라지게 되는 vanishing gradient 문제가 발생함.
• LSTM vs GRU:
  • LSTM은 GRU보다 성능은 좋지만, 파라미터 수가 많아 무겁다.
  • GRU는 파라미터 수가 적어 경량화된 장점이 있다.
• Attention 연산의 한계:
  • attention 연산은 모든 sequence를 다 비교하기 때문에 연산량이 많아진다.
  • n개의 input sequence가 있을 때 연산량이 n^3에 비례한다.

취업 노하우

• CV 작성:
  • 외국에서는 한 장으로 축약하는 것이 역량으로 평가됨. 사진은 거의 넣지 않음.
  • word나 overleaf로 작성하는 것이 일반적.
• 면접 전략:
  • 면접관을 궁금하게 만드는 것이 중요함. 질문이 들어오고 대화가 이어져야 함.
  • 1분 자기소개 시 너무 많은 정보를 한꺼번에 말하지 말고, 질문을 유도하는 방식으로 진행.

대학원 노하우

• 다음 transformer 연구:
  • Mamba 모델을 읽어봐야 Samba 모델을 이해할 수 있음.
• 아이클레어 및 학회 참여:
  • 아이클레어: 오픈리뷰 플랫폼으로 진행, 리뷰어가 점수를 내고 찬반을 평가.
  • 뉴립스: 수학적인 내용이 많음.
  • 학회 준비: 시기가 안 겹치면 리젝된 후 부족한 점을 보완하여 다음 학회에 제출하는 것도 좋은 전략.