Boostcamp AI Tech OnBoarding Course(Day 4)

1. 심화 과제 제출

• ViT (Assignment6)
• MHA(Multi-headed Attention)을 computer vision 문제에 적용한 ViT 모델을 직접 구현
• 최근 다양한 분야에서 활발하게 적용되고 있는 transformer를 어떤 식으로 다른 문제에 적용할 수 있는지 확인하고, 모델 구조 설명을 기반으로 실제 pytorch 코드로 구현

• Training과 testing 모듈, 그리고 attention map을 visualization하는 코드로 직접 구현한 모델이 잘 작동하는지 확인
  
  

• AAE (Assignment7)
• Generative model인 Adversarial Autoencoder (AAE)의 Encoder와 Discriminator에 필요한 Layer들을 직접 쌓아보는 실습
• Decoder의 layer 예시를 보고 layer과 파라미터를 자유롭게 변경
• AAE의 개념과 VAE의 Reparametrization 트릭에 대해서 배움
• Hyperparameter를 변경면서 자유롭게 네트워크를 train/inference
  
  

2. 오늘 들은 강의의 Further Questions

• Generative Models에 대해 어떻게 과거의 정보를 가지고 새로운 정보를 생성해내는 것인지, 직접 수식을 써가며 확률론적으로 이해
• VAE에서의 Evidence Lower Bound를 직접 수식을 써가면서 유도
• GAN의 Objective Function이 어떻게 구성되어있는지 수식적으로 이해
  
  

3. 오늘 들은 강의의 Further Reading

• Autoregressive Models
• 1시간만에 GAN(Generative Adversarial Network) 완전 정복하기
• An Introduction to Variational Autoencoders
  
  

4. 기본 과제 제출

• (기본 과제 1) Basic Math
• (기본 과제 2) Numpy
• (기본 과제 3) Pandas