[11-1] Deep Learning의 발전

딥러닝은 인공지능(Artificial Inteligence)의 한 분야입니다.

딥러닝의 가장 큰 특징은 연속된 층(layer)을 겹겹이 쌓아 올린 신경망(Neural networks)을 사용해서 학습 방법입니다. 

딥러닝를 구성하는 Key Components를 뽑으라면 4가지를 뽑을 수 있습니다.

 

• Data : Model이 학습할 수 있는 기반
  
  
• Model : Data를 변환하는 방법
  
  
• Loss Function : Model과 Data의 실제 출력값 차이
  
  
• Optimization Algorithm : Loss를 최소화시키는 Parameter들을 찾아서 조정

 

1️⃣ 딥러닝의 발전 

1) AlexNet (2012)

 

- CNN 기반의 알고리즘

- 2012 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 1등한 모델

- 그 전에는 대회에서 딥러닝을 사용하지 않았는데 딥러닝이 실질적으로 사용된 사례

2) DQN (2013)

 

 

- 이세돌 vs 알파고

 

- 강화학습 알고리즘

- 알파고를 만든 DeepMind에서 Atari게임을 훈련시키기 위해 만든 알고리즘

 

3) Encoder / Decoder (2014)

 

 

- NMT(neural machine translation)

- 구글 번역에 들어가는 방법론

- 다른 언어로 된 문장(단어의 연속)이 주어졌을 때 우리가 알고 있는 단어의 연속으로 표현하는 방법

4) Adam Optimizer (2014)

 

- 거의 대부분 딥러닝을 최적화시킬 때 Adam사용

- Adam이 결과가 잘나옴(왜 결과가 잘 나오는지는 모르지만, 실험적인 방법을 사용함)

 

5) GAN (2015)

 

 

- Generic model 생성

- 딥러닝 네트워크가 생성자(Generator)와 구분자(Discriminator)를 경쟁적으로 학습

6) Residual Networks (2015)

 

 

- 딥러닝의 딥러닝

- 딥러닝은 네트워크를 깊게 쌓기 때문에 레이어가 많아지면 성능이 떨어질 수 있음. Residual Networks를 사용하면 레이어가 많아져도 테스트 데이터(학습 데이터 X)의 성능이 좋게 나올 수 있게 만듦.

- 딥러닝 레이어를 깊게 쌓을 수 있게 만들어준 네트워크

7) Transformer (2017)

- 2020년도에 와서야 Transformer 구조가 왠만한 recurrent neural network 구조를 대체

8) BERT(fine-tuned NLP models) (2018)

 

- Transformer 구조를 이용하면서 bidirectional encoder를 이용

- 일반적으로 널려있는 데이터로 pre-training을 한 후, 진짜 풀고자 하는 데이터의 네트워크를 fine-tuning하는 방법

 

9) BIG Language Models (2019)

 

- Fine-tuned NLP models의 끝판왕

- 약간의 fine-tuning을 통해서 다양한 문장, 프로그램, 표 등 시퀀스 모델을 만들 수 있음

- 굉장히 많은 parameter로 되어있음(175 billion)

 

10) Self supervised Learning (2020)

 

 

- 이전에는 분류문제에서 한정된 데이터를 가지고 모델을 바꿔가면서 좋은 결과를 냈었다면, self supervised learning에서는 학습데이터 외에 라벨을 모르는 unsupervised 데이터를 사용

- SimCLR은 visual representation (어떻게 하면 컴퓨터가 잘 이해할 수 있는 벡터로 바꿀 수 있을지, 비지도학습을 같이 활용해서 분류 문제의 성능을 내는 방법)을 잘 나타냄

 

---