[논문리뷰]AlexNet(클래스 분류)

ImageNet Classification with Deep Convolutional Neural Networks

논문 출처 : https://papers.nips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html​

 

■ 논문을 접한 계기 

CNN 구조의 초석을 닦은 신경망으로 AlexNet의 이름은 논문에서 인용이 많이 되어서 고유명사는 익숙했지만 내용은 전혀 모르는 상태였습니다. 2개의 GPU로 학습하는 과정을 구현하는 방법과 dropout 기술에 대해 궁금증이 생겨 오래된 논문을 찾아보게 되었습니다.

 

■ AlexNet의 컨셉 요약

- 합성곱 신경망을 통해 1000개의 클래스로 분류하는 작업을 수행합니다.

- 5개의 합성곱 신경망(convolution layer)로 구성되어 있으며, Max Pooling Layer와 3개의 Fully Connected Layer, 최종적으로 소프트맥스 함수를 활용해 1000개 카테고리로 분류합니다.

- 활성화 함수로 Relu 함수를 사용하여 비선형성을 갖는 뉴런을 선형 단위로 변환합니다.

- GPU를 독립적으로 학습시키다가 3번째 합성곱 신경망에서는 병렬처리(통합)하여 학습시킵니다.

- dropout은 모델을 결합하는 방법으로 0.5를 곱하는 방식으로 가중치는 공유하지만 신경망은 서로 다른 구조를 띄게 되고 신경망끼리의 의존성을 감소시키는 역할을 합니다.

- AlexNet에서는 2개의 Fully Connected Layer에만 dropout을 적용하였습니다.

 

■ 용어 정리

- dropout : 과적합을 줄이기 위한 정규화 방법론

- data augmentation : 학습 데이터의 양을 늘리기 위해 원본을 여러가지 기법으로 수정합니다. Alexnet에서는 수평반전과 RGB 픽셀에 변화를 주는 기법을 사용했습니다.