Going Deeper with Convolutions (Szegedy et al.) - [2015 CVPR]
·
AI Research Paper Review/Vision
본 논문에서는 GoogLeNet을 소개한다. AlexNet부터 VGGNet까지 모델의 깊이와 성능이 비례한다는 사실을 이용하여 성능 향상을 도모했지만, 네트워크의 깊이가 깊어질수록 연산량 문제와 과적합 문제에 대해 언급하며 이를 해결하고자 Inception 모듈을 소개한다. Inception 모듈을 통해 sparse 구조를 dense 구조로 근사하였고, 특히, 1x1 Conv + ReLU로 차원 축소와 비선형성까지 더하는 효과까지 내었다는 점에서 큰 의의가 있다. 즉, 본 논문은 단순히 큰 모델이 아닌, 주어진 자원을 효율적으로 배분하여 깊이 있는 모델을 만들고자 하였다. 1. 연구 배경2012년 AlexNet이 ILSVRC에서 압도적인 성능을 보이며 딥러닝 기반 비전 연구의 전환점이 되었고, 이어서..
VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION (Karen Simonyan & Andrew Zisserman) - [2015 ICLR]
·
AI Research Paper Review/Vision
본 논문에서는 VGGNet에 대해 소개하며, 모델의 깊이가 성능 향상에 끼치는 영향에 대해 다룬 논문이다. 또한 큰 필터 하나를 사용하는 것보다 3x3 필터를 여러 개 사용하는 것이 매개변수의 개수도 줄고, 성능 향상도 도모한다는 것을 알아냈다. 또한 마지막 FC 층을 클래스 대신 bounding box 좌표 회귀로 바꿔 학습하여 모델의 깊이가 깊을수록 분류 성능 뿐만 아니라 객체 위치 예측 성능도 향상된다는 것을 밝혔다. 1. 연구 배경과 동기2012년 알렉스넷(AlexNet)이 등장하면서 딥러닝 기반 이미지 분류가 기존의 전통적인 특징 기반 기법들을 완전히 압도하기 시작했다. 이후 여러 연구들이 합성곱 신경망(ConvNet)의 구조를 조금씩 바꾸거나 개선하며 성능을 높이려는 시도를 했다. 예를 들..
ImageNet Classification with Deep Convolutional Neural Networks (AlexNet) (Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton) - [2012 NIPS]
·
AI Research Paper Review/Vision
본 논문에서는 AlexNet 모델에 대해 소개한다. 해당 논문에서는 기존의 CNN을 효과적으로 Large Dataset에 대해 학습하는 방법을 다룬다. 1. 연구 배경과 문제의식2012년 발표된 이 논문은 흔히 “AlexNet”으로 불리며, 현대 딥러닝의 기폭제가 된 대표 연구로 꼽힌다. 당시까지의 컴퓨터 비전 분야는 SIFT, HOG와 같은 수작업 특징 추출기법과, 이로부터 얻은 벡터를 활용한 전통적 머신러닝 분류기(예: SVM, Fisher Vector 기반 분류기)가 주류였다. 이런 방식은 상대적으로 작은 데이터셋에서는 준수한 성능을 보였으나, 대규모 데이터와 복잡한 시각적 다양성을 처리하기에는 한계가 뚜렷했다.반면 합성곱 신경망(CNN)은 이미지 처리에 적합한 구조를 갖추고 있었지만, 두 가지..