본 논문은 딥러닝 부흥의 기반이 된다. 당시 Deep Neural Network 학습은 거의 불가능하다고 여겨졌었지만, 이를 해결한 연구이다. 또한 본 논문에서 제안한 모델인 DBN은 여러 개의 RBM으로 이루어져 있으며, 생성 모델이다. 생성 모델임에도 불구하고 마지막 layer에서 Label vector를 더함으로써 기존의 분류 모델보다 우수한 성능을 보였다. 1. 연구 배경2000년대 초반까지 심층 신경망(Deep Neural Network)의 학습은 거의 불가능하다고 여겨졌습니다. 역전파(backpropagation)를 통해 수많은 은닉층을 동시에 학습시키는 것은 계산량과 최적화 문제 때문에 사실상 작동하지 않았습니다. 특히 explaining-away 문제로 인해 은닉변수의 사후확률(post..

본 논문에서는 AutoEncoder에 대해 다룬다. AutoEncoder는 PCA보다 차원 축소 능력이 좋았고, 이로 인한 성능 향상을 이끌어냈다. 흥미로웠던 점은 현재 AutoEncoder는 차원 축소보다는 생성 모델, 이상 탐지, 노이즈 제거 역할로 사용하는데, 이는 본 논문에도 나오는 AutoEncoder의 차원 축소 후 복원 능력의 우수함에 초점을 더욱 맞춰나갔다는 것을 알 수 있었다. 1. 서론 – 차원 축소 문제와 한계데이터가 점점 고차원화되면서 차원 축소(dimensionality reduction)는 필수적인 과제가 되었다.예를 들어,손글씨 숫자 이미지(MNIST)는 28×28 = 784차원,뉴스 기사 데이터는 수천 개의 단어 차원,얼굴 이미지 데이터는 수백에서 수천 차원으로 표현된다...

Deep Learning에 대한 전반적인 흐름과 내용을 담고 있는 Review Paper이다. 한 눈에 보는 핵심딥러닝은 여러 층으로 이루어진 표현을 데이터로부터 직접 학습하고, 그 표현을 역전파(backpropagation)로 동시에 다듬으면서, 음성·시각·자연어 등 거의 모든 인지 과제의 정답률을 밀어 올렸다. 특히 합성곱 신경망(ConvNet)은 이미지·오디오에, 순환 신경망(RNN)/LSTM은 시퀀스에 강하다. 요컨대 “수작업 Feature Engineering” 대신 데이터와 계산을 늘릴수록 자연히 성능이 오르는 일반 해법을 제시했다는 점이 결정적이다. 왜 ‘딥(Deep)’이어야 하나 → 표현학습의 관점전통적 머신러닝은 “좋은 특징”을 사람이 설계하고 그 위에 얕은 분류기를 얹는 구조였다..

Optimization 머신러닝 혹은 딥러닝은 실제 값과 예측 값 사이의 오차를 줄이는 것이 주목적입니다. 이때 오차를 확인하기 위한 함수를 손실 함수(목적 함수)라고 합니다. 즉, 손실 함숫값을 줄이는 것이 머신러닝 혹은 딥러닝의 주 목적이며 손실 함수 값을 최소화하는 파라미터를 찾는 과정이 바로 Optimization(최적화)입니다. Optimization의 종류는 많지만 그중 가장 널리 알려진 Gradient Descent(경사 하강법)에 대해 알아보고자 합니다. Gradient Descent Gradient Descent(경사 하강법)는 말 그대로 경사를 타고 이동하면서 최솟값을 갖는 지점을 찾는 기법입니다. 예를 들어 아래와 같은 2차 함수가 존재한다고 가정해보도록 하겠습니다. 위 그림..

What is Feed-Forward Neural Network(FNN)? Feed-Forward Neural Network(FNN)(계층형 신경망)은 신경망의 기본입니다. 계층형 신경망은 일반적으로 입력층, 은닉층(중간층), 출력층으로 구성됩니다. 입력층 신경망에 할당하는 입력 정보를 가져오며, 이 층에 속한 유닛은 입력을 의미하는 화살표 선이 존재하지 않으므로 데이터에서 얻은 값을 그대로 출력합니다. 은닉층(중간층) 신경망에서 실질적으로 정보를 처리하는 부분이며, y = a(w_1x_1+w_2x_2+b)와 같은 식을 처리합니다. 연산된 결과는 화살표 방향에 맞게 유닛에 전달합니다. 출력층 은닉층(중간층)과 동일하게 y = a(w_1x_1+w_2x_2+b)와 같은 식을 처리하면서 연산 결과를 출력합니다..