Optimization 머신러닝 혹은 딥러닝은 실제 값과 예측 값 사이의 오차를 줄이는 것이 주목적입니다. 이때 오차를 확인하기 위한 함수를 손실 함수(목적 함수)라고 합니다. 즉, 손실 함숫값을 줄이는 것이 머신러닝 혹은 딥러닝의 주 목적이며 손실 함수 값을 최소화하는 파라미터를 찾는 과정이 바로 Optimization(최적화)입니다. Optimization의 종류는 많지만 그중 가장 널리 알려진 Gradient Descent(경사 하강법)에 대해 알아보고자 합니다. Gradient Descent Gradient Descent(경사 하강법)는 말 그대로 경사를 타고 이동하면서 최솟값을 갖는 지점을 찾는 기법입니다. 예를 들어 아래와 같은 2차 함수가 존재한다고 가정해보도록 하겠습니다. 위 그림..

What is Feed-Forward Neural Network(FNN)? Feed-Forward Neural Network(FNN)(계층형 신경망)은 신경망의 기본입니다. 계층형 신경망은 일반적으로 입력층, 은닉층(중간층), 출력층으로 구성됩니다. 입력층 신경망에 할당하는 입력 정보를 가져오며, 이 층에 속한 유닛은 입력을 의미하는 화살표 선이 존재하지 않으므로 데이터에서 얻은 값을 그대로 출력합니다. 은닉층(중간층) 신경망에서 실질적으로 정보를 처리하는 부분이며, y = a(w_1x_1+w_2x_2+b)와 같은 식을 처리합니다. 연산된 결과는 화살표 방향에 맞게 유닛에 전달합니다. 출력층 은닉층(중간층)과 동일하게 y = a(w_1x_1+w_2x_2+b)와 같은 식을 처리하면서 연산 결과를 출력합니다..

What is Bias? 출력 신호 전달 여부는 각 입력 신호와 가중치의 곱의 합이 임계값 이상이면 신호를 전달하고, 임계값 미만이면 신호를 전달하지 않습니다. 이 식을 변형해보면 조금 다른 방향으로 해석이 가능합니다. 위 식과 같이 "- (임계값)"을 "+b"로 치환할 수 있으며, 이때 b를 편향(Bias)라고 합니다. 그렇다면 변형된 식을 이용하여 출력 신호 여부를 표현해본다면 아래와 같이 나타낼 수 있습니다. 단순 모형으로 표현해보면 아래와 같이 편향을 하나의 입력 신호로 볼 수 있으며, 이때 가중치는 1이라고 볼 수 있습니다. What is Activation Function? 먼저 이전 포스팅에서 뉴런의 신호 전달 과정을 알아보았습니다. 이때 출력 신호는 0 또는 1이었지만, 이것은 생물학적인 ..

Signal Transmission in Neurons 인간의 뉴런이 신호를 전달하는 방식에서 고안된 인공신경망을 알아보기 위해 먼저 뉴런의 구조와 신호 전달 방식을 알아보아야 합니다. 뉴런에 신호가 입력되면 신경 세포체는 입력된 신호를 모두 더합니다. 그리고 더한 신호를 다른 뉴런에게 전달하고 임계값을 넘을 경우 신호가 전달되고 임계값을 넘지 못하는 경우에는 무시합니다. 이때, 입력된 신호마다 상대적으로 중요한 신호가 존재하고, 상대적으로 중요하지 않은 신호가 존재합니다. 그래서 단순히 신호를 전달하는 것이 아니라 가중치라는 것이 신호에 부여되는데, 이는 신호의 중요도를 보여준다고 할 수 있습니다. 임계값을 넘지 못해 신호가 전달되지 않으면 출력 값이 0, 임계값을 넘어 신호가 전달되면 출력 값이 1이..

Before entering... 인공지능? 머신러닝? 딥러닝? 21세기에 혜성같이 등장한 알파고... 알파고와 이세돌 기사와의 대국, 그 후 인공지능에 대한 관심을 치솟았습니다. 인공지능에 대한 관심이 치솟음과 동시에 그와 관련된 머신러닝, 딥러닝마저 언급되는 빈도가 매우 늘었습니다. 하지만 여러분들은 인공지능, 머신러닝, 딥러닝에 대해 어느 정도 아시나요? 저 역시도 이 분야에 대해 공부하기 전에는 인공지능, 머신러닝, 딥러닝에 대해 익숙하게 듣기만 했지만 정작 각각 무엇인지 설명하지 못했었습니다. 이번 시간에는 이 세 개가 각각 무엇인지 알고자 하는 분들을 위한 포스팅을 적어 내려가도록 하겠습니다. 인공지능 / 머신러닝 / 딥러닝 관계 인공지능, 머신러닝, 딥러닝 이 세 개는 어떤 연관이 있기에 같..