CKtrace's Devlog

Optimization 머신러닝 혹은 딥러닝은 실제 값과 예측 값 사이의 오차를 줄이는 것이 주목적입니다. 이때 오차를 확인하기 위한 함수를 손실 함수(목적 함수)라고 합니다. 즉, 손실 함숫값을 줄이는 것이 머신러닝 혹은 딥러닝의 주 목적이며 손실 함수 값을 최소화하는 파라미터를 찾는 과정이 바로 Optimization(최적화)입니다. Optimization의 종류는 많지만 그중 가장 널리 알려진 Gradient Descent(경사 하강법)에 대해 알아보고자 합니다. Gradient Descent Gradient Descent(경사 하강법)는 말 그대로 경사를 타고 이동하면서 최솟값을 갖는 지점을 찾는 기법입니다. 예를 들어 아래와 같은 2차 함수가 존재한다고 가정해보도록 하겠습니다. 위 그림은 2차 ..

What is Feed-Forward Neural Network(FNN)? Feed-Forward Neural Network(FNN)(계층형 신경망)은 신경망의 기본입니다. 계층형 신경망은 일반적으로 입력층, 은닉층(중간층), 출력층으로 구성됩니다. 입력층 신경망에 할당하는 입력 정보를 가져오며, 이 층에 속한 유닛은 입력을 의미하는 화살표 선이 존재하지 않으므로 데이터에서 얻은 값을 그대로 출력합니다. 은닉층(중간층) 신경망에서 실질적으로 정보를 처리하는 부분이며, y = a(w_1x_1+w_2x_2+b)와 같은 식을 처리합니다. 연산된 결과는 화살표 방향에 맞게 유닛에 전달합니다. 출력층 은닉층(중간층)과 동일하게 y = a(w_1x_1+w_2x_2+b)와 같은 식을 처리하면서 연산 결과를 출력합니다..

What is Bias? 출력 신호 전달 여부는 각 입력 신호와 가중치의 곱의 합이 임계값 이상이면 신호를 전달하고, 임계값 미만이면 신호를 전달하지 않습니다. 이 식을 변형해보면 조금 다른 방향으로 해석이 가능합니다. 위 식과 같이 "- (임계값)"을 "+b"로 치환할 수 있으며, 이때 b를 편향(Bias)라고 합니다. 그렇다면 변형된 식을 이용하여 출력 신호 여부를 표현해본다면 아래와 같이 나타낼 수 있습니다. 단순 모형으로 표현해보면 아래와 같이 편향을 하나의 입력 신호로 볼 수 있으며, 이때 가중치는 1이라고 볼 수 있습니다. What is Activation Function? 먼저 이전 포스팅에서 뉴런의 신호 전달 과정을 알아보았습니다. 이때 출력 신호는 0 또는 1이었지만, 이것은 생물학적인 ..

Signal Transmission in Neurons 인간의 뉴런이 신호를 전달하는 방식에서 고안된 인공신경망을 알아보기 위해 먼저 뉴런의 구조와 신호 전달 방식을 알아보아야 합니다. 뉴런에 신호가 입력되면 신경 세포체는 입력된 신호를 모두 더합니다. 그리고 더한 신호를 다른 뉴런에게 전달하고 임계값을 넘을 경우 신호가 전달되고 임계값을 넘지 못하는 경우에는 무시합니다. 이때, 입력된 신호마다 상대적으로 중요한 신호가 존재하고, 상대적으로 중요하지 않은 신호가 존재합니다. 그래서 단순히 신호를 전달하는 것이 아니라 가중치라는 것이 신호에 부여되는데, 이는 신호의 중요도를 보여준다고 할 수 있습니다. 임계값을 넘지 못해 신호가 전달되지 않으면 출력 값이 0, 임계값을 넘어 신호가 전달되면 출력 값이 1이..

Concept of Transaction 트랜잭션, Transaction은 작업 하나를 수행하기 위해 필요한 DB의 연산들을 모아놓은 것으로 DB에서 논리적인 작업의 단위가 되며, DB에 장애가 발생했을 때 데이터를 복구하는 작업의 단위 또한 됩니다. 대게 DB 연산은 SQL 문으로 표현되기 때문에 트랜잭션을 작업 수행에 필요한 SQL 문들의 집합으로 생각해도 됩니다. Why transactions are needed? 그 이유는 바로 트랜잭션을 관리함을 통해 DB의 회복과 병행 제어가 가능해져, 결과적으로 DB가 일관된 상태를 유지 가능하게 해 주기 때문입니다. 트랜잭션으로 관리하는 것들에는 데이터를 DB에 삽입하기 위한 INSERT 문, DB에 저장된 데이터를 삭제하기 위한 DELETE 문, DB의 ..

Before Entering... 정규화 관련 내용으로 들어가기 앞서 미리 알아두고 들어가야 할 내용들이 담긴 제가 작성한 포스팅을 첨부해두도록 하겠습니다. [DB] - 데이터베이스 설계 및 이상 현상 Database Design Process 데이터베이스 설계 과정 STEP 1 요구 사항 분석 DB의 용도 파악 → 요구 사항 명세서 STEP 2 개념적 설계 DBMS에 독립적인 개념적 구조 설계 → E-R 다이어그램 STEP 3 논리적 설계 DBMS.. cktrace.tistory.com