본 논문은 대규모 언어모델(LLMs)의 Hallucination, Outdated Knowledge, 비투명한 추론 문제를 해결하기 위한 RAG의 발전을 종합적으로 정리한 Survey다. RAG는 외부 지식베이스에서 관련 정보를 검색해 LLM의 응답에 통합함으로써 사실성·최신성·신뢰성을 강화하며, 발전 과정은 Naive RAG(단순 Retrieve-Read) → Advanced RAG(인덱싱·쿼리·포스트리랭크 최적화) → Modular RAG(메모리·라우팅·멀티쿼리 등 모듈화된 구조)로 요약된다. 논문은 Retrieval, Generation, Augmentation의 세 축에서 핵심 기술을 분석하고, 26개 태스크·50여 개 데이터셋·다양한 벤치마크를 통해 평가 체계를 체계화하였다. 또한 RAG와 파인..

본 논문에서 제안한 Transformer는 기존 신경망 기반 기계번역(NMT) 모델이 가진 순차적 계산으로 인한 학습·추론 속도 저하, 장거리 의존성 학습의 어려움, 병렬화의 한계를 해결하기 위해 설계된 완전 어텐션 기반 시퀀스 변환 모델이다. Transformer는 순환(RNN)과 합성곱(CNN) 구조를 완전히 제거하고, 인코더·디코더 각각에 Multi-Head Self-Attention과 Feed-Forward Network를 결합한 블록을 다층으로 적층하는 단순한 구조를 취한다. 디코더에서는 Masked Self-Attention으로 미래 단어 참조를 차단하고, 인코더 출력과 결합하는 Cross-Attention으로 입력 문장의 전역 정보를 활용한다. 또한 단어 순서를 학습하기 위해 Position..

본 논문에서 제안한 구글의 신경망 번역 시스템(GNMT)은 기존 NMT가 가진 느린 학습·추론 속도, 희귀 단어 처리 한계, 원문 일부 누락 문제를 해결하기 위해 설계된 대규모 신경망 기반 번역 모델이다. GNMT는 8층 LSTM 인코더·디코더 구조에 Residual Connection과 병렬화 기법을 적용하여 깊은 네트워크를 안정적으로 학습하고, 디코더의 최하위 층 출력만으로 어텐션을 수행해 계산 병목을 해소했다. 또한 Wordpiece 단위 모델링으로 희귀 단어 문제를 극복하고, 양자화 연산과 TPU를 활용해 실시간 서비스 수준의 추론 속도를 확보했으며, 길이 정규화와 커버리지 패널티를 통해 번역 누락을 줄였다. 그 결과 WMT 벤치마크에서 기존 SOTA를 초월하는 성능을 달성했고, 실제 구글 번역 ..

본 논문은 Transformer(2017)의 기반이 되는 연구로, Seq2Seq 이후 SMT 성능에 거의 근접한 End-to-End 구조를 제안한다. 기존 Seq2Seq는 모든 정보를 하나의 벡터에 압축해야 하므로 긴 문장에서 정보 손실이 발생했고, 이는 성능 저하의 주요 원인이었다. 또한 Seq2Seq는 Alignment는 학습하지 않는다. 반면 본 논문에서는 Attention Mechanism을 도입하여, 번역 과정에서 각 타겟 단어가 소스 문장의 어떤 부분에 주목할지를 Soft Alignment로 학습한다. 이를 통해 Alignment와 Translation을 동시에 end-to-end로 학습할 수 있으며, 인코더는 BiRNN을 사용해 각 단어의 앞뒤 문맥까지 반영한 벡터를 생성한다. 당시 혁신적인..

본 논문은 서로 다른 LSTM을 각각 인코더와 디코더로 사용하는 방법으로, Sequence to Sequence에서의 우수한 성능을 거두었다. 이는 Attention Mechanism이 나왔음에도 그 이전 세대의 모델을 단순 인코더와 디코더로 사용함으로써 우수한 성능을 도출했다는 점을 통해 재조명을 할 수 있었다. 또한 Target Sequence를 제외한 Sequence를 역순으로 넣음으로써 Short-Term Dependencies를 얻을 수 있었고, 이는 Long-Term Dependencies를 키우는 역할을 하였다. 본 논문에서 제안한 구조는 특히 통계적 기계번역(SMT)가 주류였던 번역 분야에서의 첫 번째 End-to-End Model이라는 것에 큰 의의가 존재한다. 1. Introduc..