코알라 오딧세이

Transformers 시리즈(2) : BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Transformers 시리즈를 시작하게 되고 처음으로, Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems. 2017 라는 논문을 리뷰했습니다. 이 논문은 transformer라는 혁명적인 아키텍처를 처음으로 세상에 공개한 논문이었습니다. 그 다음으로 BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding..

Transformers 시리즈(1)  : Attention Is All You Need 현재 AI를 한다고 하는 사람들이라면, Attention Is All You Need 라는 논문을 한 번이라고 읽어보거나 하다못해 들어봤을 것이라고 생각됩니다. Attention Is All You Need는 현재 GPT, Claude와 같은 현 시대의 아이콘과 같은 생성형 AI들의 모태가 되는 논문입니다. 그렇기에 AI  제가 Attention Is All You Need이라는 논문 이름 옆에 AI 혁명의 시작이라는 부제를 붙인 이유이기도 합니다.제가 블로그를 시작하고 AI 첫 포스트로 이 논문을 선택한 이유이기도 합니다.  이 논문의 초록에서는 자신들이 이 논문에서 제시한 새로운 방법론에 대해서 다음과 같이 서술하..