전 포스팅에서 seq2seq에 대해 정리했습니다. (https://kingnamji.tistory.com/28) seq2seq의 인코더가 context vector를 만들 때 정보의 소실이 일어나는 점을 확인했습니다. 이번 포스팅에서는 깊은 내용보다는 아이디어에 주목해 최대한 이해에 집중하겠습니다. 아이디어 어텐션(Attention)은 말 그대로 필요한 정보에 주목해 그 정보로부터 sequence 변환을 수행하는 구조입니다. 어텐션 매커니즘은 기계번역을 위한 seq2seq모델에 처음 도입됐습니다. 예시 필요한 정보에만 주목한다는 점을 seq2seq모델을 만들 때 사용한다고 하고 예시를 들어 봅시다. 한국어 "나는 고양이를 좋아한다."를 영어 "I like cats"로 번역한다면, 'cats'를 예측할 때..
