어텐션 (Attention)

어텐션이란?

어텐션(Attention)은 AI 모델이 입력 데이터를 처리할 때 모든 부분을 동일하게 취급하지 않고, 현재 작업에 가장 관련 있는 부분에 더 큰 가중치를 부여하여 집중하는 메커니즘입니다.

비유하자면, 북적이는 카페에서 친구의 목소리에 집중하는 것과 같습니다. 주변에 수많은 소리가 있지만 우리의 뇌는 대화 상대의 말에 자연스럽게 "어텐션"을 기울입니다. AI의 어텐션 메커니즘도 이와 유사하게, 수많은 입력 정보 중에서 지금 가장 중요한 것에 초점을 맞춥니다.

어떻게 작동하나요?

어텐션은 세 가지 요소로 작동합니다.

• 쿼리(Query): "무엇을 찾고 있는가?"에 해당하는 현재 처리 중인 요소
• 키(Key): 각 입력 요소의 식별 정보로, 쿼리와 비교되는 대상
• 값(Value): 실제로 전달할 정보의 내용

쿼리와 키의 유사도를 계산하여 어텐션 점수를 구하고, 이 점수를 가중치로 사용하여 값들을 합산합니다. 관련성이 높은 정보에 더 큰 가중치가 부여됩니다.

셀프 어텐션과 멀티헤드 어텐션

셀프 어텐션(Self-Attention) 은 문장 내에서 각 단어가 다른 모든 단어와의 관계를 스스로 파악하는 방식입니다. "그녀는 사과를 먹었다. 그것은 맛있었다"에서 "그것"이 "사과"를 가리킨다는 것을 이해합니다.

멀티헤드 어텐션은 여러 개의 어텐션을 병렬로 수행하여 문법, 의미, 맥락 등 다양한 관점에서 동시에 관계를 파악하는 기법입니다. 이것이 트랜스포머의 강력한 성능을 이끄는 핵심 원리입니다.