텍스트의 의미를 파악하기 위해 주변 단어, 문장, 상황 정보를 활용하는 능력. 인간은 자연스럽게 문맥으로 의미를 파악하지만 AI에게는 가장 큰 도전 과제.
문맥의 역할:
- 중의적 표현의 의미 결정
- 단어의 정확한 뜻 파악
- 화자의 의도 이해
- 관계와 상태 파악
AI의 어려움:
- 장거리 의존성 이해의 한계
- 암묵적 정보 추론 어려움
- 여러 레벨의 문맥 통합 부족
개선 방법:
- 더 긴 토큰 윈도우
- 메모리 메커니즘
- 다중 그래프 구조
- 외부 지식 기반 활용
중요성: 자연언어 처리에서 가장 근본적인 문제이자 해결책