Jagged Intelligence (재기드 인텔리전스)
Andrej-Karpathy가 제시한 LLM 지능의 비균일성 개념.
정의
한쪽 영역에서는 인간 천재 수준이지만 바로 옆에서는 바보처럼 행동하는 LLM 지능의 들쭉날쭉한 특성.
대표 사례
세차장 사례
“세차장이 50m 앞인데 차로 갈까 걸어갈까?” → 최신 모델: “걸어가세요” (가까우니까)
— 차를 세차하러 가는데 걸어가면 세차할 차가 없다는 자명한 상식을 놓침.
스트로베리 사례
- “Strawberry의 R이 몇 개야?” → “2개” (오답, 글자 세기 실패)
비대칭의 충격
10만 줄 코드 베이스를 리팩토링하고 제로데이 취약점을 찾아내는 모델이 세차장에는 차로 가야 한다는 걸 모른다.
원인: 검증-가능성의-법칙
- LLM은 채점 가능한 영역에서만 강해진다
- 수학·코드: 컴파일/테스트로 채점 가능 → 압도적 능력
- 일상 상식: 검증하기 어려움 → 들쭉날쭉
- 체스 능력 향상도 일반 진보가 아니라 데이터 분포 변화 때문
함의
- 들쭉날쭉함이 남아 있는 한 인간이 루프 안에 있어야 한다
- LLM을 독립적 의사결정자 아니라 도구로 다뤄야 한다
- 매뉴얼 없는 시스템 — 어디서 잘하고 어디서 못 하는지 직접 탐험해야 한다
관련 개념
- 검증-가능성의-법칙
- 유령-비유 — 동물 직관을 LLM에 투사하면 안 된다
- Thinking-vs-Understanding — Understanding은 LLM의 약점
출처
- yt-UNnsS03whx0-카파시-30분-인터뷰-완전정리 (Section 4)