Definition
AI의 설명 가능성과 신뢰(Explainability & Trust)는 AI가 내린 결정의 근거를 인간이 이해할 수 있도록 투명하게 설명할 수 있는 능력과, 그로 인해 형성되는 신뢰 관계이다.
The Core Problem
BlackBox AI (현재):
├─ 높은 성능
├─ 하지만 왜 그렇게 결정했는지 모름
└─ → 의료, 법률 등에서 신뢰 불가
필요한 것:
└─ Performance + Transparency = Trust
Why It Matters
의료 사례:
├─ "당신은 당뇨병 위험이 높습니다"
├─ 의사: "왜?"
├─ AI: "... (설명 불가)"
├─ 결과: 치료 거부
설명 가능하면:
├─ "혈당이 높고, 혈압이 높고, 가족력이 있어서"
├─ 의사: "아, 이 근거라면 신뢰할 수 있다"
├─ 결과: 적절한 치료
The Goal
"더 똑똑한 기계" → "더 신뢰할 수 있는 파트너"
전환:
├─ 성능 중심 → 신뢰 중심
├─ Black box → Transparent
├─ 계산 능력 → 이해 능력
└─ 도구 → 파트너
Implementation Path
Hybrid Brain을 통해 가능:
├─ ML: 패턴 감지 (What happened)
├─ Ontology: 규칙 설명 (Why it happened)
└─ 결합: 투명한 의사결정
Three Remaining Challenges
-
Expressiveness (표현력) └─ 복잡한 지식 ↔ 시스템 속도 트레이드오프
-
Explainability (설명 가능성) └─ AI 판단 근거를 인간이 이해하도록
-
Consistency (일관성) └─ 새 지식 학습 시 기존 지식과 모순 없이
References
- Hybrid-Brain — 기술적 기반
- Semantic-Data-Mining — 구현 방식
- Platonic-Cave-and-AI — 철학적 배경