설명 가능성(Explainability / XAI)
한 줄 정의
설명 가능성(Explainability)은 AI가 왜 그런 결과를 내놓았는지를 사람이 이해할 수 있도록 설명하는 능력이다.
왜 중요한가(실무)
AI가 "결과만 알려주고 이유는 말하지 않는" 상태는 실무에서 두 가지 문제를 만든다. 첫째, 담당자가 AI 출력을 신뢰할 수 없어 결국 사용하지 않게 된다. 둘째, 규제 기관이나 고객이 "왜 이런 결정이 내려졌는가"를 물었을 때 답할 수 없다.
EU AI Act, 금융 규제, 의료 인허가 등에서 AI 의사결정의 설명 가능성은 이미 법적 요구사항이 되어가고 있다. "AI가 추천했습니다"는 더 이상 충분한 설명이 아니며, 어떤 데이터와 논리에 근거했는지를 제시할 수 있어야 한다. 설명 가능성은 단순한 기술 기능이 아니라, AI 도입의 지속 가능성과 조직 신뢰를 결정하는 거버넌스 요소다.
핵심 이론(직관)
1) '블랙박스'와 '글라스박스'
전통적으로 AI 모델, 특히 딥러닝 기반 모델은 내부 작동을 사람이 이해하기 어려운 "블랙박스"로 여겨졌다. 설명 가능성(XAI)은 이 블랙박스를 유리 상자(글라스박스)로 만들려는 시도다. 어떤 입력 요소가 결과에 가장 큰 영향을 미쳤는지, 어떤 근거 문서를 참조했는지 등을 추적하는 것이 핵심이다.
2) LLM에서의 설명 가능성
LLM은 전통적 XAI 기법(SHAP, LIME 등)을 직접 적용하기 어렵다. 대신 실무적으로 효과적인 접근법은 다음과 같다:
- 근거 출처 제시: RAG에서 참조한 문서·페이지를 출력에 함께 표시
- 추론 과정 노출: Chain-of-Thought 방식으로 모델이 사고 과정을 단계별로 서술
- 신뢰도 표시: 확실한 정보와 불확실한 정보를 구분하여 표기
실무 포인트
1) '왜?'에 답할 수 있는 구조를 설계하라
AI 시스템 설계 시, 최종 출력뿐 아니라 "이 결과가 나온 근거"를 함께 제공하는 구조를 기본으로 포함한다. RAG 기반 시스템이라면 참조 문서와 관련 구절을 출력에 첨부하고, 추천 시스템이라면 추천 이유를 자연어로 제시한다. 이 구조가 없으면, 나중에 추가하는 것은 훨씬 어렵고 비용이 크다.
2) 설명의 수준은 대상에 따라 달라야 한다
경영진에게는 핵심 요인 1-2개의 요약, 실무 담당자에게는 상세 근거와 데이터, 규제 기관에게는 감사 추적(Audit Trail) 형태의 설명이 필요하다. 하나의 AI 시스템이 여러 수준의 설명을 제공할 수 있도록 설계하는 것이 이상적이다.
체크리스트
- AI 출력과 함께 근거(참조 문서, 핵심 요인)가 표시되는 구조인가
- 규제 요구사항(EU AI Act, 산업별 규제)에서 요구하는 설명 수준을 파악했는가
- AI 의사결정 이력이 감사 추적(Audit Trail)으로 기록되고 있는가
- 설명의 대상(경영진, 실무자, 규제 기관, 고객)별로 적절한 수준의 설명이 제공되는가
- 설명 가능성 요구사항이 시스템 설계 초기 단계에 반영되어 있는가