설명 가능한 AI 이해하기 [Understanding Explainable AI]

 

 

인공지능이 우리의 일상 생활에서 점점 더 많이 보급되면서, 우리는 AI 기반 시스템들의 의사결정과 예측을 신뢰해야 할 필요를 느끼게 된다. 이에 인간은 AI 시스템의 결정을 신뢰할 수 있도록 의사결정 방법을 충분히 이해할 수 있어야 한다. 따라서 인간은 컴퓨터 시스템이 예상대로 작동하고 그들이 내리는 결정에 대해 투명하게 설명하고 그 결정의 이유를 제시하고자 하는 것인데 이게 바로 설명 가능한 AI (XAI)로 알려져 있다.

 

Making the black box of AI transparent with Explainable AI (XAI)

설명가능한 AI(XAI)는 AI 시스템의 블랙박스 결정 방법(black box decisions)을 다루는 기계학습의 새로운 분야로서 의사결정에 관련된 단계 및 모델을 검사하고 이해하려고 노력한다. 이러한 AI 시스템에서 설명력을 얻는 한 가지 방법은 본질적으로 설명가능한 기계학습 알고리즘(decision trees, Bayesian classifiers)을 사용하는 것이다.

미국 국방고등연구계획국(DARPA)에서는 예측정확성, AI에 의해 수행된 행동에 대한 검사 및 추적성 세가지 부분으로 AI 설명력을 설명했다. 예측 정확성은 미래의 의사 결정, 의사 결정 이해 및 인간 사용자와 운영자의 신뢰를 향상시키기 위해 모델이 어떻게 결론에 도달하는지를 설명하는 것을 의미하며 추적가능성은 인간이 AI 의사결정의 루프에 들어가 필요할 때마다 작업을 중지하거나 제어할 수 있는 것을 말한다. AI 시스템은 특정 작업을 수행하거나 의사 결정을 내릴뿐만 아니라 특정 결론을 내린 이유에 대한 투명한 보고서를 제공할 수있는 모델 역시 가지고 있다.

 

Levels of explainability and transparency

AI의 작업(활동, 행동)은 일정 수준까지 추적 가능해야 하고 그 수준은 AI 시스템에서 발생할 수 있는 결과에 따라 결정되어야 한다. 물론 모든 시스템이 동일한 수준의 투명성을 필요로 하는 것은 아니지만 요구사항에 따라 투명성/설명력 수준을 표준화하는 것은 충분히 가능할 수 있다. 조직들은 또한 그들의 AI 시스템 운영에 대한 지배구조를 가질 필요가 있는데, 이는 AI 사용을 규제하기 위한 위원회나 기구를 설립하는 것 등으로 가능하다.  우리 삶에서 AI가 더욱 높은 수준으로 발전하게 됨에 따라 설명가능한 AI가 더욱 중요해지고 있다.

TOP