2. 대리 분석 (Surrogate Analysis)
참고 자료 : https://www.yes24.com/Product/Goods/89583774
XAI 설명 가능한 인공지능, 인공지능을 해부하다 - 예스24
XAI(eXplainable Artificial Intelligence)는 인공지능의 판단 이유를 설명하는 연구 분야로, 인공지능 기술이 확대되면서 그 필요성이 함께 증가하고 있다. 이것은 알고리즘의 설계자조차 인공지능의 판단
www.yes24.com
실습 샘플 코드
개념
1. 대리 분석 개론
a. 개요 및 기본 개념
- 엔지니어링에서의 대리 분석 : 본래 기능을 흉내내는 간단한 대체재를 만들어, 프로토타입의 동작 여부를 판단하는 분석 방법
- 완제품으로 결과를 내는 데 비용 소모가 크거나, 연산이 많아 정확한 결과를 내는 데 시간 소요가 클 때 사용
- XAI에서의 대리 분석 : 본래 AI 모델이 너무 복잡해서 분석이 불가능할 때, 유사한 기능을 흉내 내는 AI 모델 여러 개를 대리로 만들어 본래 모델을 분석하는 기법
- (중요) g는 XAI 자체가 아니라, XAI 기법을 사용할 수 있도록 한 형태의 유사 모델임.
- 대리 분석법 = 근사치 모델(Approximation model) = 반응 표면 기법(Response Surface Model, RSM) = 에뮬레이터(Emulator)
- 대리 분석법 핵심 이론
- 그림 5.1 참고
- f : 분석할 모델, g : 흉내낼 모델 (여러 모델 중 가장 적합한 것 선택)
- g는 f와 같은 방법으로 학습할 수도, 아닐 수도 있음
- ex. f는 SVM Model / g는 Tree 또는 Linear Regression Model
- g는 f보다 정확도는 떨어질지라도 모델 f가 어떻게 학습됐을지 간단하게나마 대변할 수 있음
- 모델 g 결정 기준
- f보다 학습이 쉬움
- 모델의 설명가능성
- f와의 유사도
- 모델 g 학습시키는 방법
- (모델 f 학습시킬 때처럼) Train Data 전부를 모델 g에 학습
- 데이터 라벨별로, 또는 Train Data 일부만 추려서 모델 g에 학습
- 대리 분석 기법 분류
- Train Data 일부/전체 사용하여 대리 분석 모델 구축 - 글로벌 대리 분석(Global Surrogate Analysis)
- 모델이 Train Data 하나를 해석하는 과정 - 로컬 대리 분석(Local Surrogate Analysis)
- 대리 분석 장점
- 모델 애그노스틱(model-agnostic technology - 모델에 대한 지식 없이 학습 가능)
- 적은 학습 데이터로 설명 explainable Model 만들 수 있음 - 필요한 것은 학습 데이터에 대한 권한, 예측 모델 f 뿐
- 모델 f가 중간에 바뀌어도 feature만 같으면 대리 분석 수행 가능 - 대리 분석 모델과 블랙박스 모델 완전 분리(decoupled)
b. 글로벌 대리 분석(Global Surrogate Analysis)
- 전체 Train Data를 사용해 블랙박스 f를 따라하는 유사 함수 g를 만들고, g가 해석 가능하도록(설명가능성) 변조하는 방법
- g는 어느 모델이든 될 수 있으나, 주로 설명 가능 기능을 붙이기 쉬운 모델이 됨 - 아래는 대표적인 XAI 알고리즘과 그 특성
| 알고리즘 | 선형성(Linearity) | 단조함수 유무(Monotone) | PDP Interaction | 목표 |
| 선형 회귀 | O | 단조함수 | 불가능 | Regression |
| 로지스틱 회귀 | X | 단조함수 | 불가능 | Classification |
| 의사 결정 트리 | X | 일부 | 가능 | Classification, Regression |
| 나이브 베이즈 | X | 단조함수 | 불가능 | Classification |
| k-최근접 이웃 | X | 단조함수 아님 | 불가능 | Classification, Regression |
- 글로벌 대리 분석 플로우차트
- Dataset X를 선택한다. (이것은 Train Data 전체일 수도 있고 일부일 수도 있다.)
- 선택한 Dataset X에 대해 f의 Prediction 결과를 구한다.
- XAI 모델을 고른 후, 학습한 결과를 모델 g라고 부른다. (g는 설명 가능해야 함)
- X로 g를 학습시킨다.
- X에 대해 ‘f가 예측한 결과’와 ‘g가 예측하는 결과’를 비교하며, 두 모델이 최대한 유사한 결과를 내놓도록 튜닝한다.
- g를 XAI 기법을 사용해 해석한다.
- f 예측 결과와 g 예측 결과 비교 방법 - R-Squared 방식으로 측정
- R-스퀘어(Squared) : (=결정계수) 회귀 모델에서 독립변수가 종속변수를 얼마만큼 설명해 주는지를 가리키는 지표, 여기서는 독립변수가 g, 종속변수가 f
- 수식 해설
- SSE = Sum of Squares Error
- SST = Sum of Squares Total
- y.^(i) = g가 i번째 데이터를 예측한 결과
- y^(i) = f가 i번째 데이터를 예측한 결과
- y^ = f의 예측 결과 평균
- R^2가 1에 가까워질 수록(SSE 낮을 수록) g는 f를 잘 설명함
- 장점
- 유연함 - 다양한 XAI 기법 적용 가능, 블랙박스 모델을 이해하고 있지 않아도 measure function($R^2$)으로 f의 학습 형태를 설명 가능
- 직관적 - 대리 분석 모델(g) 기법은 구현이 쉽고, 설명이 간단함, f를 잘 모방하는 대리 모형을 잘 찾을 수만 있으면 쉽게 해석 가능
- 주의점
- g는 f를 유사하게, 즉 간접 설명 모델 - 궁극적으로는 f, 또는 실전 데이터에 대해 해석해야 하나 간접 설명 특성 상 g의 정확도와 g의 해석 방향에 결함 가능성 있음
- measure function의 explainablity 판단 기준 주관적 - R^2의 경우, 얼마만큼 유사해야 해석을 잘 했다고 판단할 수 있는가? 명확한 기준 없음s
- X의 편향 위험성 - Train data가 일반적이면서 그 크기가 효율적인지 생각해 보아야 함
c. 로컬 대리 분석(Local Surrogate Analysis)
- Ribeiro et el, “Why Should i trust you? : Explaining the predictions of any classifier”, ACM, 2016 참고
- Why Should i trust you? : Explaining the predictions of any classifierLIME(Local Interpretable Model-agnostic Explanations, 학습 기법과 관계없이 모델을 설명할 수 있는 로컬 설명 가능 모델)로 더 잘 알려져 있음
- 데이터 하나에 대해 원래 모델이 분류한 결과를 해부
2. LIME (Local Interpretable Model-agnostic Explanations)
- 모델이 현제 데이터의 어떤 영역을 집중해서 분석했고, 어떤 영역을 분류 근거로 사용했는지 알려주는 XAI 기법
- Model-agnostic 특성 가짐
- 실무에서 현실 데이터와 (모델 정확도 측정 기준인)테스트 데이터는 동떨어져 있는 경우가 있는데, 이러한 경우에서 해석을 도울 수 있음
- (참고) CAM과의 차이
- CAM(Class Activation Mapping)은 주로 컨볼루션 신경망 (Convolutional Neural Network, CNN)의 결과를 해석하기 위해 사용되는 기법 - 이미지 분류에 효과적이나 내부 작동 메커니즘 파악은 어려움
- LIME은 개별적인 예측 결과를 설명하기 위해 '설명 가능한' 모델을 만들고, 이 모델을 해석하기 쉬운 방식으로 설명 - 모델의 예측을 변형한 뒤, 해당 변형에 대한 해석 가능한 설명을 찾는 것, CNN 뿐만 아니라 다양한 모델에 적용 가능
a. 알고리즘 직관적으로 이해하기
우리는 뉴스거리를 제보 받는 상황실 직원이다. 뉴스는 메일과 팩스 등 다양한 방법으로 날아온다. 제보를 읽고 그것을 기사로 제작할 수 있는 적절한 부서에 문서를 전달해야 한다. 만약 기사가 적절한 카테고리로 분류돼 전달되지 않는다면 각 부서의 인력이 또 다시 제보 카테고리를 분류하는 데 시간을 소모할 것이다. 따라서 제보가 들어왔을 때 그것을 어떤 부서가 다뤄야 할지 분류하는 머신러닝 모델을 만들었다.
개요
- 머신러닝 모델이 이 제보를 ‘스포츠-모터사이클’ 카테고리로 분류했다.
- 그런데 이 제보 내용에는 ‘모터사이클’이라는 단어(키워드)가 없다.
- 찬찬히 제보를 읽어 보니 가장 먼저 BMW가 나오는데, 생각해 보니 BMW는 모터사이클을 만든다.
- 근데 BMW는 자동차도 만들고, 우리 회사는 자동차 부서가 있다.
LIME을 통한 해결
모델이 약 99.8%로 이 제보는 모터사이클 기사라고 예측했다.
근데 이 확률 만으로는 어느 부서에 이 제보가 전달되어야 하는지 설득하기 어렵다
- LIME을 이용해 이 제보가 왜 모터사이클 부서에 전해져야 하는지 분석했다.
- LIME은 오른쪽의 시각화 기능으로 제보 분류 이유를 강조 표시했다.
- 해석 예시 : Ranck씨가 기존에 모터사이클 관련 제보를 많이 해왔다.
- 하이라이트된 내용은 상단 오른쪽 본문을 참고.
b. 배경 이론
- LIME은 Input data에 부분 변화를 줌 - 변형(perturbation) / 샘플 퍼뮤테이션(sample permutation)
- 5.6 오른쪽 이미지처럼 노란색 실선으로 이해 단위를 구분하고, 이렇게 나뉜 영역을 조합해 원본 모델이 대상을 가장 잘 분류할 수 있는 대표 이미지 구성
- 이미지 내 관심 영역을 x라고 함
- 초점 주변으로 관심 영역을 키워나갈 때 기준 x로부터 동일한 정보를 가지고 있다고 간주할 수 있는 영역을 π(=슈퍼 픽셀)라고 함.
- 이미지 전체를 입력으로 받아 특정 사람일 확률을 return하는 블랙박스 모델을 f라고 가정
- 해당 이미지 자체가 아닌, 슈퍼 픽셀π_x의 마스킹 정보 m_x를 입력받아 f(π_x)와 동일한 값을 return하도록 학습한, 해석 가능한 모델을 g라고 가정
- g : π_x가 f의 예측에 영향 미치는 정도 예측
- L : Loss function (슈퍼 픽셀 π_x에 대한 f의 예측 결과와, m_x에 대한 회귀 모델 g의 검증 결과 비교로 유사성 계산)
- 이때 f와 g가 최대한 같은 결과를 출력하도록 학습해, f가 가장 많이 영향 받는 슈퍼 픽셀을 찾음.
- explanation(x) = argminL(f,g,π_x)
- 위 그림에서 가장 많이 영향을 미치는 슈퍼 픽셀인 π_1/π_3가 최종적으로 선택됨(0.717)
- 이 예제에서 g는(m1, m2, …) = w1m1 + w2m2 + …으로 표현되었는데, 이 결과에 반영하면 나오는 식인 g(m1, m3) = w1m1 + w3m3를 위 슈퍼 픽셀들의 여러 조합에 대해 학습함으로써 모델 w_1m_1를 찾고, π_1/π_3가 얼마만큼의 중요도를 갖는지 찾는다.
- Q. LIME은 어떻게 복잡한 모델 f의 결정 경계를 빠르게 찾아낼까?
여기서 4번의 선들을 학습시키면 g(m1, m2, …, mx) = w1m1 + w2m2 + … + wxmx 형태로 전개되고, 값이 구해진 w_x가 π_x의 중요도를 나타내며 모델이 interpretable해 진다.
- LIME의 장점
- ML 알고리즘에 관계없이 XAI 적용 가능 (Model Agnostic)
- DL 기반으로 돌리거나 비싼 그래픽 카드 사용하지 않아도 사용할 수 있음
- 매트릭스로 표현 가능한 데이터(text, image)에 대해 작동함
- 서브모듈러를 찾고 그것을 설명하기 때문에 결과가 직관적
- 타 XAI 기법에 비해 매우 가벼움
- 단점
- 불확실성 - 결정 경계 확정 짓는 방식이 비결정적(non-deterministic), 슈퍼 픽셀 알고리즘에 따라 마스킹 데이터가 달라짐
- g가 샘플링 위치에 따라 랜덤한 결과를 보일 수 있음
- 모델 하나에 대해 설명한다는 특성 상 모델 전체에 대한 일관성을 보전하지 못함 - 대안 : 서브모듈러 픽(Submodular pick) 알고리즘 (참고논문 참