Explaining a Series of Models by Propagating Shapley Values (DeepSHAP)

Digest (CISELQ)

Context (C): 현대 ML 시스템은 단일 모델이 아니라 전처리(PCA, imputation), 특징공학, 예측기, 후처리가 체인으로 연결된 모델 파이프라인(series of models) 으로 구성된다. 그러나 기존 DeepLIFT/DeepSHAP은 단일 신경망에 대해서만 attribution을 제공하여, 상류 단계(raw feature)까지 설명을 전달하지 못했다.
Issue (I): Shapley value는 이론적으로 바람직하나 지수적 계산비용을 갖고, 모델이 여러 개로 직렬 연결되면 각 단계의 기여도를 정합성 있게 합성하는 방법이 정의되지 않았다. 단순히 각 모델에 개별적으로 SHAP을 적용하면 입력-출력 보존(local accuracy) 이 깨진다.
Solution (S): 본 논문은 G-DeepSHAP을 제안한다. 각 모델 컴포넌트의 Shapley attribution을 계산한 뒤, chain rule 유사 연산자를 통해 다음 단계로 전파한다. 선형/딥/트리 모델을 하나의 파이프라인에서 end-to-end로 설명할 수 있으며, rescale rule이 각 단계의 additivity를 보장한다.
Evaluation (E): 합성 데이터 + 실제 파이프라인(PCA→MLP, feature engineering→XGBoost→calibration)에서 (1) 설명의 local accuracy 준수, (2) ablation 기반 중요도 정렬(ROAR 유사), (3) baseline distribution 선택에 따른 민감도를 측정. G-DeepSHAP은 naive 분해 대비 원본 feature attribution 정확도와 속도 모두에서 우위.
Limitations (L): rescale rule은 여전히 DeepLIFT 근사에 의존하여 비단조 활성·attention 구조에서 오차가 생길 수 있고, baseline(expectation) 선택이 attribution 크기에 강하게 영향을 미친다.
Questions (Q): (1) Transformer/attention 기반 파이프라인에서 chain rule 가정은 유지되는가? (2) stochastic 전처리(data augmentation)까지 Shapley value로 귀속할 수 있는가?

섹션별 요약

Introduction

실제 배포된 ML 시스템의 대다수가 여러 모델·전처리를 조합한 파이프라인이지만, 해석가능성 연구는 단일 모델 입력에 국한되어 있다. 저자들은 raw feature까지 설명을 역전파할 수 있는 통합 프레임워크가 필요함을 주장한다.

Methods

Shapley value 재정의: 파이프라인 $f = f_{K} \circ \dots \circ f_{1}$ 에 대해 각 구간의 local Shapley value $ϕ^{(k)}$ 를 정의.
G-DeepSHAP: DeepLIFT의 rescale rule을 일반화하여, 상류 모델의 contribution을 하류 모델의 input attribution과 곱/합성(chain rule)하여 원본 feature까지 전달.
Baseline distribution: 단일 reference 대신 background dataset 기대값을 사용하여 Shapley 기대치의 local accuracy를 유지.

Results

실험	비교 대상	주요 결과
Synthetic additive	IG, KernelSHAP	G-DeepSHAP이 ground-truth attribution과 최고 상관
PCA→MLP	feature-on-feature SHAP 단독	local accuracy 오차 1e-6 수준
XGBoost 파이프라인	개별 TreeSHAP	속도 5~20x, 원본 feature 중요도 복원
Mortality risk (실데이터)	KernelSHAP	계산비 크게 감소, 임상적으로 타당한 feature 강조

Discussion

Shapley value의 효율적 계산은 모델 구조(linear/tree/deep)에 특화된 알고리즘에 의존한다. G-DeepSHAP은 이 이종 알고리즘들을 chain rule로 결합함으로써 파이프라인 레벨 설명을 실용화한다.

Insights

파이프라인 설명은 단순히 “마지막 모델을 설명”하는 것과 근본적으로 다르다.
rescale rule은 Shapley의 completeness를 근사적으로 보존하는 강력한 추론 도구.
baseline 선택은 단순한 hyperparameter가 아니라 attribution의 semantic 을 결정한다.

Discussion Points

파이프라인 내부에 stochastic 블록(dropout, sampling)이 있으면 chain rule 정당성은?
attention weight를 가진 Transformer에서 DeepLIFT 근사의 오차 경계는?
“feature importance drift”를 모니터링하는 운영 지표로 확장 가능한가?

메타데이터

항목	값
1저자	Hugh Chen
공저자	Scott M. Lundberg, Su-In Lee
arXiv	2105.00108
연도	2021
분야	XAI / Interpretability
코드	SHAP (shap/deep, shap/explainers/_gradient)

왜 이 연구를 하는가?

기존 SHAP·DeepSHAP은 단일 모델의 입력 feature에 대해서만 기여도를 제공한다. 그러나 의료·금융 도메인의 실제 시스템은 (1) 결측치 imputation, (2) PCA/임베딩, (3) 부스팅 예측, (4) Platt scaling 같은 보정 단계가 체인으로 묶여 있어, 최종 출력의 변화를 원본 임상 feature까지 추적해야 한다. 이 격차를 메우는 것이 연구 동기이며, 이는 “모델이 아니라 시스템을 설명한다”는 패러다임 전환을 의미한다.

방법 (Method)

flowchart LR
    X["원본 feature x"] --> P["전처리 f1<br/>(PCA/impute)"]
    P --> M["예측기 f2<br/>(MLP/XGB)"]
    M --> C["보정 f3<br/>(Platt/Isotonic)"]
    C --> Y["최종 출력 y"]

    subgraph Attr["G-DeepSHAP"]
        A3["phi3: f3 attribution"] --> A2["rescale to phi2"]
        A2 --> A1["chain rule to phi1"]
        A1 --> AX["원본 feature attribution phi_x"]
    end

    C -.->|backward| A3
    AX -.->|해석| X

각 컴포넌트에 최적 Shapley 알고리즘 적용(Linear→LinearSHAP, Tree→TreeSHAP, Deep→DeepLIFT rescale).
상류 layer의 기여도 $ϕ^{(k)}$ 를 하류 기여도 $ϕ^{(k - 1)}$ 의 multiplier로 취급하는 일반화된 chain rule로 역전파.
background distribution $D$ 기대값을 reference로 삼아 local accuracy $\sum ϕ = f (x) - E [f]$ 유지.

발견

발견	의미
파이프라인 end-to-end attribution 가능	실배포 시스템 해석 실용화
TreeSHAP+DeepSHAP 혼합 chain rule 정당화	이종 모델 설명의 이론적 토대
naive per-stage SHAP 대비 local accuracy 보존	설명의 산술적 일관성
속도 우위 vs KernelSHAP	대규모 임상 데이터에 스케일
baseline 선택 민감성	해석 의미 정의의 중요성

이론적 의의

G-DeepSHAP은 Shapley value의 합성법칙을 ML 파이프라인으로 확장한다. Shapley는 본래 게임이론의 “한 게임”에 대한 유일 공정 분배인데, 본 논문은 게임들의 합성(composition of games) 에 대해 rescale rule이 근사적으로 공정성을 보존함을 보인다. 이는 DeepLIFT의 rescale/reveal-cancel을 일반 파이프라인으로 격상시키고, XAI가 “모델 블랙박스”가 아닌 “시스템 블랙박스”를 다뤄야 함을 이론적으로 동기화한다.

재현성 및 신뢰도 평가

축	평가	근거
코드 공개	A	SHAP 패키지에 통합(GradientExplainer/DeepExplainer)
실험 데이터	B	공개 synthetic + MIMIC 계열(접근 승인 필요)
수식 유도	B	rescale rule은 DeepLIFT 기반 근사
재현 용이성	B	파이프라인 구성 재현은 endpoint 의존
평가 지표	B	ground-truth attribution이 synthetic에 한정
종합	B	이론 명료, 근사 가정은 남아있음

원자적 인사이트

파이프라인은 곧 합성 게임(composition of cooperative games)이다. 각 단계가 한 게임이고, Shapley의 linearity axiom이 rescale rule 형태로 부분적으로만 유지된다는 점이 DeepSHAP 일반화의 수학적 정수이다. 이는 “모델 단위” 설명을 “시스템 단위” 설명으로 끌어올리는 관점 전환을 제공한다.
Baseline은 설명의 의미를 정의하는 의미론적 선택이다. 같은 입력이라도 “전체 인구 평균”이냐 “건강한 sub-cohort 평균”이냐에 따라 attribution 부호와 크기가 달라지므로, XAI 보고서는 baseline distribution을 명시적으로 문서화해야 한다.
DeepLIFT rescale은 비선형성을 선형 할당으로 투사하는 효율적 휴리스틱이다. 정확한 Shapley는 지수적이지만, rescale은 국소 선형화로 다항 시간에 근사하며, 실험적으로 KernelSHAP에 근접한다는 점이 실용적 채택 이유다.

핵심 용어 정리

Shapley value: 협력게임에서 각 참가자에게 유일하게 공정한 보상을 할당하는 값. XAI에서는 feature가 플레이어.
Local accuracy(Completeness): $\sum_{i} ϕ_{i} = f (x) - E [f]$ . 기여도의 합이 출력 변화와 일치.
DeepLIFT rescale rule: 비선형 노드의 기여도를 $(y - y_{0}) / (x - x_{0}) \cdot ϕ_{in}$ 로 배분하는 규칙.
Chain rule (G-DeepSHAP): 파이프라인의 상하류 attribution을 곱/합성하여 원본 입력까지 역전파.
Baseline / Reference distribution: 비교 기준이 되는 입력 분포. Shapley 기대치의 “0점”을 정의.
TreeSHAP: 트리 앙상블에서 polynomial time Shapley 계산 알고리즘.
Path-dependent attribution: Integrated Gradients처럼 baseline→input 경로 적분으로 정의되는 속성.

Juhyeon's Blog

탐색기

DeepSHAP- Explaining a Series of Models by Propagating Shapley Values