필요한 건 그 모든 어텐션이 아니다 — 텍스트-이미지 확산 모델의 외과적 암기 완화

Digest: 텍스트-이미지 확산 모델(Stable Diffusion 등)은 학습 데이터의 일부 이미지를 그대로 재생성(memorization, 암기)하여 저작권·프라이버시 위험을 일으킨다. 이 논문의 핵심 통찰은 암기가 한 종류가 아니라 두 종류(verbatim=거의 픽셀 단위 복제, template=구도·레이아웃 복제)이며 각각 cross-attention(교차 어텐션, 텍스트 토큰이 이미지 생성에 개입하는 통로) 패턴이 다르다는 것이다. verbatim은 EOT(End-of-Text, 문장 끝 토큰)에 어텐션이 집중되지만 template은 여러 토큰에 분산되어, EOT만 억제하던 선행 기법(Ren et al. 2024)은 template에서 실패한다. 저자들은 GUARD(Guidance Using Attractive-Repulsive Dynamics)라는 추론 시점(inference-time) 프레임워크를 제안한다. 매 확산 스텝마다 z-score(표준점수)로 어텐션 스파이크 토큰 집합 S(p)를 동적으로 탐지해 down/mid U-Net 블록에서만 해당 로짓을 α배 감쇠(CA attenuation)하고, 이를 척력(암기 방향에서 멀어짐, r)·인력(안전한 고품질 타깃으로 끌림, s) 유도와 결합한다. 핵심 수치로 SD v1.4 verbatim에서 CA-in-GUARD가 SSCD 0.079(무완화 0.875, Ren et al. 대비 개선), SD v2.0 template에서 SSCD 0.193(무완화 0.735, Ren et al. 0.356) — 낮을수록 암기 억제 우수 (Table 1). 함의는 암기 유형별 동적·외과적 개입이 고정 전략보다 낫다는 것이며, 한계는 추론 시점 기법이라 가중치를 지우지 못해 화이트박스 공격 방어가 불가하다는 점이다.

먼저 이해하기

Stable Diffusion 같은 텍스트-이미지 모델은 프롬프트(문장)를 받아 이미지를 만든다. 그런데 학습에 쓴 특정 이미지가 데이터에 여러 번 등장하면, 모델이 그 이미지를 사실상 외워버려 프롬프트만 넣으면 원본을 거의 그대로 뱉어낸다. 이것이 memorization(암기)이고 저작권·프라이버시 사고로 이어진다.

이 논문의 첫 발견은 “암기에도 종류가 있다”는 것이다.

verbatim memorization(축자 암기): 원본 이미지를 거의 픽셀 단위로 복제.
template memorization(템플릿 암기): 색·세부는 달라도 구도·배치 같은 틀을 복제.

두 번째 발견은 이 둘이 모델 내부에서 다르게 작동한다는 것이다. 이미지가 생성될 때 텍스트 토큰이 그림에 개입하는 통로가 cross-attention(교차 어텐션)인데, verbatim은 문장 끝을 나타내는 EOT(End-of-Text) 토큰(문장 끝 특수 토큰) 하나에 어텐션이 몰린다. 반면 template은 여러 토큰에 어텐션 스파이크가 흩어진다. 그래서 EOT만 눌러 끄던 기존 방법(Ren et al. 2024)은 verbatim은 막아도 template은 못 막는다.

왜 중요한가: 원문 근거상 template 암기까지 잡으려면 “어떤 토큰이 문제인지”를 프롬프트마다, 확산 스텝마다 다시 찾아 눌러야 한다. 저자들은 통계적으로 튀는 토큰(z-score가 임계값을 넘는 토큰)만 골라 그 어텐션을 부분적으로 줄이고(외과적 개입), 동시에 “암기 방향에서 밀어내고(척력) 안전한 이미지 쪽으로 당기는(인력)” 유도를 classifier-free guidance 공식 안에 넣는다. 실제로 SD v2.0 template에서 SSCD가 0.735 → 0.193으로 크게 떨어진다(낮을수록 좋음).

먼저 알아둘 용어 표

용어	쉬운 설명
memorization (암기)	모델이 학습 이미지를 프롬프트만으로 거의 그대로 재생성하는 현상
verbatim / template	픽셀 단위 복제 / 구도·틀만 복제 두 암기 유형
cross-attention (교차 어텐션)	텍스트 토큰이 이미지 생성 과정에 개입하는 U-Net 내부 통로
EOT 토큰	문장 끝을 나타내는 특수 토큰. verbatim 암기 시 어텐션이 여기 집중
classifier-free guidance (CFG)	조건부·무조건부 예측을 섞어 프롬프트 반영 강도를 조절하는 표준 유도 기법
SSCD	생성 이미지가 원본 학습 이미지와 얼마나 닮았는지(암기 정도) 측정. 낮을수록 좋음

섹션별 요약

Abstract

텍스트-이미지 확산 모델의 암기 문제를 추론 시점에서 완화하는 GUARD 프레임워크를 제안한다. 핵심은 (1) 암기를 verbatim/template로 구분하고 각각 cross-attention 패턴이 다름을 밝힌 것, (2) 프롬프트·스텝별로 스파이크 토큰을 동적 탐지해 down/mid 블록 어텐션만 외과적으로 감쇠하는 것, (3) 이를 척력(r)·인력(s) 유도와 결합한 것이다. 여러 SD 아키텍처와 두 암기 유형에서 선행 기법을 능가한다.

왜 이 연구를 하는가?

확산 모델의 암기는 저작권·프라이버시 위험이다. 선행 완화 기법은 대체로 EOT 토큰 어텐션 억제에 의존하는데, 이는 verbatim 암기에만 통하고 template 암기에는 실패한다. 저자들은 암기 유형별로 내부 메커니즘이 다르다는 관찰에서 출발해, 고정 전략이 아닌 프롬프트별 동적 개입이 필요하다고 주장한다.

Introduction

문제: T2I 확산 모델이 특정 학습 이미지를 재생성.
관찰: verbatim은 EOT에 어텐션 집중, template은 여러 토큰에 분산 스파이크 → 낮은 EOT 집중도.
기존 한계: Ren et al. (2024)처럼 EOT만 감쇠하면 template에서 실패.
제안: GUARD = 동적 스파이크 탐지 + 외과적 CA 감쇠 + 척력·인력 유도.

Methods

GUARD 유도 공식 (수정된 classifier-free guidance):

ε̂ = ε_θ(x_t, e_∅) + s·(ε_θ⁺(x_t, e_p) − ε_θ(x_t, e_∅)) − r·(ε_θ⁻(x_t, e_p) − ε_θ(x_t, e_∅))

ε_θ(x_t, e_∅): 무조건부(unconditional) 예측.
ε_θ⁺(x_t, e_p): 어텐션 감쇠가 적용된 안전한 프롬프트 조건부 예측 → 인력 항(s)이 이쪽으로 당긴다.
ε_θ⁻(x_t, e_p): 암기된 프롬프트에 대한 표준 예측 → 척력 항(r)이 이쪽에서 밀어낸다.
s, r: 각 항 강도를 조절하는 하이퍼파라미터.

스파이크 탐지 (동적, 프롬프트·스텝별):

cross-attention 맵 추출.
각 토큰 위치 i에 대해 M_i = max_q AttnScore_{q,i} (쿼리 최대 어텐션).
z-score Z_i = (M_i − μ)/σ.
Z_i > τ (기본 τ=3)인 토큰을 스파이크로 플래그.
스파이크 집합 S(p) = {i : Z_i > τ}.

Cross-Attention 감쇠: softmax 이전 로짓을 스파이크 위치에서만 축소.
ℓ’{q,i} = ℓ{q,i} · α^(1[i∈S(p)]), α∈(0,1)이 감쇠 강도.

U-Net 블록 선택: down-block과 mid-block에만 적용(암기가 집중되는 곳), up-block에는 미적용(생성 품질 보존). 헤드 전략은 기본적으로 모든 어텐션 헤드에 적용하되, 스파이크에 과도하게 반응하는 “hot heads”만 겨냥하는 대안도 존재.

발견 (Findings)

암기 메커니즘은 verbatim/template에 따라 근본적으로 다르며, EOT 집중도가 이를 가르는 지표.
고정 EOT 억제로는 template을 못 잡음 → 동적 per-prompt 적응이 필수.
CA 감쇠 기반 안전 타깃이 의미론적 패러프레이즈(다른 문장으로 바꾸기) 타깃보다 모든 설정에서 우수 (Figure 5).
down/mid 블록 감쇠가 핵심, up 블록 감쇠는 품질을 해침 (Figure 7).

Results

아래 “실험 결과 상세” 표 참조. 요지: CA-in-GUARD가 SD v1.4/v2.0, verbatim/template 전반에서 SSCD를 크게 낮추면서 CLIP·FID 저하를 억제하고, 특히 SD v2.0 template에서 Ren et al.(SSCD 0.356) 대비 0.193으로 최대 개선.

Discussion

암기 완화는 “무엇을 어디서 얼마나” 누를지의 문제이며, 유형별 동적 개입이 고정 전략을 이긴다. 비암기 프롬프트에는 유의미한 품질 저하가 없어(Table 3) 부작용이 통제됨을 시사.

이론적 의의

암기를 단일 현상이 아닌 유형별 내부 메커니즘(EOT 집중 vs 분산 스파이크)으로 재개념화함으로써, cross-attention 구조 안에서 암기의 “위치”를 진단·개입 가능한 대상으로 만든다.

Discussion Points

추론 시점 기법이라 가중치를 지우지 못함 → 블랙박스 위협만 방어, 화이트박스 적대자에는 취약.
하이퍼파라미터(τ, α, r, s)가 유형·아키텍처별로 튜닝 필요 → 자동화 여지.
학습 시점/파인튜닝 기반 제거와의 결합이 향후 과제.

실험 결과 상세

주요 표 (Table 1) — SSCD↓(암기, 낮을수록 좋음), CLIP↑(프롬프트 정합, 높을수록 좋음), FID↓(품질, 낮을수록 좋음):

설정	방법	SSCD ↓	CLIP ↑	FID ↓
SD v1.4 · verbatim	No mitigation	0.875	0.346	243.056
SD v1.4 · verbatim	CA attenuation	0.109	0.282	164.660
SD v1.4 · verbatim	CA-in-GUARD	0.079	0.266	158.115
SD v1.4 · template	No mitigation	0.776	0.219	258.976
SD v1.4 · template	Ren et al. (2024)	0.602	0.184	222.066
SD v1.4 · template	CA-in-GUARD	0.517	0.186	210.983
SD v2.0 · template	No mitigation	0.735	0.215	303.266
SD v2.0 · template	Ren et al. (2024)	0.356	0.188	208.416
SD v2.0 · template	CA-in-GUARD	0.193	0.183	212.727

비교 베이스라인: Random Token Addition (RTA), Wen et al. (2024), Ren et al. (2024), Han et al. (2025), 순수 CA attenuation.

하이퍼파라미터 (Table 2):

CA attenuation — SD v1.4 verbatim: τ∈[0.01,0.05], α∈[0.05,0.5] · SD v1.4 template: τ∈[0.5,3.0], α∈[0.1,0.7] · SD v2.0 template: τ∈[0.5,3.0], α∈[0.1,0.7].
CA-in-GUARD (r 추가) — SD v1.4 verbatim: r∈[0.1,2.0] · SD v1.4 template: r∈[0.1,2.0] · SD v2.0 template: r∈[2.0,6.0].
스파이크 탐지 기본 τ=3 (z-score 기준).

데이터셋/평가: Webster (2023)의 500개 암기 프롬프트를 SSCD > 0.7로 필터 → SD v1.4 verbatim 72개, SD v1.4 template 143개, SD v2.0 template 96개. 비암기 강건성은 200개 비암기 LAION 프롬프트에서 유의미한 저하 없음(Table 3). 품질 허용치는 참조 CLIP 대비 15% 저하까지. 타임스텝당 3회 forward pass 배치 추론.

프레임워크 다이어그램

flowchart TD
    P["암기 프롬프트 p"] --> CA["cross-attention 맵 추출"]
    CA --> M["토큰별 최대 어텐션 M_i = max_q AttnScore"]
    M --> Z["z-score Z_i = (M_i - mu)/sigma"]
    Z --> S{"Z_i > tau ?"}
    S -- "예" --> SP["스파이크 집합 S(p)"]
    SP --> ATT["down/mid 블록 로짓 감쇠: l' = l * alpha"]
    ATT --> POS["안전 예측 eps+ (인력 s)"]
    P --> NEG["표준 예측 eps- (척력 r)"]
    UNC["무조건부 예측 eps_null"] --> G
    POS --> G["GUARD 유도 결합"]
    NEG --> G
    G --> OUT["암기 완화된 이미지"]

재현성 및 신뢰도 평가

종합 등급: B

근거(+): 공개된 벤치마크(Webster 2023 암기 프롬프트, LAION), 표준 지표(SSCD/CLIP/FID), 다중 아키텍처(SD v1.4/v2.0)와 다중 베이스라인 비교, 하이퍼파라미터 범위와 필터링 기준(SSCD>0.7) 명시.
근거(−): 코드 공개 여부가 본문에서 확인되지 않음, 하이퍼파라미터가 유형·아키텍처별 범위로만 제시되어 최적값 재현에 튜닝 필요, 표준편차는 일부 지표에만 보고.

주장별 신뢰도

“verbatim은 EOT 집중, template은 분산 스파이크” — 신뢰도 중상: 정성/정량 분석과 선행기법 실패로 뒷받침되나 어텐션 해석의 인과성은 상관 근거에 가까움.
“CA-in-GUARD가 SD v2.0 template에서 최대 개선(0.193 vs Ren 0.356)” — 신뢰도 상: Table 1 수치로 직접 지지.
“비암기 프롬프트 품질 저하 없음” — 신뢰도 중: 200개 프롬프트 Table 3 근거이나 표본 규모 제한.

원자적 인사이트 (Zettelkasten)

암기는 단일 현상이 아니라 유형별 메커니즘이다. verbatim은 EOT 한 토큰에 어텐션이 집중되고 template은 여러 토큰에 분산되므로, “무엇을 누를지”가 유형마다 다르다. 단일 고정 전략은 이 구조적 차이를 놓친다.
완화는 ‘어디서(위치)‘의 문제로 환원된다. down/mid U-Net 블록에만 감쇠하고 up 블록을 보존하면 암기는 줄고 품질은 유지된다 — 개입 위치 선택이 완화-품질 트레이드오프를 결정한다.
척력과 인력의 분리가 품질을 지킨다. 단순히 암기 방향에서 밀어내기만(척력) 하면 품질이 무너질 수 있으나, 감쇠된 안전 예측 쪽으로 당기는 인력 항을 함께 두면 완화하면서도 고품질 타깃을 유지한다.
동적 per-prompt·per-step 탐지가 정적 규칙을 이긴다. z-score 기반 스파이크 집합 S(p)를 매 스텝 재계산하면, 프롬프트마다 다른 암기 토큰을 놓치지 않는다.

핵심 용어 정리

용어	정의
GUARD (Guidance Using Attractive-Repulsive Dynamics)	척력(암기 방향 회피)과 인력(안전 타깃 지향)을 CFG에 결합한 추론 시점 암기 완화 프레임워크
CA attenuation (교차 어텐션 감쇠)	스파이크 토큰의 어텐션 로짓을 softmax 전에 α배로 줄이는 외과적 개입
spike set S(p)	z-score가 τ를 넘는(어텐션이 튀는) 토큰 위치 집합. 프롬프트·스텝별로 동적 계산
SSCD	생성 이미지와 원본 학습 이미지의 유사도(암기 정도). 낮을수록 암기 억제 우수
verbatim / template memorization	픽셀 단위 복제 / 구도·틀 복제. cross-attention 패턴(EOT 집중 vs 분산)이 다름
repulsion(r) / attraction(s)	표준(암기) 예측에서 밀어내는 항 / 감쇠된 안전 예측으로 당기는 항의 강도

BibTeX

@article{zhao2026guard,
  title={You Don't Need All That Attention: Surgical Memorization Mitigation in Text-to-Image Diffusion Models},
  author={Zhao, Kairan and Triantafillou, Eleni and Triantafillou, Peter},
  journal={arXiv preprint arXiv:2603.00133},
  year={2026}
}

필요한 건 그 모든 어텐션이 아니다 — 텍스트-이미지 확산 모델의 외과적 암기 완화

필요한 건 그 모든 어텐션이 아니다 — 텍스트-이미지 확산 모델의 외과적 암기 완화

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX