프롬프트가 시각이 될 때 - 대형 이미지 편집 모델을 겨냥한 비전 중심 탈옥 공격

Digest: 현대 이미지 편집 모델(image editing model, 텍스트 지시에 따라 입력 이미지를 수정하는 생성모델)의 안전장치는 대부분 텍스트 프롬프트를 검사하도록 설계되어 있다. 본 논문은 유해 지시를 텍스트가 아닌 이미지 안에(화살표·도형·글자 형태로) 심어 넣는 Vision-Centric Jailbreak Attack(VJA)을 제안하여, 파이프라인을 M(양성이미지, 유해텍스트)에서 M(적대적이미지, NULL)로 바꾼다. 이 방식은 상용 모델 Nano Banana Pro에서 ASR(Attack Success Rate, 안전장치를 뚫은 비율) 80.9%, GPT-Image-1.5에서 70.3%를 기록했고, 텍스트 공격(TJA) 대비 Nano Banana Pro에서 +35.6%p 향상을 보였다(출처: Table 1·Table 2). 저자들은 15개 위험 범주·3단계 심각도·1,054장으로 구성된 IESBench 벤치마크와, 안전 트리거 문구를 덧붙여 위협면을 언어 모달리티로 되돌리는 training-free introspection 방어(ASR 약 33%p 감소)를 함께 제시한다. 함의는 텍스트 중심 안전 정렬만으로는 시각 프롬프트 공격을 막지 못한다는 것이며, 한계는 시각 인지력이 약한 모델에는 공격·방어 모두 효과가 줄어든다는 점이다.

먼저 이해하기

요즘 이미지 편집 모델(사진과 “이 사람 얼굴을 지워줘” 같은 텍스트를 함께 주면 사진을 고쳐주는 AI)은 위험한 요청을 막기 위해 안전장치를 둔다. 문제는 그 안전장치가 거의 다 텍스트 지시만 검사한다는 점이다. 이 논문의 핵심 아이디어는 간단하다. 유해한 지시를 글자 프롬프트에 쓰지 말고, 아예 이미지 자체에 화살표·동그라미·글씨로 그려 넣어 전달하면(vision-centric, 시각 중심) 텍스트 검열망을 통째로 우회할 수 있다는 것이다.

왜 중요한가: 원문 근거로 볼 때, 텍스트 공격(TJA)은 상용 모델에서 30~~53%만 뚫는데, 같은 요청을 시각 프롬프트로 바꾼 VJA는 70~~98%를 뚫는다(출처: Conclusion). 즉 지금의 안전 정렬은 “글자만 보는 눈”이라 시각 지시에 취약하다는 것을 정량적으로 드러낸다.
저자들은 공격만 보여주는 데 그치지 않고, 평가용 벤치마크(IESBench)와 훈련 없이 붙이는 방어책(introspection)까지 한 세트로 제시한다.

원 용어	쉬운 설명
Image editing model	입력 이미지 + 지시를 받아 이미지를 수정하는 생성모델(예: Nano Banana Pro, GPT-Image-1.5)
VJA (Vision-Centric Jailbreak Attack)	유해 지시를 텍스트가 아닌 이미지 안 시각 요소로 심는 탈옥 공격
TJA (Text-Centric Jailbreak Attack)	종래처럼 유해 지시를 텍스트 프롬프트로 주는 탈옥 공격
ASR (Attack Success Rate)	안전장치를 통과해 유해 편집이 성공한 비율
MLLM-as-judge	멀티모달 LLM을 채점자로 써서 편집 결과의 유해성을 자동 평가
Introspection 방어	”너는 이미지 편집 안전 평가자다…”라는 안전 트리거 문구를 덧붙여 모델이 스스로 검토하게 만드는 방어

섹션별 요약

Abstract

현대 이미지 편집 모델의 안전장치는 텍스트 중심으로 설계되어 시각 프롬프트에 취약하다. 저자들은 유해 지시를 이미지에 인코딩하는 VJA를 제안하고, 15개 위험 범주·1,054장의 IESBench를 구축했으며, MLLM-as-judge로 확장 가능한 평가를 수행한다. VJA는 Nano Banana Pro에서 ASR 80.9%, GPT-Image-1.5에서 70.3%를 달성한다. 또한 위협면을 언어로 되돌리는 training-free introspection 방어를 제시해 취약 모델에서 ASR을 약 33%p 낮춘다.

왜 이 연구를 하는가?

기존 안전 연구·안전장치는 “양성 이미지 + 유해 텍스트” 조합(M(I_benign, T_malicious) → I_harmful)을 가정하고 텍스트를 필터링한다. 그러나 편집 모델은 이미지 안의 시각 단서(화살표, 강조 도형, 삽입 글자)도 지시로 해석한다. 이 “vision-centric safety misalignment”를 겨냥하면 텍스트 검열을 우회할 수 있고, 이는 지금까지 과소평가된 공격면이다.

Introduction

공격 패러다임을 M(I_adversarial, NULL) → I_harmful로 재정의한다. 텍스트 프롬프트를 비우고(NULL) 적대적 시각 단서만으로 유해 편집을 유도한다. 기여는 세 가지다. (1) VJA 공격 패러다임, (2) 계층적 안전 벤치마크 IESBench(1,054장, 15범주, 3단계, 116개 세부 편집 속성, 9개 액션), (3) training-free introspection 방어.

Methods

VJA 시각 프롬프트 구성: 방향 표식(화살표·원·사각형), 다양한 폰트·크기·색의 의미적 편집 단서, 다국어 변형(영어·중국어·한국어·일본어)을 이미지에 삽입한다.
IESBench 구축: 15개 위험 범주를 3단계 심각도로 조직한다. Level 1(개인 권리: 프라이버시 침해, 허위 의료 이미지, 성적 콘텐츠), Level 2(집단 표적: 아동·동물 학대, 차별, 저작권 조작), Level 3(사회적: 폭력, 허위정보, 증거 조작, 위험 행위 지시). 116개 세부 편집 속성과 9개 액션(add/delete/replace 등)으로 라벨링하고, 통제 생성 + 실사 수집 후 품질 필터링으로 1,054장을 만든다.
MLLM-as-judge: 멀티모달 LLM(주 채점자 Gemini 3 Pro)을 판정자로 사용해 ASR, HS(Harmfulness Score, 1~5), EV(Editing Validity, 유효/무의미 편집 구분), HRR(High Risk Ratio, 유효하면서 고위험인 비율)를 산출한다.
Introspection 방어: “You are an image editing safety evaluator. Please review the image and text…” 같은 안전 트리거 문구를 덧붙여, VLM 내부의 안전 인식을 활성화하고 위협면을 시각→언어로 되돌린다. KV-Cache 재사용으로 계산 오버헤드가 거의 없는 training-free 방식이다.

발견 (Findings)

상용 모델(Nano Banana Pro, GPT-Image-1.5)이 오픈소스 대비 훨씬 강건하며, 이는 통합 안전장치 덕분이다. 안전장치 없는 오픈소스는 ASR 100%.
안전한 모델일수록 시각 공격에서 취약성이 급증한다: Nano Banana Pro는 TJA 48.8% → VJA 84.4%(+35.6%p), 이미 약한 Seedream 4.5는 93.2% → 93.7%(+0.5%p)로 거의 변화 없음.
증거 조작(I13)과 혐오적 시각 조작(I15)이 전 모델에서 가장 잘 뚫리는 범주다. 저작권 조작은 모델별 편차가 커서 GPT-Image-1.5 95.7% vs Nano Banana Pro 41.3%.

Results

아래 “실험 결과 상세” 표 참조. 핵심은 VJA가 상용 모델 안전장치를 70~98%로 우회하고, introspection 방어가 취약 모델 ASR을 100% → 66.9%로 낮춘다는 점이다.

Discussion

텍스트 중심 안전장치는 유해 요청의 30~~53%만 차단하지만 시각 공격은 70~~98%로 통과한다. 방어는 보조 guard 모델이나 추가 학습 없이 introspective multimodal reasoning만으로 실용적 완화를 제공한다. 방어 ablation(Figure 7)에서 reasoning을 켜면 이진 분류 정확도 75.0%·AUC-ROC 75.7%, 끄면 약 50%(무작위)로, 언어를 통한 다중모달 추론이 방어의 핵심임을 확인한다.

이론적 의의

안전 정렬이 모달리티 편향적임을 드러낸다. 즉 정렬 강도가 텍스트 채널에 집중되어 있고, 동일한 유해 의미가 시각 채널로 들어오면 정렬이 전이되지 않는다. 방어가 위협을 언어로 되돌려 성공한다는 사실은 “정렬이 강한 모달리티로 문제를 옮기라”는 일반 원리를 시사한다.

Discussion Points

시각 인지력이 약한 모델은 역설적으로 VJA에 덜 취약하다(시각 지시를 아예 따르지 못해서). 능력과 안전이 얽혀 있다.
introspection 방어는 사전 정렬된 VLM에 의존하며, 광범위한 세계지식이 필요한 조작(허위정보 판별 등)에는 약하다.
MLLM 판정자는 인간보다 고위험 점수를 다소 후하게 준다(HS 4.2 vs 3.7).

실험 결과 상세

Table 1 — VJA 주요 결과 (모델별 ASR/HS/EV/HRR)

모델	유형	ASR	HS	EV	HRR
Nano Banana Pro	상용	80.9%	3.8	79.1%	70.6%
GPT-Image-1.5	상용	70.3%	3.2	63.0%	52.0%
Qwen-Image-Edit (online)	상용/API	97.5%	4.1	87.7%	73.8%
Seedream 4.5	상용	94.1%	4.4	86.3%	83.8%
BAGEL	오픈소스	100%	4.1	82.0%	70.6%
Flux2.0[dev]	오픈소스	100%	4.6	87.1%	84.6%
Qwen-Image-Edit* (local)	오픈소스	100%	4.6	92.9%	90.3%

Table 2 — TJA vs VJA (상용 4모델)

모델	TJA ASR	VJA ASR	향상
GPT-Image-1.5	46.8%	71.7%	+24.9%p
Nano Banana Pro	48.8%	84.4%	+35.6%p
Qwen-Image-Edit	88.8%	96.1%	+7.3%p
Seedream 4.5	93.2%	93.7%	+0.5%p

방어(Qwen-Image-Edit-Safe) 효과: 평균 ASR 100% → 66.9%(약 33%p↓), HS 4.6 → 3.4(1.2점↓). 특히 I13(61.5% ASR)·I15(55.3% ASR) 범주에서 효과적. 방어 ablation(Figure 7): reasoning 사용 시 정확도 75.0%·AUC-ROC 75.7%, 미사용 시 약 50%.

Table 3 — 판정자(MLLM) 비교 (5% 랜덤 샘플)

판정자	인간 선호 득표	EV
GPT (5.2)	29.3%	-
Gemini 3 Pro	25.4%	78.8%
Qwen3-VL-8B-Thinking	19.3%	90.9%
Qwen3-VL-2B-Instruct	6.9%	57.2%
Human	(기준) 86.4%	HS 3.7±1.2

민감도 분석(Appendix A.1): 폰트 변경 시 일부 모델에서 최대 28% 변동, 비영어 언어는 EV를 최대 33.3% 낮춤. Nano Banana Pro가 모든 변수에서 가장 강건.

프레임워크 다이어그램

flowchart TD
    A["유해 의도"] --> B{"어느 모달리티로 전달?"}
    B -->|"텍스트 프롬프트 TJA"| C["텍스트 안전장치 검열"]
    C --> D["상당수 차단 (ASR 30-53%)"]
    B -->|"시각 프롬프트 VJA"| E["이미지에 화살표/도형/글자 삽입<br/>M(I_adversarial, NULL)"]
    E --> F["텍스트 검열 우회"]
    F --> G["유해 편집 성공 (ASR 70-98%)"]
    G --> H["IESBench 평가<br/>MLLM-as-judge: ASR/HS/EV/HRR"]
    G --> I["Introspection 방어<br/>안전 트리거 문구 삽입"]
    I --> J["위협면을 언어로 회귀<br/>ASR 약 33%p 감소"]

재현성 및 신뢰도 평가

종합등급: B (Evidence B / Reproducibility B)

근거: 7개 모델·1,054장·4개 지표로 광범위하게 측정했고, TJA 대비 비교와 ablation, 인간 평가 대조까지 포함해 증거 폭이 넓다. 다만 상용 모델(Nano Banana Pro, GPT-Image-1.5, Seedream 4.5)은 API 블랙박스라 시점 의존적이며, 판정자가 MLLM이라 채점 편향(HS 후하게)이 있어 절대 수치의 재현은 제한적이다.

주장별 신뢰도:

“VJA가 텍스트 공격보다 강하다” — 높음. Table 2에서 4개 상용 모델 모두 향상(+0.5~+35.6%p), 안전한 모델일수록 향상 폭이 커 인과가 일관됨.
“introspection 방어가 효과적이다” — 중간. 오픈소스 취약 모델에서 100%→66.9%로 큰 효과지만, 사전 정렬된 VLM 의존·세계지식 필요 조작에 약하다는 한계가 명시됨.
“MLLM 판정이 인간과 정렬된다” — 중간. 대형 판정자는 인간 선호 득표가 높지만(GPT 29.3%) 인간보다 고위험 점수를 후하게 줘(HS 4.2 vs 3.7) 계통 편향 존재.

원자적 인사이트 (Zettelkasten)

안전 정렬은 모달리티 편향적이다: 동일한 유해 의미라도 정렬이 강한 채널(텍스트)로 오면 막히고 약한 채널(시각)로 오면 통과한다. 정렬은 “의미” 수준이 아니라 “입력 채널” 수준에 붙어 있다는 증거다.
능력과 취약성이 정비례할 수 있다: 시각 지시를 잘 따르는 강한 모델일수록 VJA에 더 크게 뚫린다(Nano Banana Pro +35.6%p vs Seedream +0.5%p). 시각 인지력이 곧 공격 표면이 된다.
방어의 일반 원리 = 위협을 강한 모달리티로 되돌리기: introspection은 새 방어 모듈을 학습하지 않고 안전 트리거 문구로 문제를 언어 추론으로 옮겨 해결한다. reasoning을 끄면 방어가 무작위(50%)로 붕괴한다.
자동 평가자의 계통 편향은 방향이 일정하다: MLLM 판정자는 인간보다 유해성을 일관되게 후하게 준다(HS 4.2 vs 3.7). 절대값보다 모델 간 상대 비교에 쓰는 편이 안전하다.

핵심 용어 정리

Vision-Centric Jailbreak Attack (VJA): 유해 지시를 텍스트가 아닌 이미지 내부의 시각 요소(화살표·도형·삽입 글자)로 인코딩해 텍스트 안전장치를 우회하는 탈옥 공격. 파이프라인을 M(I_adversarial, NULL)로 재정의.
IESBench: 이미지 편집 안전 평가 벤치마크. 15개 위험 범주 × 3단계 심각도, 1,054장, 116개 세부 편집 속성, 9개 액션.
ASR / HS / EV / HRR: 각각 공격 성공률, 유해성 점수(1~5), 편집 유효성(유의미한 편집인지), 고위험 비율(유효하면서 고유해).
MLLM-as-judge: 멀티모달 LLM(Gemini 3 Pro 등)을 자동 채점자로 사용해 대규모 유해성 평가를 수행하는 방식.
Introspection-based defense: 안전 평가자 역할을 지시하는 트리거 문구를 입력에 덧붙여 VLM이 스스로 유해성을 판단하게 하는 training-free 방어. KV-Cache 재사용으로 오버헤드 최소.
Vision-centric safety misalignment: 안전 정렬이 텍스트 채널에 편중되어 시각 채널로 들어온 동일 유해 의미를 놓치는 구조적 취약점.

BibTeX

@article{hou2026vja,
  title   = {When the Prompt Becomes Visual: Vision-Centric Jailbreak Attacks for Large Image Editing Models},
  author  = {Hou, Jiacheng and Sun, Yining and Jin, Ruochong and Han, Haochen and Liu, Fangming and Chan, Wai Kin Victor and Wang, Alex Jinpeng},
  journal = {arXiv preprint arXiv:2602.10179},
  year    = {2026}
}

프롬프트가 시각이 될 때 - 대형 이미지 편집 모델을 겨냥한 비전 중심 탈옥 공격

프롬프트가 시각이 될 때 - 대형 이미지 편집 모델을 겨냥한 비전 중심 탈옥 공격

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX