SuperPos-Prompt: 어휘 임베딩을 겹쳐 만드는 soft prompt
개요
**Soft prompt tuning(소프트 프롬프트 튜닝: 언어 모델은 얼려 두고, 입력 앞에 붙이는 학습 가능한 벡터 몇 개만 고치는 방법)**은 바꾸는 파라미터가 아주 적다는 장점이 있지만, 데이터가 적거나 모델이 작으면(T5 계열 5천만–3억 파라미터) 학습이 느리고 잘 안 된다. 기존 연구는 프롬프트를 무작위 벡터보다 실제 단어의 임베딩으로 시작할 때 더 잘 배운다는 것을 보여 줬는데, 이 논문의 통찰은 “단어 하나로 시작할 게 아니라 여러 단어를 섞으면 어떨까”라는 질문이다. 그래서 SuperPos-Prompt는 어휘 임베딩 표에서 단어 128개를 뽑아 행렬 E로 묶고, 프롬프트 토큰 하나하나를 그 단어들의 가중합 p_i = E·p’_i로 만든다. 이것이 **superposition(중첩: 여러 벡터를 계수를 곱해 더한 것)**이고, 학습은 계수 p’_i와 E를 함께 고친다. 마치 물감 128색을 섞는 비율을 배우는 셈이라, 출발점이 실제 단어 공간 안에 있으면서도 표현할 수 있는 범위는 단어 하나보다 넓다. 오토인코더를 따로 학습해야 하는 Residual Prompt나, 미리 학습한 source prompt 100개가 필요한 IPT·ATTEMPT와 달리 추가 사전학습이 필요 없다는 점이 차이다. 덧붙여 저자들은 두 번째 발견도 보고한다. 얼려 둔 모델 안의 **dropout(학습 중 일부 뉴런을 무작위로 끄는 정규화)**을 끄기만 해도 대부분의 프롬프트 튜닝 방법이 더 빨리, 더 높게 수렴했다. T5v1.1 LM-Adapted 모델의 GLUE·SuperGLUE 13개 과제에서 SuperPos-Prompt(dropout 끔)의 평균은 Small 70.2, Base 75.8로, 같은 조건의 Residual Prompt(63.8, 70.8)보다 각각 6.4점과 5.0점 높았고 full fine-tuning(71.7, 76.7)에 1점 안쪽까지 다가갔다(Table 1). 과제별 성능의 표준편차도 Residual Prompt의 절반 수준이었다(Table 2).
Implication: 프롬프트를 “자유 벡터”가 아니라 “사전학습 어휘의 조합”으로 묶어 두는 것만으로 작은 모델의 프롬프트 튜닝이 크게 안정된다. 다만 T5 두 크기와 분류형 과제에서만 확인했고 반복 실험 횟수는 보고되지 않았다.
📎 https://arxiv.org/abs/2406.05279
배경과 문제
PEFT의 자리. full fine-tuning(모델 파라미터 전체를 새 과제에 맞춰 고치는 것)은 메모리가 많이 든다. 그래서 일부 파라미터만 학습하는 **PEFT(Parameter-Efficient Fine-Tuning)**가 나왔다. 저자들은 대표 방법으로 세 가지를 든다(Introduction, author-stated). Adapter는 Transformer 블록마다 병목 feed-forward 층을 끼운다. LoRA는 가중치 행렬의 low-rank(저차원) 변화량만 배운다. Soft prompt tuning(Lester et al., 2021)은 입력 임베딩 앞에 학습 가능한 행렬을 이어 붙인다. 저자들은 soft prompt tuning이 PEFT 중 성능이 가장 좋지는 않지만 파라미터 효율이 뛰어나다고 평가한다(Introduction, author-stated).
무엇이 안 풀렸나. 저자들은 선행 연구를 인용해 두 가지 문제를 꼽는다(Introduction, author-stated).
- 데이터가 적고 모델이 작을 때(T5 계열 5천만–3억 파라미터) soft prompt를 학습하기가 최적화상 어렵다(Lester et al., 2021).
- soft prompt는 full fine-tuning이나 다른 delta-tuning보다 훨씬 느리게 수렴한다(Ding et al., 2022).
기존 해법의 세 갈래 (Introduction, author-stated).
- 재매개화(reparameterization: 프롬프트를 직접 배우지 않고, 다른 파라미터로부터 계산해 내는 방식): Residual Prompt Tuning(Razdaibiedina et al., 2023)은 무작위 초기화한 오토인코더에 residual 연결을 달아 프롬프트를 만든다.
- 사전학습 프롬프트로 초기화: SPoT(Vu et al., 2022)는 source 과제에서 학습한 프롬프트로 target 과제 프롬프트를 시작한다. 어떤 source를 고르느냐가 중요해 검색 알고리즘을 쓴다.
- 둘의 결합: IPT는 여러 과제의 프롬프트로 오토인코더를 학습해 저차원 부분공간을 찾는다. ATTEMPT는 사전학습 프롬프트들을 softmax attention으로 섞는다. PANDA는 knowledge distillation을, MPT는 여러 source prompt를 하나로 증류한다.
이 논문의 출발점. 프롬프트를 실제 토큰 임베딩으로 초기화하면 무작위 초기화보다 낫다는 관찰(Lester et al., 2021)에서 시작해, “프롬프트 임베딩 하나에 토큰 임베딩을 여러 개 쓸 수 있을까?”를 묻는다(Section 2, author-stated). 결과적으로 SuperPos-Prompt는 재매개화 계열이지만, 그 재매개화의 재료를 사전학습 프롬프트가 아니라 모델 자신의 어휘 임베딩에서 가져온다. 그래서 source 과제도, 오토인코더 사전학습도 필요 없다(Section 2.1, author-stated).
두 번째 문제의식. 저자들은 얼려 둔 모델의 dropout을 끄는 것이 프롬프트 튜닝을 빠르고 효율적으로 만든다는 관찰이 선행 연구에서 다뤄진 적 없다고 말한다(Introduction, author-stated). 이 “처음”이라는 주장은 저자 자신의 문헌 조사 범위에 대한 진술이다(analyst-inference).
지표
| 지표 | 무엇을 세나 | 범위·방향 | 쓰인 과제 | 원문 위치 |
|---|---|---|---|---|
| Accuracy (Acc.) | 맞힌 예제 비율 | 0–100, 높을수록 좋음 | QNLI, MNLI, SST-2, RTE, COPA, WiC, BoolQ | Table 1 머리행 |
| F1/Acc. | F1(정밀도와 재현율의 조화평균)과 정확도 두 값 | 0–100, 높을수록 좋음 | QQP, MRPC, CB | Table 1 |
| PCC/ρ | Pearson 상관계수와 Spearman 순위상관 ρ (예측 점수가 정답 유사도 점수와 얼마나 같이 움직이는지) | 표에는 ×100 값으로 적힘, 높을수록 좋음 | STS-B | Table 1 |
| MCC | Matthews 상관계수(불균형 이진 분류에서도 공정한 상관 지표) | 표에는 ×100 값, 높을수록 좋음 | CoLA | Table 1 |
| F1a/EM | 답 후보 단위 F1과 exact match(문항의 정답 묶음을 통째로 맞힌 비율) | 0–100, 높을수록 좋음 | MultiRC | Table 1 |
| Avg. | 13개 과제 점수의 평균. 지표가 두 개인 과제는 두 값의 평균을 그 과제 점수로 쓴다 | 높을수록 좋음 | 전체 | Table 1 캡션 |
| Standardized overall scoring 평균±표준편차 | 각 과제 점수를 방법들 사이에서 정규화·스케일한 뒤 13개 과제에 걸친 평균과 표준편차. 표준편차가 낮을수록 “과제마다 들쭉날쭉하지 않다”는 뜻의 안정성 | 평균은 높을수록, 표준편차는 낮을수록 좋음 | 13개 과제 | Table 2, Section 4 “Stability Analysis” |
- † 표시: T5가 유효한 라벨 문자열을 항상 생성하도록 수렴하지 못한 경우다. 이때 점수는 0으로 기록한다(Table 1 캡션, Section 4). 그래서 평균에는 “학습 실패”가 0점으로 섞여 들어간다.
- 정규화 방식의 세부: standardized overall scoring은 Yu et al.(2023)의 방법이라고만 적혀 있고, 정규화 수식과 기준(어떤 방법들 사이에서 min-max인지 z-score인지)은 원문에 보고되지 않았다(
unknown). - 평가 split: Table 1의 점수가 validation set인지 test set인지, 그리고 80 epoch 중 마지막 값인지 최고값인지는 원문에 보고되지 않았다(
unknown). Figure 2(c)의 ablation만 y축 이름이 “on validation”이고, 본문이 “얻은 최고 점수(highest performance score achieved)“라고 밝힌다(Section 3.3).
방법과 벤치마크 구성
기본 프롬프트 튜닝(Section 1, Figure 1a). 입력 토큰 l개를 임베딩하면 행렬 X ∈ ℝ^{e×l}가 된다(e는 임베딩 차원). 프롬프트 n개를 P ∈ ℝ^{e×n}로 두고 [P|X]를 모델에 넣는다. 모델 파라미터 θ는 고정하고 P만 최적화한다.
SuperPos-Prompt(Section 2, Figure 1b).
- 어휘 임베딩 층에서 서로 다른 토큰 m개를 무작위로 뽑아 e_1…e_m을 열로 하는 행렬 E ∈ ℝ^{e×m}을 만든다.
- 프롬프트 토큰마다 계수 벡터 p’_i ∈ ℝ^m을 둔다.
- 프롬프트 임베딩은 p_i = E·p’_i = Σ_j p’_ij·e_j다(Section 2의 식).
- 학습 중에는 E와 p’_i를 함께 고친다(Figure 1 캡션 “All e_j s and vector p’_i are co-tuned”).
- E는 프롬프트마다 따로 있다. 모든 프롬프트가 같은 m개 토큰으로 E를 초기화하지만, 학습은 프롬프트별로 따로 한다(Section 2,
author-stated). - E에는 weight decay를 걸지 않는다. 옵티마이저의 weight decay(가중치 크기를 0 쪽으로 계속 줄이는 정규화)가 E의 norm을 줄여 정보 손실이 컸기 때문이다. 그래서 weight decay는 p’_i에만 건다(Section 2,
author-stated). - m = 128. Figure 2(c)의 ablation에서 128 이후 개선이 평평해져서 정했다(Section 3.3).
다른 해석(Figure 1d). SuperPos-Prompt는 “작은 벡터 p’_i를 E라는 선형 up-projection(저차원에서 고차원으로 올리는 층)으로 펼치는 decoder”로도 볼 수 있다. 그 decoder의 가중치를 어휘 임베딩으로 초기화한 것이다. Residual Prompt가 encoder–decoder에 residual 연결까지 쓰는 것과 비교하면 부품이 절반이다(Section 2.1, author-stated).
기반 모델(Section 3.2). T5v1.1의 LM-adapted 버전인 t5-small-lm-adapt와 t5-base-lm-adapt. 파라미터는 Base 247,577,856개, Small 76,961,152개(Section 3.4). 분류 과제를 라벨 문자열을 생성하는 conditional generation으로 푼다. 프롬프트는 T5의 encoder 쪽에만 붙인다.
- 원본 T5 체크포인트를 피한 이유: Residual Prompt와 ATTEMPT는 T5v1.1-LM adapt가 불안정해서 원본 T5로 바꿨다. 그런데 원본 T5는 GLUE·SuperGLUE로 이미 학습된 모델이라 프롬프트가 “새 과제”를 배우는 게 아니라 이미 아는 지식을 불러오기만 하면 된다. 그래서 비교가 왜곡될 수 있다고 보고, 다른 방법들도 원 논문의 하이퍼파라미터로 T5v1.1-LM adapt 위에서 다시 구현했다(Section 3.2,
author-stated).
데이터(Section 3.1). GLUE 7개(QQP, QNLI, MNLI, SST-2, STS-B, MRPC, CoLA)와 SuperGLUE 6개(MultiRC, RTE, CB, COPA, WiC, BoolQ), 모두 13개. 작은 데이터와 큰 데이터를 섞어 골랐다.
실험 설정(Section 3.4).
- 공통: 프롬프트 토큰 10개, 80 epoch, learning rate scheduler 없음, AdamW. 방법마다 dropout 켬/끔 두 조건.
- Simple PT: 서로 다른 토큰 10개의 임베딩으로 초기화, lr 0.01, weight decay 0.01.
- Residual PT: 같은 초기화, lr 0.3, weight decay 0.01, bottleneck 128(“우리 방법과 비교 가능하게”).
- ATTEMPT: P_target을 토큰 10개 임베딩으로 초기화, lr 0.3, weight decay 0.00001, bottleneck G = 100. source prompt 학습에 쓰인 QQP, QNLI, MNLI, SST-2는 누출을 막으려고 평가에서 뺐다.
- SuperPos PT: 토큰 128개 임베딩, 10개 프롬프트 토큰이 같은 초기화 공유, lr 0.01, weight decay 0.00001.
- Full fine-tuning: 원래 가중치를 덜 망가뜨리려고 lr 0.00001.
- 계산량: A100 80GB에서 약 1000 GPU 시간.
- 구현: PyTorch, HuggingFace.
뺀 비교 대상. IPT는 오토인코더 학습에 사전학습 source prompt 100개가 필요하고 BART 기반이라 이 틀과 맞지 않아 제외했다(Section 2.1, author-stated).
주요 결과
| 주장 | 근거 위치 | 관찰/수치 | 조건·주의 | 출처 라벨 |
|---|---|---|---|---|
| SuperPos-Prompt가 Residual Prompt보다 평균이 높다 | Table 1, Section 4 | dropout 끈 조건 평균: Small 70.2 vs 63.8(+6.4), Base 75.8 vs 70.8(+5.0) | 둘 다 dropout 끈 행끼리 비교한 값 | author-stated |
| 과제별로도 거의 항상 Residual보다 높다 | Table 1 | Small은 13개 과제 모두 SuperPos ✗가 Residual ✗보다 높다. Base는 CB만 예외(Residual 82.6/80.4 vs SuperPos 78.3/82.1, 평균 81.5 vs 80.2) | 서론은 “almost consistently”, 결론은 “across all thirteen”이라 적어 표현이 다르다 | analyst-inference(표 대조) |
| 일부 과제에서는 full fine-tuning을 넘는다 | Table 1, Section 4 | Small: CB 73.6/76.8 vs FT 47.9/69.6, COPA 58.0 vs 57.0. Base: CB 78.3/82.1 vs 53.5/76.8, COPA 62.0 vs 57.0, CoLA 56.5 vs 53.0 | 평균은 FT가 여전히 높다(Small 71.7, Base 76.7). CB·COPA는 데이터가 작은 과제 | author-stated(“In some cases”), 과제 목록은 analyst-inference |
| frozen 모델의 dropout을 끄면 성능과 수렴이 좋아진다 | Table 1, Figure 2(a), Section 4 | 평균 기준: Simple PT Small 37.1→41.5, Base 35.3→36.1 / Residual PT Small 54.9→63.8, Base 56.0→70.8 / SuperPos PT Small 63.3→70.2, Base 68.0→75.8 | 예외가 있다. Base Simple PT는 dropout을 끄자 QQP·MNLI·BoolQ가 † 0점이 됐고, Base ATTEMPT의 COPA도 55.0→0.0 †. 결론은 “most scenarios”라고 한정한다 | author-stated(경향), 예외는 analyst-inference |
| dropout이 프롬프트 튜닝을 과하게 제약한다는 가설 | Section 4 “Impact of Dropout” | 프롬프트 10개는 이미 유연성이 작아 추가 정규화가 underfitting을 부를 수 있다 | 검증 실험 없이 제시한 가설 | author-stated(가설) |
| SuperPos가 과제 간 성능이 가장 안정적이다(프롬프트 방법 중) | Table 2, Section 4 | 표준편차: SuperPos ✗ Small 9.7, Base 4.7 vs Residual ✗ 20.0, 10.2. Full FT 9.0, 5.7 | Small에서는 Full FT(9.0)가 SuperPos(9.7)보다 표준편차가 작다. ATTEMPT는 4개 과제 미평가로 제외 | author-stated, Small 비교는 analyst-inference |
| 다른 방법들이 원 논문 수치에 못 미쳤다 | Section 4 “Other Prompt Tuning Methods”, Appendix A.1 | Residual·ATTEMPT 재현값이 원 논문보다 낮다. 원본 T5 Base에서 SuperPos는 평균 81.2 | 원 논문들은 GLUE로 이미 학습된 원본 T5를 썼고, ATTEMPT는 프롬프트 100개와 사전학습 source prompt를 썼다 | author-stated |
| ATTEMPT는 이 설정에서 자주 학습에 실패했다 | Table 1 | Small ✓ 조건에서 평가한 9개 과제 중 RTE 52.0, COPA 58.0을 뺀 7개가 † | 하이퍼파라미터는 원 논문 값(lr 0.3) | analyst-inference(표 판독) |
| m을 늘리면 대체로 좋아지고 128 근처에서 평평해진다 | Figure 2(c), Section 3.3 | 평균 패널이 m = 128에서 가장 높고 256에서 조금 내려간다 | CB·COPA는 256에서 뚜렷이 떨어지고 MRPC·CoLA·WiC는 256에서도 오른다. 그래프 판독 | author-stated(경향), 과제별은 analyst-inference |
| 학습된 계수는 과제마다 다른 패턴을 보이지만 과제 설명과의 상관은 없다 | Figure 2(d), Section 4 | CB, COPA, RTE처럼 데이터가 적은 과제의 프롬프트가 가장 독특하다 | 정량 지표 없이 시각적 판단 | author-stated |
| softmax로 계수를 정규화하면 오히려 나빠진다 | Appendix A.2, Table 3 | Small 평균 70.2(softmax 없음) vs 54.9(softmax) | 부록 실험 | author-stated |
결과들의 연결. Table 1이 보여 주는 가장 큰 효과는 사실 두 가지가 겹친 것이다. dropout을 끄는 것 자체가 Residual PT Base를 56.0에서 70.8로 14.8점 올린다. SuperPos의 Residual 대비 우위(+5.0)는 이 두 조건을 모두 dropout을 끈 상태로 맞춘 뒤의 차이다(analyst-inference). 그래서 이 논문의 두 기여는 따로 읽어야 한다. “dropout 끄기”는 방법과 무관하게 거의 공짜로 얻는 개선이고, “superposition 재매개화”는 그 위에 추가로 얹히는 개선이다.
Table 2의 안정성 결과는 Table 1의 † 0점과 깊게 엮여 있다. Simple PT의 표준편차가 25–33으로 큰 것은 과제 여러 개에서 학습 자체가 실패했기 때문이다(analyst-inference). 따라서 이 표의 “안정성”은 “과제마다 성능이 조금씩 다르다”보다 “어떤 과제에서는 아예 학습이 안 된다”를 더 크게 반영한다.
Take-home
한 줄 요약. 소프트 프롬프트를 어휘 임베딩 128개의 학습 가능한 가중합으로 만들고, 얼린 모델의 dropout을 끄면, 작은 T5에서도 프롬프트 튜닝이 full fine-tuning 평균에 1점 안쪽까지 다가간다.
결론이 성립하는 범위.
- 모델: T5v1.1 LM-Adapted Small·Base 두 개뿐. encoder에만 프롬프트를 붙였다(Section 3.2).
- 과제: GLUE·SuperGLUE의 분류·회귀형 13개. 생성 과제는 없다.
- 설정: 프롬프트 10개, 80 epoch, 스케줄러 없음 하나의 조합.
저자가 인정한 한계(Section 6, author-stated).
- T5 encoder–decoder만 시험했다.
- GLUE·SuperGLUE만 평가했고 생성 과제 평가가 필요하다.
- 하드웨어 제약으로 수십억 파라미터 모델에서 확인하지 못했다.
작성자가 보는 우려(analyst-inference).
- 반복 실험이 없다. seed 수, 실행 횟수, 신뢰구간이 보고되지 않았다. 저자 스스로 데이터가 적다고 말하는 CB·COPA(Section 4) 같은 과제의 몇 점 차이는 seed 하나로 뒤집힐 수 있다.
- 학습 파라미터 수가 다르다. 프롬프트마다 e×m 크기의 E를 따로 학습하므로, 학습 파라미터는 대략 n×(e·m + m)개다. Simple PT의 n×e개보다 약 m배 많다. 원문은 방법별 학습 파라미터 수를 보고하지 않아 이 차이가 공정한 비교에 미치는 영향을 판단할 수 없다.
- 하이퍼파라미터 탐색이 비대칭이다. SuperPos에는 m ablation이 있지만, 다른 방법은 원 논문 값(다른 체크포인트용)을 그대로 썼다. Residual·ATTEMPT가 원 논문보다 낮게 나온 것이 체크포인트 탓인지 튜닝 부족 탓인지 이 논문만으로는 가를 수 없다.
- 보고 시점이 불분명하다. Table 1이 최고 epoch 값인지 마지막 epoch 값인지, validation인지 test인지 보고되지 않았다. 최고값이라면 validation으로 고른 값을 그대로 보고하는 셈이다.
- dropout 효과의 원인은 가설로만 제시됐다.
코드·데이터 공개. 원문에 코드 저장소 링크는 보고되지 않았다. 데이터는 공개 벤치마크다.
원문을 읽지 못한 범위. 없음. 13쪽 전체를 읽었다.
본문 도표
Figure 1 — 프롬프트 튜닝 방법들의 구조 비교
- 무엇을 보여주는가: 여섯 방법의 구조. (a) Simple Prompt Tuning, (b) SuperPos-Prompt Tuning, (c) Residual Prompt Tuning, (d) decoder로 본 SuperPos-Prompt, (e) Multi-task Subspace Finding, (f) Intrinsic Subspace Tuning.
- 읽는 법: 범례가 세 가지다. 눈송이 파란 칸은 Frozen(고정), 불꽃 빨간 칸은 Tuned(학습), 초록 칸은 Computed(계산되어 나오는 값). (a)에서는 p_1…p_n이 빨간색이라 직접 학습된다. (b)에서는 p_i가 초록색이고, 빨간 e_1…e_m 각각에 p’_i의 계수(예시로 1.62, 0.1, …, −2.1)를 곱해 더한 결과다. (c)는 p’를 encoder–decoder에 통과시키고 원래 p’를 더한다(residual). (d)는 p’ → 학습되는 up-projection → p이고, 그 up-projection의 초기값이 “Sampled Embeddings” e_1…e_m이라는 것을 화살표 “Initialization”으로 표시한다. (e)는 오토인코더를 사전학습 프롬프트 위에서 학습하고, (f)는 그 decoder를 얼린 채 저차원 p’만 학습한다.
- 핵심 관찰: 학습되는 부품 수가 (c) Residual은 encoder와 decoder 두 덩어리, (d) SuperPos는 up-projection 하나다. (f) IPT는 decoder를 얼리지만 그 decoder를 얻으려면 (e)의 사전학습이 먼저 필요하다.
- 의미와 주의: 저자는 SuperPos가 Residual보다 부품이 절반이라 단순하고, 어휘 임베딩 초기화가 더 유리한 출발점이라고 말한다(Section 2.1,
author-stated). 그림 속 계수 1.62, 0.1, −2.1은 설명용 예시이지 학습 결과가 아니다(analyst-inference). (b)에서 e_j들이 빨간색이라는 점이 중요하다. 어휘 임베딩을 그대로 고정해 쓰는 것이 아니라 복사본을 함께 학습한다. - 확인 상태: viewed
Table 1 — GLUE·SuperGLUE 13개 과제 주 결과
- 무엇을 보여주는가: T5v1.1 Small·Base LM-Adapted에서 Simple PT, ATTEMPT, Residual PT, SuperPos PT를 dropout 켬(✓)/끔(✗)으로 나눠 비교하고, full fine-tuning을 기준선으로 둔 표.
- 읽는 법: 행은 방법×dropout, 열은 과제. 각 열 아래에 지표가 있다(QQP F1/Acc., STS-B PCC/ρ, CoLA MCC, MultiRC F1a/EM 등). 마지막 열 Avg.는 지표 두 개짜리 과제를 평균해 한 점수로 친 뒤의 13개 평균이다. † 는 유효한 라벨을 생성하도록 수렴하지 못해 0점 처리된 칸,
-는 평가하지 않은 칸(ATTEMPT의 QQP·QNLI·MNLI·SST-2). 굵은 글씨는 프롬프트 방법 중 최고값이다. - 핵심 관찰:
- 평균: SuperPos ✗가 Small 70.2, Base 75.8로 프롬프트 방법 중 가장 높다. Residual ✗는 63.8, 70.8. Full FT는 71.7, 76.7.
- 지지하는 비교: Small CoLA에서 SuperPos ✗ 38.9, Residual ✗ 20.6. Small MNLI 71.7 vs 60.7. 작은 모델일수록 차이가 크다.
- 제한하는 예외: Base CB에서는 Residual ✗(82.6/80.4)가 SuperPos ✗(78.3/82.1)보다 평균이 높다. 굵은 글씨도 Residual 쪽에 있다.
- dropout 예외: Base Simple PT는 dropout을 끄면 QQP 54.3/38.2 → 0.0/0.0 †, MNLI 34.8 → 0.0 †, BoolQ 62.6 → 0.0 †로 무너진다.
- 의미와 주의: 저자는 SuperPos가 Residual보다 Small +6.4, Base +5로 높고, ATTEMPT가 평가된 과제 대부분에서도 낫고, 일부는 full FT를 넘는다고 해석한다(Section 4,
author-stated). ATTEMPT 행은 † 투성이라 이 표에서 ATTEMPT와의 비교는 “ATTEMPT가 이 설정에서 학습이 거의 안 됐다”를 뜻할 뿐 방법 자체의 상한 비교가 아니다(analyst-inference). 평균에 † 0점이 그대로 들어가므로, 평균 차이의 일부는 “실패하지 않은 것”의 효과다(analyst-inference). - 확인 상태: viewed
Figure 2 — 학습 곡선, m ablation, 계수 유사도
- 무엇을 보여주는가: 모두 T5v1.1 Base LM-Adapted 결과. (a) SuperPos-Prompt의 dropout 켬/끔 학습 곡선, (b) dropout을 끈 네 방법의 학습 곡선, (c) 샘플 토큰 수 m의 ablation, (d) 프롬프트 토큰별 학습된 계수의 과제 간 cosine similarity.
- 읽는 법:
- (a)(b): 7개 과제(MRPC, CoLA, RTE, CB, COPA, WiC, BoolQ) 패널. x축은 epoch(0–80), y축은 smoothed(평활화된) 지표값(MRPC·CB는 F1/Acc 평균, CoLA는 MCC, 나머지는 Acc.). (a)의 파란 선은 dropout 끔, 주황 선은 dropout 켬. (b)는 파랑 SuperPos, 주황 Residual, 초록 Simple, 빨강 ATTEMPT.
- (c): 8개 패널(7개 과제 + Avg.). x축은 m = 4, 8, 16, 32, 64, 128, 256(로그 간격), y축은 validation에서의 최고 성능.
- (d): Prompt Token #0–#9 각각에 대한 13×13 행렬. 행·열은 과제이고, 색은 그 프롬프트 토큰의 계수 p’_i가 두 과제 사이에서 얼마나 비슷한지다. 대각선은 자기 자신이라 진한 파랑이다. 축 옆에 계층적 군집의 나무 그림(dendrogram)이 붙어 있어 과제 순서가 패널마다 다르다. 색 막대의 눈금은 그림에서 읽을 수 없다.
- 핵심 관찰:
- (a): CoLA, RTE, CB, WiC에서 dropout을 끈 곡선이 처음부터 확연히 위에 있다. CoLA는 dropout을 켜면 약 30 epoch까지 0 근처에 머물다 늦게 오른다. COPA는 예외로, 끝 무렵 dropout 끈 곡선이 아래로 떨어진다(그래프 판독,
analyst-inference). - (b): ATTEMPT(빨강)는 MRPC, CB, COPA에서 0에 붙어 있다. Table 1의 † 와 맞는다. Simple PT(초록)는 CoLA에서 낮고, COPA에서는 40 epoch 근처에 와서야 오른다. CB에서는 Residual과 SuperPos가 비슷하다.
- (c): Avg. 패널은 m = 128에서 약 0.70으로 가장 높고 256에서 약 0.68로 내려간다. CB는 128에서 약 0.80, 256에서 약 0.62로 크게 떨어진다. MRPC, CoLA, WiC는 256에서도 계속 오른다. COPA는 m = 4에서 이미 약 0.60으로 높고 8에서 약 0.53으로 떨어지는 등 들쭉날쭉하다(모두 그래프 판독,
analyst-inference). - (d): 프롬프트 토큰마다 다른 블록 구조가 보인다.
- (a): CoLA, RTE, CB, WiC에서 dropout을 끈 곡선이 처음부터 확연히 위에 있다. CoLA는 dropout을 켜면 약 30 epoch까지 0 근처에 머물다 늦게 오른다. COPA는 예외로, 끝 무렵 dropout 끈 곡선이 아래로 떨어진다(그래프 판독,
- 의미와 주의: 저자는 (a)(b)로 dropout 제거가 성능과 수렴 속도를 함께 올리고, SuperPos가 대체로 더 좋고 빠르게 수렴한다고 해석한다(Section 4,
author-stated). (c)에 대해서는 128 이후 개선이 평평해진다고 말한다(Section 3.3,author-stated). 그러나 과제별로 보면 256에서 떨어지는 과제와 오르는 과제가 섞여 있어 “평평함”은 평균 수준의 진술이다(analyst-inference). (d)에 대해 저자는 과제별로 독특한 인코딩이 보이지만 과제 설명과의 뚜렷한 상관은 찾지 못했고, CB·COPA·RTE처럼 데이터가 적고 학습 step이 적은 과제가 가장 독특하다고 말한다(Section 4,author-stated). 데이터가 적은 과제일수록 계수가 초기값에서 덜 움직였을 가능성도 있지만 원문은 이를 확인하지 않았다(analyst-inference). - 확인 상태: viewed
Table 2 — 과제 간 안정성(standardized overall scoring)
- 무엇을 보여주는가: 13개 과제에서 standardized overall scoring의 평균±표준편차를 방법별로 비교한다.
- 읽는 법: 행은 방법×dropout, 열은 Small, Base. 앞 숫자는 평균(높을수록 좋음), ± 뒤는 표준편차(낮을수록 과제 간 성능이 고르다). ATTEMPT는 4개 과제를 평가하지 않아 빠졌다.
- 핵심 관찰:
- SuperPos PT ✗: Small 81.7±9.7, Base 93.6±4.7.
- Residual PT ✗: Small 65.9±20.0, Base 83.2±10.2. SuperPos의 표준편차가 약 절반이다.
- Simple PT ✓: 17.1±26.4, 17.2±25.2. Simple PT ✗: 28.9±29.5, 30.8±32.6.
- Full FT ✓: Small 85.2±9.0, Base 97.4±5.7.
- 모든 방법에서 dropout을 끈 행이 평균이 더 높다.
- 의미와 주의: 저자는 SuperPos의 표준편차가 Residual의 절반이고 full FT의 안정성에 근접한다고 말한다(Section 4,
author-stated). Base에서는 SuperPos(4.7)가 Full FT(5.7)보다도 표준편차가 작지만, Small에서는 Full FT(9.0)가 SuperPos(9.7)보다 작다. 그런데 원문 표는 Small 열의 9.7을 굵게 표시했다(analyst-inference). 정규화 수식이 원문에 없어서 이 점수의 절대값은 해석하기 어렵다(unknown). - 확인 상태: viewed
상세 독해 노트
1. 식과 파라미터를 따라가기 (Section 1–2)
Section 1은 세 목적 함수를 나란히 둔다. full fine-tuning은 θ 전체로 log P_θ(y|X)를 최대화한다. PEFT는 새 파라미터 θ’로 log P_θ(y|X; θ’)를 최대화한다. prompt tuning은 P만으로 log P_θ(y|[P|X])를 최대화한다. 세 식의 차이는 “무엇을 움직이는가”뿐이다.
SuperPos의 식 p_i = E·p’_i를 행렬 하나로 쓰면 P = [E_1 p’_1, …, E_n p’_n]이다. 여기서 E_i는 프롬프트 i의 E다. 원문은 모든 E_i를 같은 m개 토큰으로 초기화하지만 따로 학습한다고 적는다(Section 2). 이 구조는 두 가지를 동시에 한다(analyst-inference).
- 초기점: 학습 시작 시 p_i는 실제 어휘 임베딩들의 선형결합이므로, 모델이 익숙한 임베딩 분포 근처에서 출발한다. 단, p’_i의 초기값이 원문에 적혀 있지 않아, 초기 p_i가 “특정 단어 하나”인지 “여러 단어의 평균”인지 알 수 없다(
unknown). - 곱셈 구조: p_i의 gradient는 E와 p’_i 양쪽으로 흐른다. 같은 p_i를 표현하는 (E, p’_i) 쌍이 무수히 많은 과매개화(overparameterization)라서, 최적화 경로가 직접 P를 배우는 경우와 달라진다. Residual Prompt가 MLP 재매개화로 수렴을 돕는 것과 같은 계열의 효과로 볼 수 있다. 저자는 이 메커니즘을 분석하지 않았다.
weight decay를 E에서 뺀 이유는 이 곱셈 구조와 이어진다. E에 weight decay를 걸면 E의 norm이 줄고, 저자는 이것이 “상당한 정보 손실”을 일으켰다고 보고한다(Section 2). 어휘 임베딩 복사본이 0 쪽으로 쪼그라들면 출발점의 의미가 사라지기 때문으로 읽힌다(analyst-inference). 반면 E 외의 층은 모두 얼려 있으므로 weight decay는 p’_i에만 남는다.
학습 파라미터 수(작성자 계산, analyst-inference). 프롬프트 n개, 임베딩 차원 e, 샘플 토큰 m개일 때 SuperPos는 n·e·m + n·m개, Simple PT는 n·e개다. 이 논문의 설정(n = 10, m = 128)에서 SuperPos는 Simple PT보다 약 128배 많은 파라미터를 학습한다. Residual PT는 bottleneck 128이라는 것만 적혀 있고 층 구성이 이 논문에 나오지 않아 개수를 계산할 수 없다. 원문은 방법별 학습 파라미터 수도, e의 수치도 보고하지 않았다.
2. 비교 대상과의 차이 정리 (Section 2.1)
| 방법 | 재매개화 | 사전학습 source prompt | 섞는 방식 |
|---|---|---|---|
| IPT | 사전학습 decoder(고정) | 필요(100개) | 오토인코더 부분공간 |
| ATTEMPT | attention 층 | 필요 | softmax 가중치 |
| Residual PT | encoder–decoder + residual(학습) | 불필요 | 해당 없음 |
| SuperPos-Prompt | up-projection 하나(어휘 임베딩 초기화, 학습) | 불필요 | 제약 없는 선형 가중합 |
저자는 superposition이 softmax 가중치보다 효율적이라고 하고 근거로 Appendix A.2를 든다(Section 2.1). softmax는 가중치를 양수·합 1로 묶어 결과를 임베딩들의 볼록 결합(convex combination: 점들이 이루는 다각형 안쪽의 점) 안에 가둔다. 제약 없는 선형결합은 그 바깥, 음수 방향까지 갈 수 있다. 이 차이가 성능 차이의 원인인지는 원문이 분석하지 않았다(analyst-inference).
3. 체크포인트 선택의 논리 (Section 3.2, Appendix A.1)
본문과 부록의 체크포인트 사용이 다르다. 본문(Section 3.2)은 원본 T5가 GLUE·SuperGLUE로 이미 학습돼 비교가 왜곡될 수 있다고 보고 T5v1.1 LM-Adapted만 쓴다. 부록(A.1)은 “공정한 비교”를 위해 원본 T5 Base에서도 SuperPos를 돌려, 원 논문에 보고된 ATTEMPT·Residual 수치와 비교한다. 즉 부록 비교는 “그들이 쓴 조건에 맞춰 줬다”는 의미의 공정성이고, 본문이 경고한 “이미 아는 과제” 문제는 그대로 안고 있다(analyst-inference).
부록 Table 3의 원본 T5 Base 결과(부록이라 본문 도표 절에서는 다루지 않음):
- SuperPos PT(프롬프트 10개, softmax 없음, dropout 끔): 평균 81.2. CB 97.4/96.4, RTE 80.1, BoolQ 81.3.
- ATTEMPT⋆(원 논문 값, 프롬프트 100개, dropout 켬): 평균은 비어 있음. MNLI 84.3, RTE 73.4, BoolQ 78.8.
- Residual PT⋆(원 논문 값): MultiRC 59.3, RTE 70.4, CB 79.2, COPA 58.3, WiC 66.8, BoolQ 77.9.
- 저자는 ATTEMPT가 프롬프트를 10배 더 쓰고 사전학습 source prompt로 초기화했다는 점에서 이 우위가 의미 있다고 말한다(Appendix A.1,
author-stated). 원 논문 값은 다른 코드·설정에서 나온 숫자라 같은 실행 환경의 비교가 아니다(analyst-inference).
4. Softmax 변형과 GPT-3.5 (Appendix A.2–A.3)
- softmax 변형: p_i = E·Softmax(p’_i). attention처럼 기대값을 계산하는 형태다. T5v1.1 Small에서 평균이 70.2 → 54.9로 떨어졌고, CoLA 38.9 → 4.6, MNLI 71.7 → 42.7, STS-B 84.0/84.0 → 45.5/43.3이 크게 무너졌다(Table 3). 그래서 본 실험에서는 softmax를 쓰지 않았다(Appendix A.2,
author-stated). - GPT-3.5-Turbo 1-shot: 과제마다 범주별 예시 1개로 in-context learning. 평균 67.1(Table 3). COPA 95.0, SST-2 94.0으로 높지만 STS-B 34.6/34.1로 낮다. 이 숫자는 비교용 참고값이고, 프롬프트 튜닝과 같은 데이터 사용량 조건이 아니다(
analyst-inference).
5. dropout 결과를 다시 읽기 (Section 4, 5)
dropout 효과는 이 논문에서 SuperPos보다 더 일반적인 발견일 수 있다. Residual PT Base의 평균 +14.8(56.0 → 70.8)은 SuperPos의 Residual 대비 우위(+5.0)보다 크다(Table 1, analyst-inference). 저자의 가설은 “프롬프트 10개는 이미 표현력이 작아 추가 정규화가 underfitting을 부른다”이다(Section 4). 다른 가능성도 있다. 모델을 얼렸는데도 dropout이 켜져 있으면 같은 입력에 대한 forward가 매번 달라져 프롬프트가 받는 gradient에 잡음이 낀다. 프롬프트처럼 입력 끝단의 적은 파라미터는 이 잡음에 특히 민감할 수 있다(analyst-inference, 원문 미검증). 다만 Base Simple PT에서 dropout을 끄자 3개 과제가 † 로 무너진 사례는, dropout 제거가 언제나 안전한 기본값은 아님을 보여 준다(Table 1).
6. 원문 내부의 표현 불일치
- 서론은 “almost consistently outperforms”, 결론은 “consistently outperformed … across all thirteen”이라 적는다. Table 1의 Base CB는 Residual이 높다(Introduction, Section 5, Table 1).
- 결론은 m과 성능 사이에 “clear correlation”이 있고 128에서 “optimal plateau”라고 한다. Figure 2(c)의 Avg.는 256에서 내려가며 과제별 방향이 엇갈린다(Section 5, Figure 2c).
- Table 2 Small 열에서 9.7이 굵게 표시됐지만 같은 열의 Full FT 9.0이 더 작다. 굵은 글씨가 “프롬프트 방법 중 최소”를 뜻하는지 원문에 설명이 없다(Table 2).
- 저자는 ATTEMPT·Residual 재현 실패의 이유로 체크포인트 차이를 들지만, 하이퍼파라미터는 원 논문 값을 썼다고 해서 재현 실패의 원인을 체크포인트 하나로 단정할 수는 없다(Section 4,
analyst-inference).
Wiki 연결
- The Power of Scale for Parameter-Efficient Prompt Tuning — Lester et al.(2021). 이 논문이 출발점으로 삼은 soft prompt tuning 원조이자 “토큰 임베딩 초기화가 무작위보다 낫다”는 관찰의 출처, T5v1.1 LM-adapt 체크포인트의 출처(Section 2, 3.2)
- Dropout- A Simple way to Prevent Neural Networks from Overfitting — 이 논문의 두 번째 기여가 frozen 모델에서 끄라고 하는 바로 그 정규화(Introduction, Srivastava et al. 2014)
- LoRA - Low-Rank Adaptation of Large Language Models — 서론이 꼽는 PEFT 대표 방법 중 하나(Introduction)
- GLUE - A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding — 평가 과제 7개의 출처(Section 3.1)
- SuperGLUE - A Stickier Benchmark for General-Purpose Language Understanding Systems — 평가 과제 6개의 출처(Section 3.1)
BibTeX
@article{sadraeijavaeri2024superpos,
title = {SuperPos-Prompt: Enhancing Soft Prompt Tuning of Language Models with Superposition of Multi Token Embeddings},
author = {SadraeiJavaeri, MohammadAli and Asgari, Ehsaneddin and McHardy, Alice Carolyn and Rabiee, Hamid Reza},
journal = {arXiv preprint arXiv:2406.05279},
year = {2024},
url = {https://arxiv.org/abs/2406.05279}
}