Prismatic Synthesis - Gradient-based Data Diversification Boosts Generalization in LLM Reasoning

Summary

“모델이 학습 과정에서 경험하는 ‘추론의 결(reasoning patterns)‘을 gradient space에서 분석하고, 상대적으로 비어 있는(underrepresented) 영역의 데이터를 집중적으로 보충함으로써 OOD(Out-of-Distribution) 일반화 성능을 극대화할 수 있다”