Related Papers - Golden Path vs Actual Path

연구 질문: 2D 그리드에서 움직이는 경로(trajectory)가 있을 때, golden-path(도덕적/규범적인 사람이 갈 법한 이상적 경로) 대비 실제 path가 지시·규칙을 얼마나 따르는지를 수치화하려면 어떤 방법론이 있는가.

이 허브는 그 질문에 답하는 세 갈래의 방법론을 묶는다. 각 노트는 /paper-driller로 정리되어 있다.

묶음 지도 (3축)

graph TD
    Q["Golden path ↔ 실제 path<br/>준수도/이탈 정량화 (2D 그리드 경로)"]
    Q --> A["축 A — 경로 거리 엔진<br/>두 2D 경로의 차이를 직접 측정"]
    Q --> B["축 B — 규범 준수 측정<br/>이상 행동을 숨은 기준으로 두고 격차 측정"]
    Q --> C["축 C — IRL 보상 역추론<br/>왜·얼마나 벗어났나를 보상함수로 설명"]
    A --> A1["SDTW (Mao 2017)"]
    B --> B1["AI Safety Gridworlds (Leike 2017)"]
    C --> C1["BIHRL (Cundy & Filan 2018)"]

정리된 논문 (drilled)

축	노트	역할	핵심 수치
B. 규범 준수 측정 (개념 골격)	AI Safety Gridworlds	격자 환경에서 숨은 performance function R*를 golden 기준으로 두고, 실제 행동(R 최적화)과의 격차를 측정	Lava test −72.5/−78.5, 물 진입 100회 초과
C. IRL 보상 역추론	Exploring Hierarchy-Aware Inverse Reinforcement Learning	관측된 인간 경로(golden 후보)에서 규범적 보상함수를 역추론, 표준 BIRL의 오추론을 교정	목표예측 66% vs 62%, 0.55 vs <0.03
A. 경로 거리 엔진 (측정 도구)	A Segment-Based Trajectory Similarity Measure in the Urban Transportation Systems	두 2D 경로 간 거리/유사도를 직접 측정(DTW/Fréchet/LCSS/EDR 계열)	LCSS +57%·EDR +86%·DTW +31%

파이프라인으로서의 결합

세 논문은 “골든 패스 대비 실제 경로의 준수도 정량화” 파이프라인을 방법론적으로 완결한다:

경로를 수집 → A Segment-Based Trajectory Similarity Measure in the Urban Transportation Systems의 거리지표(SDTW 등)로 golden path와 실제 path의 거리/이탈을 직접 측정 (축 A — 측정 도구).
격자 환경에서 평가 → AI Safety Gridworlds처럼 이상적 행동을 숨은 기준(R*)으로 두고 실제 행동과의 격차를 점수화 (축 B — 개념 골격).
왜 벗어났나 설명 → Exploring Hierarchy-Aware Inverse Reinforcement Learning로 경로에서 규범적 보상함수를 역추론해 이탈의 원인·정도를 보상 차원에서 해석 (축 C — 깊이).

후속 후보 (아직 미정리)

처음 조사에서 추린 추가 후보. 필요 시 /paper-driller로 확장.

축 A 보강 (경로 거리지표): discrete Fréchet / Hausdorff distance survey, Towards Effective Trajectory Similarity Measure in Linear Time (2023).
축 B 보강 (격자/안전 준수): Reward Hacking in LM Agents — Revisiting AI Safety Gridworlds (2026, arxiv:2606.15385), Tiered Reward (2022, arxiv:2212.03733).
축 C 보강 (IRL/정책 발산): Modeling Human Risk Decision Making with IRL (2019, arxiv:1906.05803), Learning the Value Systems of Agents with Preference-based & Inverse RL (2026, arxiv:2602.04518), Trust Region Reward Optimization (TRRO/PIRO) (2025, arxiv:2509.23135 — expert 대비 expected return gap).
도덕 정렬 도메인(격자 아님): The Pluralistic Moral Gap (2025, arxiv:2507.17216), MoCa (2023, arxiv:2310.19677).

Related Papers — Golden Path vs Actual Path

묶음 지도 (3축)

정리된 논문 (drilled)

파이프라인으로서의 결합

후속 후보 (아직 미정리)

태그