계층 인식 역강화학습(BIHRL) 탐구
Digest:
사람의 행동만 보고 그 사람이 무엇을 보상으로 여기는지(보상함수 θ)를 거꾸로 알아내는 IRL(역강화학습)과 그 확률적 버전 BIRL(베이지안 역강화학습)은, 사람을 “원시행동(한 칸 이동 같은 최소 단위 행동) 수준에서 완전히 합리적인 에이전트”로 가정한다. 그러나 사람은 도시에서 길을 고를 때 가능한 모든 궤적을 비교하지 않고 걷기·택시·대중교통이라는 큰 행동 묶음(옵션) 중에서 고르며, 이 계층적 계획을 무시하면 계층적으로는 멀쩡히 합리적인 행동을 BIRL이 “병적으로 잘못된 보상”으로 오해석한다 — 이것이 이 논문이 짚은 핵심 빈틈이다.저자들은 행동을 옵션 프레임워크(option o=(정책 π_o, 초기집합 τ, 종료함수 α))로 모델링하고, 실제로 관측되는 것은 상태-행동 궤적 𝒯_a뿐이며 그 뒤의 옵션열 𝒯_o는 잠재변수임을 받아들여, 일관 종료 분포 P^oc로 관측과 모순 없는 옵션열만 열거한 뒤 가능한 옵션열을 모두 합산하는 옵션열 주변화로 θ의 사후분포를 구하는 계층 인식 역강화학습(BIHRL) 을 제안한다. 효과는 두 환경에서 확인된다: Taxi 5×5 장난감 문제에서 약한 prior를 줬을 때 BIHRL은 참 보상에 0.55의 믿음을 두는 반면 BIRL은 <0.03에 그쳐 약 20배 차이가 났고, 사람이 위키 링크를 클릭해 목표 문서로 가는 Wikispeedia에서는 목표예측 정확도가 BIHRL 66% vs BIRL 62%, 학습셋 NLML은 절반으로 줄었고 최적 옵션 수는 약 150개(β_o=3.0, β=0.4)였다. 다만 이 이득은 관측과 일치하는 옵션열을 일일이 열거하는 비용이 지수적(n^m)이라 옵션 수·궤적 길이가 작은 문제에만 한정되고, 강한 행동 prior나 Hamiltonian MC·변분추론으로 이 지수폭발을 어떻게 우회하느냐가 남는 질문이다.
📎 https://arxiv.org/abs/1807.05037
먼저 이해하기
쉬운 설명
이 논문은 사람의 행동만 보고 그 사람의 목표(보상함수 θ)를 거꾸로 추정하는 IRL(Inverse Reinforcement Learning, 역강화학습)을 다룬다. 기존 표준 BIRL(Bayesian IRL, 베이지안 역강화학습)은 사람이 한 칸 이동 같은 원시행동 단위에서 완벽히 합리적으로 움직인다고 가정한다. 하지만 사람은 도시에서 길을 고를 때 모든 경로를 따지기보다 걷기·택시·대중교통 같은 큰 행동 묶음(option, 옵션) 중에서 고른다. 저자들은 이 옵션 단위를 명시적으로 모델링한 BIHRL(계층 인식 역강화학습)을 제안하는데, 관측되는 것은 상태-행동 궤적 𝒯_a이고 그 뒤의 옵션열 𝒯_o는 보이지 않으므로 가능한 옵션열을 전부 더해(주변화) 보상을 추정한다. Taxi 5×5 장난감 문제에서 BIRL은 틀린 보상을 강하게 확신했지만 BIHRL은 참 보상에 대한 믿음을 유지했고(약한 prior에서 0.55 vs <0.03), 사람 클릭 데이터 Wikispeedia에서는 목표예측 정확도가 66% vs 62%였다. 다만 가능한 옵션열을 일일이 세는 비용이 지수적(n^m)이라 고차원 문제로는 확장되지 않는다.
왜 중요한가
이 연구는 IRL이 사람의 보상을 잘못 읽는 한 원인이 “사람을 원시행동 합리 에이전트로 본 모델 가정” 자체에 있음을 구체적 반례로 보인다. 계층적으로 합리적인 행동을 BIRL이 “병적으로 잘못된 보상”으로 오해석하는 실패가, 옵션열 주변화만으로 교정될 수 있음을 Taxi와 Wikispeedia 두 환경의 수치로 확인했다(0.55 vs <0.03, 66% vs 62%). 특히 사람의 실제 길찾기 데이터인 Wikispeedia에서 학습셋 NLML이 절반으로 줄어, 계층 가정이 사람 행동을 더 잘 설명한다는 정량적 근거를 준다. 다만 저자들도 인정하듯 이 이득은 옵션열 열거가 가능한 작은 문제에 한정되며, 고차원 확장은 미해결로 남는다.
먼저 알아둘 말
| 용어 | 쉬운 설명 | 정확성 메모 |
|---|---|---|
| IRL (역강화학습) | 행동을 보고 그 사람이 무엇을 보상으로 여기는지 거꾸로 추정 | 추정 대상은 보상함수 θ |
| BIRL (베이지안 IRL) | IRL을 확률(사후분포)로 푸는 표준 방법 | 사람을 원시행동 수준 Boltzmann-rational로 가정 → 본 논문의 비교 기준선 |
| 옵션 프레임워크 option o=(π_o, τ, α) | 걷기·택시처럼 여러 스텝을 묶은 거시행동; 정책·초기집합 τ·종료함수 α로 정의 | Procedure 2에서 최대 3옵션 균등 prior로 주변화 |
| 옵션열 𝒯_o vs 행동궤적 𝒯_a | 𝒯_a(관측된 상태-행동)는 보이고, 그 뒤에 깔린 옵션 순서 𝒯_o는 숨음(잠재) | BIHRL은 𝒯_o를 주변화(전부 합산) |
| Boltzmann-rational·β | 사람이 Q값(Q⊙) 높은 선택을 “대체로” 고르되 완벽하진 않다는 노이즈 모델; β는 합리성 강도 | π(s,o)∝exp(βQ⊙); Wikispeedia에서 β_o=3.0, β=0.4 |
| 일관 종료 분포 P^oc | 관측된 행동궤적과 모순 없는 옵션열만 추려 나열하는 분포 | Procedure 1; 열거 비용 지수적 n^m |
| 주변화 (marginalization) | 숨은 변수(옵션열·옵션집합)를 모든 경우 더해 없애는 것 | Procedure 2에서 옵션집합 ω까지 주변화 |
| NLML (음의 로그 주변가능도) | 모델이 데이터를 얼마나 못 설명하는지 점수, 낮을수록 좋음 | Wikispeedia 학습셋에서 절반 감소 |
| Wikispeedia | 사람이 위키 하이퍼링크를 클릭해 목표 문서로 가는 길찾기 데이터셋 | 목표예측 평가에 사용; 최적 옵션 ~150 |
섹션별 요약
Abstract
BIRL 프레임워크 안에서 인간이 종종 계층적 전략으로 계획한다는 사실을 반영하는 새로운 생성모델을 도입한다. 계층적 계획자의 가치를 추론하는 Bayesian Inverse Hierarchical RL(BIHRL) 알고리즘을 기술하고, 예시 toy 모델을 통해 표준 BIRL이 실패하는 곳에서 BIHRL이 정확도를 유지함을 보인다. 나아가 BIHRL은 ‘Wikispeedia’ 게임 플레이어의 목표를 정확히 예측하며, 계층 구조를 모델에 포함하면 정확도가 크게 향상된다. 에이전트가 사용할 계획의 계층 구조에 약한 prior만 주어져도 BIHRL이 BIRL을 유의하게 능가함을 보이고, 이 프레임워크를 보다 현실적인 환경으로 확장할 때 남는 중대한 도전을 논의한다.
저자 contribution
- 원시행동과 확장 다중행동 옵션을 결합한 인간 계획 생성모델, 그리고 그 가치를 추론하는 BIHRL 알고리즘 제안
- toy(Taxi)와 실데이터(Wikispeedia)에서 표준 BIRL 대비 정확도 향상 입증(목표예측 62%→66%, 학습셋 NLML 절반)
- 계획의 계층 구조에 약한 prior만 주어져도 BIHRL의 우위가 유지됨을 입증
왜 이 연구를 하는가?
인간은 물리적으로 가능한 모든 원시행동을 비교하는 완전 합리적 에이전트가 아니라, 기술(skill)/옵션 단위의 계층적 결정 구조로 계획한다(예: 도시 이동 시 가능한 모든 궤적이 아니라 걷기·택시·대중교통 중에서 선택). 기존 가치학습(BIRL)을 이런 인간에게 그대로 적용하면, 계층적으로 생성된 계획을 설명하기 위해 “병적으로 잘못된 보상값(pathologically wrong values)“을 추론하게 된다. 즉 표준 BIRL은 전역적으로는 차선이지만 계층적으로는 합리적인 정책과, 실제로 병적으로 다른 보상 선호를 구별하지 못한다. 따라서 인간의 계층적 계획을 모델 가정에 명시적으로 반영해야만 정확한 보상·선호 추론이 가능하다.
Introduction
동기: 인간은 완전 합리적으로 모든 원시행동 중에서 선택하지 않고 계층적 결정 구조를 사용한다. 도시를 이동할 때 우리는 물리적으로 가능한 모든 궤적이 아니라 기술(걷기·택시·대중교통) 중에서 선택한다.
기존 한계: (1) 기존 가치학습 알고리즘은 원시행동에 대한 완전 합리성을 가정하므로, 계층적으로 생성된 계획을 설명하려고 “병적으로 잘못된 가치”를 추론할 위험이 있다. (2) 표준 BIRL은 전역적으로 차선이지만 계층적으로 합리적인 정책과, 병적으로 다른 보상 선호를 구별하지 못한다.
RQ/통찰(기여): (i) 원시행동 + 확장 다중행동 옵션을 결합한 생성모델, (ii) 계층적으로 생성된 trajectory에 대한 이론적 정당화 + 간단한 추론 알고리즘, (iii) Wikispeedia에서 상당한 정확도 향상, (iv) 계획의 계층 구조에 약한 prior만 있어도 이점이 유지됨.
Methods
배경 토대(Background): MDP=(𝒮,𝒜,T,R,γ); 표준 IRL은 trajectory 𝒯_a=(s0,a0),(s1,a1),…로부터 R을 복원한다. 인간 행동은 Boltzmann-rational π(s,a)∝exp(βQ*(s,a))(자기일관형 π(s,a)∝exp(βQ⊙(s,a)))로 모델링하며 β가 클수록 합리적이다. 옵션 프레임워크: option o=(정책 π_o, 초기집합 τ⊆𝒮, 종료함수 α:𝒮→[0,1]); P^o(s,s’)는 s에서 시작한 옵션이 s’에서 종료할 확률, r^o(s)는 기대보상, 일관 종료 분포 P^oc(s,s’,𝒯_a)는 s의 옵션 o가 관측된 𝒯_a를 정확히 생성하고 s’에서 종료할 확률이다. 원자행동은 퇴화 옵션이다.
핵심 구성요소(BIHRL): 인간은 옵션집합 ω(단일행동 옵션 포함)를 갖고 π(s,o)∝exp(βQ⊙(s,o))로 옵션을 선택한다.
입출력: 입력은 관측되는 상태-행동 trajectory 𝒯_a(옵션열 𝒯_o는 잠재이며 관측 불가), β, ω; 출력은 보상 파라미터 θ의 베이지안 사후 P(θ|𝒯_a,β,ω)=P(𝒯_a|β,ω,θ)P(θ)/P(𝒯_a|β,ω).
가능한 옵션열에 대한 주변화: P(𝒯_a|β,ω)=Σ_i P(𝒯_a|𝒯_{o,i})P(𝒯_{o,i}|β,ω); 옵션열 가능도 P(𝒯_{o,i}|β,ω,θ)=Π_k exp(βQ⊙(s_ik,o_ik))/Σ_{o’∈ω}exp(βQ⊙(s_ik,o’)).
추론 알고리즘(Procedure 1): ω,β 하의 최적가치 V_B⊙와 일관 종료 P^oc가 주어지면, 옵션열 집합 𝒯_oi(첫 i개 행동의 옵션열)와 그 확률 𝒫_oi를 유지하며, 각 시점 i·전망 k에서 P^oc≠0인 옵션 o를 이어붙이고 확률을 곱해 관측 𝒯_a와 일치하는 모든 옵션열을 열거한다. 복잡도는 지수적(n개 상태가 도달하는 m개 landmark면 n^m 옵션열).
약한 prior 확장: 옵션집합 ω까지 주변화 P(θ|β,𝒯_a)=∫_Ω P(θ|𝒯_a,β,ω)P(ω)dω이며 |Ω|=2^(|𝒮|^|𝒜|)로 거대 → 최대 3개 옵션으로 이루어진 집합에 대한 균등 prior로 간소화한 MCMC(Procedure 2) 사용.
차별점: 표준 BIRL이 원시행동의 평탄한 합리성을 가정하는 것과 달리, BIHRL은 잠재 옵션열을 명시적으로 주변화하여 계층적 합리성을 모델링한다. 옵션집합이 알려지지 않아도 약한 prior로 옵션집합까지 함께 추론한다.
발견 (Findings)
옵션을 정확히 모르더라도 약한 prior로 옵션집합을 주변화하면 BIHRL이 BIRL을 크게 앞선다는 것이 핵심 발견이다. Taxi toy에서 trajectory가 누적될수록 BIRL은 참 θ를 점점 “틀렸다”고 확신하는 반면 BIHRL은 참 θ에 대한 신뢰를 유지했고, 약한 prior 조건에서 BIHRL은 ground-truth θ에 0.55, BIRL은 <0.03(약 20배 차이)을 부여했다. Wikispeedia 실데이터에서도 계층 구조 포함이 학습셋 NLML을 절반으로 줄이고 목표예측 정확도를 62%→66%로 끌어올렸다.
Results
(1) Taxi-Driver toy: 5×5 격자, 4개 landmark(R,G,B,Y), 6개 행동(N,E,S,W,Pickup,Putdown), 보상 −1(이동)/−10(잘못된 픽업·드롭)/+20(성공 배달, 종료), 500 상태, 최대 ~6.7M 보상함수. 옵션은 적합하지만 최적은 아닌 기술(예: 목적지로 가되 직장을 경유). 추론은 MCMC Policy-Walk. 결과(Fig2): 옵션을 아는 BIHRL은 trajectory 누적에도 참 θ 신뢰를 유지; 옵션 없는 BIRL은 참 θ가 틀렸다고 점점 확신. 약한 prior 변형(Fig5): landmark 근처 16칸으로의 결정적 내비 옵션집합을 주변화하면, BIHRL은 ground-truth β에서 ground-truth θ에 0.55, BIRL은 <0.03(~20배 더 높음).
(2) Wikispeedia: 플레이어가 위키 문서→문서를 하이퍼링크로 최단경로 탐색; 목표는 지금까지의 링크로 타깃 문서를 예측. 전처리: back-button trajectory·dead end·20스텝 초과(0.3%) 제거, train/test 균등 분할. 보상 −1(전이)/+20(타깃 도달); 옵션=최빈 m개 문서(United States, Europe, UK, England, Earth)로의 내비(β_o>β, β_o=3.0 고정), γ=0.9. 모델선택은 NLML=−log P({(𝒯_a,θ)}|η) 최소화; 목표예측 지표(Eq1)는 동일 최단거리의 무작위 θ’ 대비 정답 타깃 θ의 가능도비. 결과: 계층 옵션 포함이 학습셋 NLML을 절반으로 감소, 최적 옵션 수 ~150, 계층 없이 β만 바꾸면 효과 미미; test set에서 BIRL 62% vs BIHRL 66% 평균 정확도. West & Leskovec(2012)의 TF-IDF 베이스라인과 비슷, 수작업 특징 SOTA보다는 낮음. 해석: 전형적 플레이어는 ~100–200개 주제를 잘 알고(β_o=3.0) 나머지 주제는 잘 모른다(β=0.4).
Discussion
한계/확장 장애: (1) 옵션-trajectory 열거의 지수적 폭발; (2) 옵션집합과 보상을 공동 추론할 때의 고차원 추론; (3) 지수적으로 많은 그럴듯한 옵션열 생성에 따른 계산 비효율(intractability). 순진한 MCMC는 Wikispeedia가 요구하는 ~150개 잠재 옵션 규모로 확장되지 않는다. 향후/완화: 강한 prior를 부여하는 좋은 인간행동 모델로 선택지를 줄이기; 고차원 공간을 위한 Hamiltonian MC와 변분추론(variational inference) 도입. 결론: 이 문제들이 해결되면 BIHRL은 복잡한 상황에서 인간 선호를 추론할 수 있다.
이론적 의의
인간을 평탄한 완전 합리적 에이전트가 아니라 계층적 옵션 계획자로 모델링함으로써, 가치학습/IRL이 계층적 합리성과 실제 보상 선호를 혼동하던 체계적 오류(병적 보상 추론)를 교정한다. 이는 AI 가치정렬·선호학습에서 인간 모델의 정확성이 추론 신뢰성을 좌우함을 보이며, 옵션 구조를 정확히 모르더라도 약한 prior만으로 우위를 확보할 수 있음을 입증해 실용적 확장 가능성의 단초를 연다.
Discussion Points
- 지수적 옵션열 열거(n^m)를 어떻게 다항시간 근사로 대체할 것인가 — P^oc 기반 가지치기나 빔서치가 정확도를 보존하는가?
- 옵션집합에 대한 균등 prior(최대 3개 옵션) 대신 “강한 행동 prior”를 어디서, 어떻게 확보할 것인가?
- Wikispeedia의 ~150개 옵션과 β_o=3.0/β=0.4 해석(사람이 100–200개 주제만 잘 안다)이 실제 인간 인지·지식 분포와 부합하는가?
- 수작업 특징 SOTA에 못 미치는 66% 정확도는 BIHRL 모델 가정의 한계인가, 옵션·prior 설계의 한계인가?
- Hamiltonian MC·변분추론이 잠재 옵션열 주변화의 이산·조합적 구조와 양립 가능한가?
실험 결과 상세
| 실험 | 지표 | BIRL (기준선) | BIHRL | 비고 |
|---|---|---|---|---|
| Taxi 5×5 (옵션 기지) | 참 θ 신뢰 추세 | trajectory 누적 시 참 θ를 “틀렸다”고 확신 | 참 θ 신뢰 유지 | Fig2 |
| Taxi 5×5 (약한 prior) | P(ground-truth θ) | <0.03 | 0.55 | ~20배, Fig5 |
| Wikispeedia | 목표예측 정확도 | 62% | 66% | test set 평균 |
| Wikispeedia | 학습셋 NLML | (기준) | 절반으로 감소 | 계층 포함 효과 |
| Wikispeedia | 최적 옵션 수 | — | ~150 | β_o=3.0, β=0.4 |
프레임워크 다이어그램
graph TD A["관측: 상태-행동 궤적 T_a"] --> B["잠재 옵션열 T_o<br/>(보이지 않음)"] B --> C["일관 종료 분포 P_oc<br/>관측과 모순 없는 옵션열만 열거 (Proc.1)"] C --> D["옵션열 주변화<br/>Σ_i P(T_a|T_o,i) P(T_o,i|β,ω,θ)"] D --> E["보상 θ 사후분포<br/>P(θ | T_a, β, ω)"] F["옵션집합 ω 미지"] --> G["약한 prior로 ω까지 주변화 (Proc.2)"] G --> E E --> H["BIHRL: 계층적 행동에서도<br/>참 보상 추론 (vs BIRL 오추론)"]
재현성 및 신뢰도 평가
| 항목 | 등급 | 근거 |
|---|---|---|
| 코드 공개 | C | 추출 텍스트 범위 내 공개 코드 링크 확인 불가 |
| 알고리즘 명세 | B | Procedure 1·2, 옵션 프레임워크·주변화 수식 명시 |
| 실험 재현성 | C | Taxi toy는 합성·소규모, Wikispeedia는 공개 데이터지만 옵션·하이퍼파라미터 세부는 일부만 기술 |
| 종합 | C | 이론·알고리즘은 명확하나 실증 규모가 작고 코드 미확인 |
주장별 신뢰도
- (강) “BIHRL이 약한 prior에서도 BIRL을 능가” — Taxi(0.55 vs <0.03), Wikispeedia(66% vs 62%)로 뒷받침.
- (중) “계층 가정이 인간 행동을 더 잘 설명” — NLML 절반 감소로 지지되나 목표예측 개선폭은 +4%p로 작음.
관련 연구 비교 매트릭스
| 논문 | 연도 | 문제 설정 | 인간/이상 행동 모델 | golden 기준 → 측정 | 평가 환경 | 코드 공개 |
|---|---|---|---|---|---|---|
| BIHRL (본 논문) | 2018 | 계층적 인간 경로에서 보상 추론 | 옵션 단위 Boltzmann-rational | 관측 경로 → 보상 θ 사후 | Taxi 5×5, Wikispeedia | ❌(미확인) |
| Bayesian IRL (Ramachandran & Amal) | 2007 | 시연에서 보상 사후 추론 | 원시행동 합리 | 시연 → 보상 사후 | 격자 MDP | ❌ |
| Maximum Entropy IRL (Ziebart et al.) | 2008 | 경로 분포에서 보상 학습 | 최대엔트로피 경로 | 경로 → 보상 가중치 | 운전 경로 | 부분 |
| Options/Between MDPs and semi-MDPs (Sutton et al.) | 1999 | 시간적 추상화(옵션) 정식화 | 옵션(거시행동) | (보상 추론 아님) | 격자 | — |
본 논문은 “관측된 인간 경로(golden path 후보)로부터 규범적 보상함수를 역추론”하는 IRL 축이며, 경로 비교 묶음에서 왜·얼마나 벗어났나를 보상함수 차원에서 설명한다.
원자적 인사이트 (Zettelkasten)
💡 행동 모델의 계층 가정이 틀리면 IRL은 틀린 보상을 “확신”한다
유형: 이론적 — 표준 BIRL처럼 사람을 원시행동 단위 합리 에이전트로 가정하면, 실제로는 옵션 단위로 합리적인 행동을 설명하지 못해 보상함수를 잘못 추정하고도 강한 확신을 갖는다. Taxi 5×5에서 BIRL은 틀린 θ에 확신했지만, 옵션열을 주변화한 BIHRL은 참 θ 신뢰를 유지했다(약한 prior 0.55 vs <0.03, ~20배). 연결: AI Safety Gridworlds.
💡 잠재 옵션열을 주변화하면 계층적 행동에서도 보상을 추론할 수 있다
유형: 방법론적 — 관측되는 것은 상태-행동 궤적 𝒯_a뿐이고 옵션열 𝒯_o는 잠재변수다. BIHRL은 일관 종료 분포 P^oc로 관측과 모순 없는 옵션열만 열거해(Proc.1) 사후 P(θ|𝒯_a)를 주변화하며, 약한 prior면 옵션집합 ω까지 주변화한다(Proc.2). 단 열거 비용이 지수적(n^m)이라 소규모에 한정. 연결: A Segment-Based Trajectory Similarity Measure in the Urban Transportation Systems.
💡 계층 가정은 사람 길찾기 데이터를 더 잘 설명한다 (Wikispeedia)
유형: 실험적 — Wikispeedia에서 BIHRL 목표예측 정확도 66%로 BIRL 62%를 앞섰고, 학습셋 NLML은 절반으로 줄었다. 최적 옵션 ~150개, β_o=3.0/β=0.4. 목표예측 개선폭(+4%p)은 NLML 개선폭보다 작다. 연결: Related Papers - Golden Path vs Actual Path.
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| IRL (역강화학습) | 에이전트의 행동을 관찰해 그 행동을 낳은 보상함수를 거꾸로 추정하는 문제. |
| BIRL (베이지안 IRL) | 보상함수를 사후분포로 추정하는 베이지안 IRL. 본 논문의 비교 기준선. |
| 보상함수 θ | 각 상태·행동의 바람직함을 나타내는, IRL이 추정하려는 미지의 함수. |
| 옵션 프레임워크 | 여러 스텝을 묶은 거시행동 option o=(π_o, 초기집합 τ, 종료함수 α)로 계층적 행동을 표현. |
| 옵션열 𝒯_o / 행동궤적 𝒯_a | 𝒯_a는 관측되는 상태-행동 시퀀스, 𝒯_o는 그 뒤의 잠재 옵션 순서. |
| Boltzmann-rational·β | Q값 높은 선택을 확률적으로 고르는 모델; β가 클수록 합리적. π∝exp(βQ⊙). |
| 일관 종료 분포 P^oc | 관측 행동궤적과 모순 없는 옵션열만 추리는 종료 확률 모델. |
| 주변화 | 잠재변수(옵션열·옵션집합)를 모든 경우 합산해 제거하는 연산. |
| NLML | 모델이 데이터를 설명하는 정도의 음의 로그 주변가능도; 낮을수록 좋음. |
| Wikispeedia | 사람이 위키 하이퍼링크로 출발 문서→목표 문서 이동한 길찾기 데이터셋. |
관련 연구
- Related Papers - Golden Path vs Actual Path — ‘golden path 대비 실제 경로 준수도 정량화’ 묶음의 허브. 본 논문은 “사람 경로로부터 규범적 보상함수를 역추론”하는 IRL 축.
- AI Safety Gridworlds — 숨은 performance function으로 안전 준수를 측정. BIHRL이 경로에서 보상을 역추론하는 것과 짝을 이루는 반대 방향 접근.
- A Segment-Based Trajectory Similarity Measure in the Urban Transportation Systems — IRL 입력이 되는 경로들의 유사도/거리를 정량화하는 도구.
태그
paper #2018 inverse-reinforcement-learning hierarchical-rl bayesian-irl option-framework reward-inference
BibTeX
@article{cundy2018hierarchyaware,
title = {Exploring Hierarchy-Aware Inverse Reinforcement Learning},
author = {Cundy, Chris and Filan, Daniel},
journal = {arXiv preprint arXiv:1807.05037},
year = {2018},
note = {ICML 2018 Workshop on Goal Specifications for Reinforcement Learning},
url = {https://arxiv.org/abs/1807.05037}
}