도덕 규칙은 무엇을 의미하는가?
Digest: Context — 우리는 “잔디밭에 들어가지 마시오” 같은 도덕·사회 규칙을 매일 따르고 어기지만, 규칙이 정확히 무엇을 의미하는지는 불분명하다. 규칙을 글자 그대로의 명령으로 보면(명령문 관점, Portner 2007), 위급 환자를 옮기려 잔디를 가로지르는 것조차 위반이 되어 우리의 유연한 직관과 충돌한다.
Insight — 이 논문의 핵심 통찰은 규칙이 단순 명령이 아니라 **합의의 요약을 전달하는 화행(speech act, ‘말로 하는 행위’ — 약속·명령처럼 발화 자체가 사회적 효력을 가짐)**이라는 것이다. 규칙의 의미는 그 이유(상호의존 상황에서 합리적 행위자들이 도달할 합의 당사자들의 이익)에 묶여 있어서, 사람들은 예외를 판단할 때 기존 연구가 가정한 “아무도 안 지키면?”(완전위반 보편화, Levine 2020; Kwon 2023)이 아니라 **“내(또는 더 급한) 상황의 모두가 이 정도까지 어겨도 규칙의 목적이 유지될까?”**라는 정도(degree) 있는 보편화 질문을 던진다.
Solution — 저자들은 이 통찰을 세 모듈 생성모형으로 정식화한다: (1) 행위자가 목표 효용(U_goal, 예: U_friend=52.7±3.87, Prolific 50명 prior)을 갖고 준수 경로(BFS 최단경로) 대 위반 정도 σ∈[0,1]의 지름길 중에서 궤적을 샘플링하고, (2) 그 행동을 모두가 따랐을 때 잔디 수용량(capacity) 임계를 넘는지로 보편화 효용을 계산하며(Eq.2), (3) 자기 이익에 치우친 정도인 **근시안성 λ(myopia — 낮을수록 공동체 지향=관대한 판단)**와 결합해(Eq.3) 관찰된 위반 σ에서 λ를 사후추론한다(Eq.4, softmax).
Evidence — 잔디밭 그리드월드 시뮬레이션이 두 예측을 입증한다: 첫째, 위반 허용성은 절대적이 아니라 공동체 필요 대비 상대적이어서, 같은 잔디 횡단 행동이라도 목표 긴급성과 공동체 구성에 따라 less/more myopic으로 다르게 추론된다(Fig.5, Fig.7). 둘째, 규칙의 존재 자체가 환경 정보를 함축하여, 잔디 취약성이 중간일 때(집단행동만 손상; capacity ~150) 규칙의 정보가치가 최대가 되고 극단 취약(capacity 4)이나 극단 강건(>10,000)에서는 낮다(Fig.6). 결정적으로 인간 prior는 표지판 유무와 무관하게 일관되어, 규칙은 사람들의 기대치가 아니라 해석 틀을 바꾼다는 것을 보여준다(Fig.4).
Limitations — 저자가 인정하듯 검증이 잔디밭이라는 단일 사례에 국한되고, 개인차(λ의 분포)가 모형에 반영되지 않으며, 무엇보다 인간 피험자를 대상으로 한 행동 실험 검증이 부재해 현재는 계산적 가능성 증명(proof of concept) 수준이다(증거 등급 B, 재현성 C). Open Questions / Implication — 2자 간(dyadic) 화행 모형을 다자 공동체 의사소통으로 확장한 이 RSA가 실제 인간 판단을 예측하는가, λ-추론이 자원이 제한된 인간 인지의 resource-rational 전략으로 어떻게 자리매김하는가가 열려 있으며, 함의로는 AI alignment에서 에이전트가 규칙을 글자가 아니라 이유로 이해하도록 설계하는 길(Zhi-Xuan 2024와 동기 공유)을 연다.
섹션별 요약
Abstract
사람들은 사회적·도덕적 기대를 규칙(“No walking on the grass” 등)의 형태로 소통하는데, 이 규칙들은 표면적 단순함 이면에 훨씬 풍부한 의미를 담고 있다. 본 논문은 도덕 규칙이 **상호의존적 선택 문제(interdependent choice problem)**에서 합리적 행위자들이 도달할 합의의 요약을 집단에게 전달하는 특수한 화행(speech act)이라는 새로운 이론을 제시하고, 이를 계산 인지 모형(computational cognitive model)으로 정식화한다. 이 관점에서 규칙은 합의 당사자들의 이익을 반영하는 이유(reasons)와 긴밀히 결합되어 있으며, 이 구조 덕분에 사람들은 새로운 상황과 경계 사례(edge cases)에서 규칙을 유연하게 해석·적용할 수 있다. 구체적으로, 사람들은 어떤 행위가 규칙을 위반하는지 판단할 때 규칙의 목적(reason)을 되짚고, “모두가 이 방식으로 행동하는 것을 규칙이 허용하더라도 규칙의 목적이 유지될 것인가(whether the purpose of the rule would still be upheld if the rule permitted everyone to act in this way)“라는 보편화 질문을 통해 합의 모형을 활용한다.
저자 contribution
- 도덕 규칙을 집단 지향 화행(group-directed speech act)으로 정의하는 새로운 이론을 제안한다.
- 규칙의 이유(합의 요약)를 재구성하고 보편화(universalization) 추론으로 예외를 판단하는 계산 인지 모형을 형식화한다.
왜 이 연구를 하는가?
핵심 질문: 사람들은 “잔디에 들어가지 마시오”처럼 단순해 보이는 도덕 규칙을 어떻게 이해하고, 언제 예외를 허용하는가?
규칙은 표면적으로 단순하지만, 실제로는 그 규칙이 왜 존재하는지—즉 규칙 뒤에 숨은 이유—를 함께 전달한다. 정원사는 잔디를 밟아도 되고, 포고스틱 사용자는 안 된다는 암묵적 이해가 작동하는 것이 그 예다. 이런 유연한 규칙 해석 능력은 인간에게는 자연스럽지만, AI 시스템에는 결여되어 있다. AI alignment 연구는 인간의 사회·도덕 규칙을 AI에게 효과적으로 전달하는 방법을 찾고 있으나, 인간이 규칙을 어떻게 이해하는지에 대한 계산적 프레임워크 없이는 이 문제가 간접적이고 불안정한 상태로 남는다(Zhi-Xuan et al., 2024; Klingefjord et al., 2024; Dalrymple et al., 2024). 이 논문은 규칙이 “합리적 행위자들이 상호의존적 선택 문제에서 도달할 합의의 요약”이라는 이론을 제시하고, 이를 계산 모형으로 구체화함으로써 AI와 인간 모두의 규칙 이해에 기여하고자 한다.
Introduction
사람들이 사회·도덕적 기대를 전달할 때 사용하는 규칙은 “잔디에 들어가지 마시오”처럼 단순해 보이지만, 실제로는 문자적 의미 이상의 복잡한 정보를 담고 있다—이를테면 정원사에게는 예외를 허용하고, 포고스틱 사용은 명시 없이도 금지한다는 암묵적 이해가 그것이다. 이러한 규칙 해석의 복잡성은 AI safety 분야에서 핵심 도전으로 떠오르고 있다: 인간 도덕 규칙의 계산적 프레임워크 없이는, AI에게 규칙을 전달하는 현행 alignment 접근법이 간접적이고 신뢰하기 어렵다.
기존 접근들은 이 문제를 충분히 해결하지 못했다. 첫째, 언어학의 전통적 관점은 규칙을 정책을 제약하거나 효용을 정의하는 **명령문(linguistic imperatives)**으로 보지만(Portner, 2007), 이는 공동체를 향한 규칙이 집단적 목표를 어떻게 촉진하는지—즉 규칙의 기능적 목적—를 포착하지 못한다. 둘째, 기존 보편화(universalization) 시뮬레이션 연구들은 **“모두가 완전히 규칙을 어긴다면”**이라는 양극단 질문만 다루거나(Levine et al., 2020; Kwon et al., 2023), 각 행위자의 이상적 개별 정책을 시뮬레이션함으로써 합의를 보장하는 방식에만 의존했다(Levine, Kleiman-Weiner et al., 2024; Misyak & Chater, 2014). 이들은 “모두가 이 정도로 어긴다면?”이라는, 실제 도덕 판단에서 중요한 중간 지대를 다루지 않는다.
법이론의 기능주의(Hart, 1958; Fuller, 1958; Schauer, 1987)와 인지과학의 Rational Speech Act(RSA) 프레임워크(Frank & Goodman, 2012; Goodman & Frank, 2016; Degen, 2023)는 규칙의 목적 이해를 강조하지만, 기존 연구는 2자 간(dyadic) 소통에 집중되어 있어 공동체 전체를 향한 규칙으로의 확장이 이루어지지 않았다. 본 연구는 이 공백을 메우기 위해 resource-rational contractualism(Levine et al., 2024; André et al., 2022)—도덕 판단이 다중 행위자 결정 문제의 상호 이익 해법을 근사한다는 관점—을 토대로, 규칙을 합리적 행위자들의 합의를 집단에 전달하는 특수한 화행(speech act)으로 정식화하는 계산 인지 모형을 제시한다.
저자가 명시한 기여
- 도덕 규칙을 공동체를 향한 화행으로 규정하고, 규칙의 의미를 그 이유(합의 당사자들의 이익)와 연결하는 새로운 이론 제안
- RSA 프레임워크를 2자 간 소통에서 공동체 규칙으로 확장한 계산 모형화
- “모두가 이 정도로 어기면 규칙의 목적이 유지되는가”라는 보편화 질문을 λ-추론으로 계산화
- 잔디밭 그리드월드 시뮬레이션을 통해 (1) 위반 허용성이 공동체 필요 대비 행동에 의존하고, (2) 규칙 존재 자체가 환경 속성(잔디 취약성) 정보를 함축함을 입증
Methods
프레임워크 개요 — 이 모형은 “잔디밭에 들어가지 마시오”라는 규칙을 아주 작은 공동체 시뮬레이션으로 바꿔 생각한다. 에이전트는 목표 지점까지 가야 하고, 보도만 따라가면 멀지만 잔디를 가로지르면 짧아진다. 따라서 모형이 묻는 질문은 단순하다: “이 사람이 이만큼 잔디를 밟는 것을 허용했을 때, 같은 정도로 급한 사람들도 모두 그렇게 해도 괜찮은가?” 이 질문을 계산하기 위해 (1) 목표와 경로를 만들고, (2) 모두가 같은 예외를 썼을 때의 공동체 비용을 계산하고, (3) 관찰된 행동이 얼마나 자기중심적인지 λ로 거꾸로 추론한다. 출력값 P(λ|σ_obs)는 “이 행동을 한 사람의 근시안성 λ가 어느 정도일 가능성이 높은가”를 나타낸다.
핵심 구성요소
- 에이전트 및 목표 샘플링: 에이전트는 보도 위 무작위 위치에서 출발해 목적지를 배정받는다. 목적지는 아이스크림 트럭, 친구, 백신소, 포타포티, 경찰차, 고통 중인 사람처럼 긴급성이 다르다. 각 목적지의 가치
U_goal은 Prolific 참여자 50명의 판단에서 얻은 평균과 표준오차로 샘플링한다(예:U_friend = 52.7 ± 3.87). - 궤적 생성: 에이전트는 두 경로 중 하나를 택한다. 하나는 보도만 따라가는 규칙 준수 경로이고, 다른 하나는 잔디를 일부 가로지르는 지름길이다.
σ ∈ [0, 1]는 지름길의 정도다.σ = 0이면 완전 준수,σ = 1이면 가능한 한 잔디를 가로지르는 완전 위반이다. - 개인 효용 계산(Eq. 1):
U_agent = U_goal - c · L_path. 말로 풀면, 목표가 급할수록 이득은 커지고(U_goal증가), 길이 멀수록 비용은 커진다(L_path증가). 여기서c = 1은 한 칸 이동 비용이고, 대각선 이동은√2만큼 든다. - 보편화 비용 추정(Eq. 2): 관찰된 사람 한 명만 보는 것이 아니라, 공동체 규모
N안에서 그 사람만큼 또는 그보다 더 급한 목표를 가진 사람들 모두가 같은 예외를 쓴다고 가정한다. 이때 잔디 위 총 발걸음 수S_total이 잔디의 내구 한계C_grass를 넘으면 공동체 비용U_grass_cost가 발생한다. 수식𝕀(S_total > C_grass)는 조건이 참이면 1, 거짓이면 0이 되는 스위치다. 그래서U_univ는 “모두가 이렇게 했을 때 평균적으로 공동체가 얻거나 잃는 효용”이다. - 전체 효용 및 myopia 파라미터 λ(Eq. 3):
U_overall = λ · U_agent + (1 - λ) · U_univ. 이 식은 개인 이득과 공동체 결과를 섞는 가중평균이다.λ = 1이면 개인 이득만 본다.λ = 0이면 공동체 결과만 본다. 따라서 λ가 클수록 “나는 빨리 가고 싶다”에 가깝고, λ가 작을수록 “모두가 그래도 괜찮은가”에 가깝다. - myopia 사후 추론(Eq. 4): 이미 관찰된 지름길 정도
σ_obs가 있을 때, 모형은 “어떤 λ를 가진 사람이면 이 행동을 최적으로 여겼을까?”를 거꾸로 추론한다.P(λ|σ_obs) = exp(U_overall(λ, σ_obs)) / Σ_λ′ exp(U_overall(λ′, σ_obs))는 가능한 λ 후보들 중 더 높은 전체 효용을 주는 λ에 더 큰 확률을 주는 softmax 정규화다. 낮은 λ가 추론되면 공동체 지향적 예외로 보이고, 높은 λ가 추론되면 자기중심적 위반으로 보인다.
람다(λ) 추론이란?
여기서
λ는 직접 관찰되는 값이 아니다. 우리가 실제로 보는 것은 누군가가 잔디를 얼마나 가로질렀는지, 즉σ_obs뿐이다. 모형은 그 행동을 보고 **“이 사람이 개인 이득을 얼마나 크게 봤으면 이런 지름길을 택했을까?”**를 거꾸로 계산한다. 이 숨은 성향을 추정하는 과정이 λ 추론이다.쉽게 말해,
λ는 사람의 머릿속에 붙어 있는 라벨이 아니라 행동을 설명하기 위해 모델이 붙이는 해석값이다. 같은 지름길이라도 목표가 응급 상황이면 낮은 λ, 아이스크림 트럭이면 높은 λ가 추론될 수 있다. 그래서 λ 추론은 “규칙을 어겼다”를 판정하는 절차가 아니라, 그 위반이 공동체를 고려한 예외인지 자기 이익 중심의 위반인지 구분하는 절차에 가깝다.
이 실험은 AI 모델에게 시킨 실험인가?
아니다. 여기서
agent는 GPT 같은 AI 모델이 아니라, 연구자가 만든 수식 기반 시뮬레이션 행위자다. 인간 참가자도 도덕 판단 본실험을 수행한 것이 아니라, 모델에 넣을 목적지별 긴급성·빈도 prior를 제공했다.진행 순서는 다음과 같다. 먼저 Prolific 참가자 50명에게 아이스크림 트럭, 친구, 백신소, 포타포티, 경찰차, 고통 중인 사람 같은 목적지가 얼마나 중요한지와, 공동체 사람들 중 몇 퍼센트가 각 목적지를 향할 것 같은지를 물었다. 그다음 이 평균 판단을
U_goal과 공동체 목표 분포로 고정하고, 그리드월드에서 가상 에이전트가 보도 경로 또는 잔디 지름길을 택하는 상황을 시뮬레이션했다.따라서 이 연구는 “5번 참가자에게 1~4번 참가자의 행동 데이터를 보여주고 판단하게 하는” 누적 정보 실험이 아니다. 모든 시뮬레이션은 같은 배경 prior를 공유하고, 목적지·지름길 정도
σ·표지판 유무·공동체 구성·잔디 취약성C_grass같은 조건만 바꿔가며 독립적으로 계산된다.각 시뮬레이션의 역할도 다르다. Simulation 1은 목적지 6개와 여러 지름길 정도를 비교해, 같은 잔디 횡단이라도 아이스크림 목적이면 더 자기중심적으로 보이고 응급 목적이면 덜 자기중심적으로 보이는지 확인한다. Fig. 6의 취약성 분석은 잔디가 너무 약하거나 너무 튼튼할 때보다, 혼자서는 괜찮지만 모두가 밟으면 망가지는 중간 조건에서 규칙의 정보 가치가 커지는지 본다. Simulation 2는 같은 포타포티행 지름길이라도 공동체에 더 급한 목표를 가진 사람이 많은지 여부에 따라 λ 추론이 달라지는지 비교한다.
- Human Priors: Prolific에서 모집한 50명의 참여자가 목적지별 긴급성과 공동체 내 이용 빈도를 평가했다. 핵심 결과로, 표지판 유무와 관계없이 판단이 일관되었는데, 이는 규칙이 공동체 행동에 대한 기대 자체를 바꾸지 않고 관찰된 행동의 해석을 바꾼다는 것을 시사한다.
기호 빠른 해설
| 기호 | 쉬운 뜻 | 논문 안에서 하는 일 |
|---|---|---|
U_goal | 목적지에 도착하는 가치 | 목표가 얼마나 급한지 반영한다. 고통 중인 사람에게 가는 일은 아이스크림을 사러 가는 일보다 값이 크다. |
L_path | 경로 길이 | 멀리 돌아갈수록 비용이 커진다. |
c | 한 칸 이동 비용 | 경로 길이를 실제 비용으로 바꾸는 상수다. 이 논문에서는 c = 1이다. |
U_agent | 개인 입장에서의 순효용 | 목표 가치에서 이동 비용을 뺀 값이다. |
σ | 규칙 위반 정도 | 0은 보도만 이용, 1은 최대한 잔디를 가로지르는 행동이다. |
σ_obs | 실제로 관찰된 위반 정도 | 모형이 λ를 추론할 때 주어진 관찰값이다. |
N | 가정한 공동체 인원 | ”모두가 이렇게 하면?”을 계산할 때 쓰는 집단 크기다. |
S_total | 공동체 전체의 잔디 발걸음 수 | 여러 사람이 잔디를 밟았을 때 누적되는 총량이다. |
C_grass | 잔디가 버틸 수 있는 한계 | S_total이 이 값을 넘으면 잔디 손상 비용이 생긴다. |
𝕀(조건) | 조건 스위치 | 조건이 참이면 1, 거짓이면 0이 되어 비용을 켜고 끈다. |
U_univ | 보편화했을 때의 공동체 효용 | 같은 예외를 모두에게 허용했을 때 평균적으로 좋은지 나쁜지 나타낸다. |
λ | 근시안성, 자기 이익 가중치 | 클수록 개인 이득 중심, 작을수록 공동체 결과 중심이다. |
P(λ|σ_obs) | 관찰된 행동 뒤의 λ 확률 | ”이 행동은 얼마나 자기중심적인 사람에게서 나왔을까?”에 대한 사후분포다. |
수식을 말로 풀면
- 먼저 “이 사람이 지름길을 택하면 개인적으로 얼마나 이득인가?”를 계산한다. 이것이
U_agent다. - 다음으로 “그 사람만큼 급한 사람들이 모두 같은 지름길을 택하면 잔디가 망가지나?”를 계산한다. 이것이
U_univ다. - 그다음
λ로 두 값을 섞는다. λ가 크면 개인 이득을 크게 보고, λ가 작으면 공동체 비용을 크게 본다. - 마지막으로 실제 관찰된 행동
σ_obs를 가장 그럴듯하게 만드는 λ를 찾는다. 그래서 이 논문에서 도덕 판단은 “규칙을 어겼나/안 어겼나”가 아니라 **“이 정도 위반은 어떤 수준의 자기중심성을 드러내는가”**로 계산된다.
입력 → 출력 흐름 — 입력은 세 계층으로 구성된다: (1) 관찰된 단축 궤적 σ_obs, (2) 공동체 목표 분포 prior(Prolific 데이터 기반 긴급성·빈도), (3) 잔디 파괴 임계값 C_grass. 모형은 먼저 U_agent(Eq. 1)를 산정하고, 보편화 시뮬레이션으로 U_univ(Eq. 2)를 추정한 뒤, 두 효용을 λ로 가중합한 U_overall(Eq. 3)을 계산한다. 마지막으로 Eq. 4의 softmax 사후 추론이 σ_obs에 대한 P(λ|σ_obs)를 출력한다. 이 값은 허용성 판단 자체라기보다, 허용성 판단에 쓰이는 핵심 중간 추정치다. 일반적으로 낮은 λ는 더 허용 가능한 예외, 높은 λ는 덜 허용 가능한 위반으로 해석된다.
기존 방법과의 차별점 — 기존 계약주의 접근(virtual bargaining, 최적 공동 계획 탐색)은 모든 에이전트의 공동 계획 공간을 탐색해야 하는 계산적 부담을 안는다. 본 모형은 “자신의 상황과 동등하거나 더 급한 모두가 이 정도로 어기면 규칙 목적이 유지되는가”라는 보편화 질문으로 이를 대체한다. 이를 통해 가상 협상이나 내시 균형 계산 없이도, λ 하나의 사후 추론만으로 허용성 판단을 예측하는 자원-합리적(resource-rational) 근사를 실현한다.
주요 하이퍼파라미터 / 설정
- c = 1 (이동 단위 비용), 대각선 비용 = √2
- σ ∈ [0, 1] (단축 정도: 0 = 완전 준수, 1 = 완전 위반)
- λ ∈ [0, 1] (myopia: 0 = 완전 공동체 지향, 1 = 완전 즉시이익 지향)
- N = 공동체 시뮬레이션 인구 규모 (Fig. 3의 조건별 분포로 지정)
- C_grass = 잔디 파괴 내성 용량 (시뮬레이션에서 다양한 가정값으로 변화)
- U_goal: 정규분포 샘플링 (예: U_friend = 52.7 ± 3.87, Prolific n = 50 기반)
발견 (Findings)
- 발견 1 — 위반 정도와 긴급성이 도덕 판단을 좌우한다: 잔디밭을 조금만 가로질러도 추론되는 단기 근시(myopia) 계수가 급격히 올라간다(Fig. 5). 같은 궤적이라도 목표가 응급 상황보다 아이스크림 트럭처럼 덜 긴급할 때 더 높은 myopia가 추론된다 — 즉 긴급성이 낮을수록 규칙 위반의 허용 가능성이 낮아진다.
- 발견 2 — 공동체 구성이 동일 행동의 도덕적 의미를 바꾼다: 화장실(porta-potty)로 향하는 동일한 잔디 횡단이라도, 주변 사람들이 주로 저긴급 목표를 추구하는 공동체에서는 less myopic으로 판단되고, 고긴급 목표가 많은 공동체에서는 more myopic으로 판단된다(Fig. 7). 행동 자체가 아니라 공동체 내 필요의 분포가 허용 여부를 결정한다.
- 발견 3 — 규칙은 환경의 ‘취약성’을 간접적으로 알려준다: 잔디가 극단적으로 취약(한 걸음만으로 손상)하거나 극단적으로 강건(수만 걸음에도 손상 없음)할 때는 규칙이 새 정보를 거의 추가하지 못한다. 반면 집단 행동만으로 손상이 발생하는 중간 취약성 조건(capacity 약 150 steps 수준)에서는 규칙이 개인 관찰만으로는 알 수 없는 환경 정보를 가장 효과적으로 전달한다(Fig. 6).
Results
시뮬레이션 1은 명시적 규칙 유무 조건 하에 에이전트가 6개 목적지를 향해 8가지 궤적(Fig. 1)으로 이동할 때 도덕 판단이 어떻게 달라지는지 분석했다. 핵심 결과는 세 패턴으로 요약된다(Fig. 5). 첫째, 규칙을 조금만 위반해도 추론된 myopia 계수가 급격히 증가한다. 둘째, 이 효과는 목표 긴급성에 비례하여, 동일 궤적에서 아이스크림 트럭을 향한 이동은 응급 상황 대비 더 높은 myopia를 산출한다. 셋째, 공동체 내 다른 구성원들이 동등하거나 더 긴급한 목표를 가질수록 해당 행동이 훨씬 myopic으로 판단된다. 잔디 취약성 분석(Fig. 6)에서는 잔디가 극단적으로 취약(단일 에이전트 보행만으로 손상)하거나 극단적으로 강건한 경우 규칙이 에이전트가 직접 관찰 가능한 정보 이상을 거의 제공하지 않는 반면, 집단 행동에 의해서만 손상이 발생하는 중간 취약성 조건에서는 규칙이 환경 속성에 대해 가장 높은 정보 가치를 갖는 것으로 나타났다. 시뮬레이션 2(Fig. 7)는 porta-potty로 향하는 동일한 잔디 횡단 궤적을 두 공동체 조건에서 비교한 결과, 저긴급 목표 분포 공동체에서는 less myopic, 고긴급 목표 분포 공동체에서는 동일 행동이 more myopic으로 판단됨을 보였다. 모든 시뮬레이션에서 myopia 계수(λ)와 규칙위반 정도(σ)는 0과 1 사이의 값으로 정의되며, human priors는 Prolific 50명 참가자 데이터(U_friend = 52.7 ± 3.87)로부터 도출되었다.
Discussion
이 연구는 도덕 규칙을 합리적 행위자들 간 합의의 요약을 전달하는 화행으로 정식화하고, 규칙의 목적(purpose)과 그 목적이 단순 규칙으로 번역되는 생성 메커니즘을 명시적으로 함께 모형화한 첫 계산 프레임워크를 제시한다. 두 가지 시뮬레이션을 통해 두 핵심 결과를 보고한다. 첫째, 규칙 위반의 도덕적 허용성은 고정된 속성이 아니라 공동체 구성원들의 목표 분포에 따라 달라진다 — 동일한 잔디 가로지르기 행동이 저긴급 목표 중심 공동체에서는 낮은 근시안성을 함축하고, 고긴급 목표 중심 공동체에서는 더 큰 근시안성을 함축한다(Fig. 7). 둘째, 규칙의 존재 자체가 환경 속성에 대한 정보를 청자에게 전달하는 화용적 신호로 기능한다. 이러한 결과는 resource-rational contractualism 프레임워크(Lieder & Griffiths, 2020)와 정합하며, 도덕적 이해관계가 높을 때 사람들이 휴리스틱 대신 비용 집약적이고 정확한 추론 과정을 사용한다는 증거(Wu et al., 2024; Trujillo et al., 2024)와도 연결된다. 한편 본 연구는 2자 간(dyadic) 소통(Frank & Goodman, 2012; Goodman & Frank, 2016; Degen, 2023)을 다자·공동체 맥락으로 확장한다는 점에서 기존 dyadic 커뮤니케이션 모형들과 차별화된다.
저자가 인정한 한계
- 단일 사례 연구: 잔디 규칙이라는 특정 도메인에 집중하여 다른 유형의 도덕 규칙 및 더 복잡한 개인-집단 효용 trade-off에 대한 일반화가 미검증 상태로 남아 있다.
- 개인차 미반영: 도덕 판단에서 나타나는 개인 간 변이(Curry, 2016; Barrett & Saxe, 2021; Graham et al., 2011)를 현재 모형이 명시적으로 포착하지 못한다.
독자 식별 가능한 추가 한계
- 행동 실험 검증 부재: 모든 결과가 시뮬레이션에 기반하며, 인간 참가자를 대상으로 한 실증적 행동 실험이 동반되지 않아 모형 예측이 실제 인간 판단과 일치하는지 직접 검증되지 않았다.
- Prior 수집 규모의 제약: 공동체 목표 분포를 표현하는 prior 설정이 소규모 표본(Prolific 50명)에 의존하며, 대규모·다양한 집단으로부터 수집된 경험적 prior가 부재하다.
향후 방향
- 개인차를 포착하는 모형 확장: 도덕 추론 전략의 개인 간 변이를 설명할 수 있도록 프레임워크를 수정한다 (개인차 미반영 한계에 대응).
- 다도메인 일반화 검증: 잔디 사례를 넘어 재산권, 약속 준수 등 다양한 도덕 도메인에서 동일 메커니즘이 작동하는지 실증적으로 검토한다 (단일 사례 한계에 대응).
이론적 의의
- resource-rational 도덕심리의 계산 모형 제공: 본 연구는 도덕 규칙 해석을 resource-rational contractualism(Lieder & Griffiths, 2020)의 구체적 사례로 정식화함으로써, “합리적 행위자들 간 최선의 합의”라는 규범적 기준과 인지적 자원 제약 하의 근사 추론을 하나의 계산 프레임워크 안에 통합한다.
- 규칙의 화용론적(pragmatic) 기능 명시화: 규칙을 단순한 행동 금지 목록이 아니라 환경 및 공동체 속성을 전달하는 화행으로 재정의함으로써, 언어 화용론(Frank & Goodman, 2012; Goodman & Frank, 2016)과 도덕심리학을 연결하는 이론적 다리를 놓는다.
- 도덕 판단의 맥락 의존성에 대한 정량적 설명: 동일 행동의 도덕적 무게가 공동체 구성에 따라 달라진다는 시뮬레이션 결과는, 도덕 판단이 보편 규칙의 기계적 적용이 아니라 집단 맥락을 통합한 추론임을 정량적으로 보여준다.
- AI alignment에 대한 함의: 규칙의 목적과 생성 메커니즘을 분리하여 모형화하는 접근법은, AI 시스템이 단순히 명시적 규칙을 따르는 것을 넘어 그 규칙의 근거와 적용 범위를 추론할 수 있도록 하는 alignment 설계에 직접적인 이론적 기반을 제공한다.
Discussion Points
- 논쟁점 및 약점:
- 행동 실험 부재: 이 연구의 모든 근거는 계산 시뮬레이션에 한정된다. 인간 참가자를 대상으로 한 실험(예: vignette 기반 도덕 판단 과제)이 없어, 모형이 예측하는 myopia coefficient 추론 패턴이 실제 인간 직관과 부합하는지 독립적으로 검증되지 않았다. 이는 모형의 심리적 타당성(psychological validity)에 대한 핵심 의문을 남긴다.
- 단일 도메인 편향: “잔디를 밟지 마시오”라는 단일 사례를 중심으로 프레임워크를 구성하여, 약속·재산권·공정성처럼 구조적으로 다른 도덕 규칙에서도 동일한 보편화 질문 메커니즘이 작동한다는 주장이 아직 실증되지 않았다.
- 대안 설명: 상위 예외 규칙 또는 별도 moral prior: 이 논문은 규칙 위반 판단을 “규칙에 압축된 이유와 합의 구조를 복원하는 과정”으로 설명하지만, 같은 현상은 “위급한 상황에서는 낮은 수준의 규칙을 어겨도 된다”는 상위 규칙이 일반 도덕 규칙을 override한 결과로도 설명될 수 있다. 즉 관찰된 λ 추론이 규칙의 의미론적 압축을 복원한 결과라기보다, 이미 존재하는 별도 moral prior가 기본 규칙에 우선 적용된 결과일 가능성이 있다. 논문의 공동체 분포·위반 정도 조작은 이 대안을 약화시키는 방향의 모델링이지만, 인간 행동 실험 없이 시뮬레이션만으로 두 설명을 결정적으로 구분하지는 못한다.
- 검증해야 할 가정:
- 보편화 질문(universalizability query)이 사람들이 실제로 사용하는 추론 과정의 심리적 실재임: 본 프레임워크는 사람들이 예외 허용 여부를 판단할 때 “모두가 이 수준으로 위반해도 규칙의 목적이 달성될까”를 암묵적으로 계산한다고 가정하지만, 이 특정 추론 단계가 이중 과제(dual-task) 실험이나 think-aloud 프로토콜 등을 통해 심리적으로 실재함을 보여주는 직접 증거가 현재 부재하다.
- 후속 연구 아이디어:
- 크라우드소싱 기반 대규모 도덕 판단 데이터셋 수집: 다양한 공동체 구성과 여러 도덕 도메인을 포괄하는 vignette 실험을 통해 모형 예측과 인간 판단을 직접 비교함으로써, 이론적 프레임워크의 외적 타당성을 확보하고 개인차 모형화의 초석을 마련할 수 있다.
- 도덕 규칙을 넘어 행동 정책 전환으로 확장: 규칙 위반을 특수한 도덕 판단 문제가 아니라, 타인의 행동과 공동체 상태를 고려해 기존 자기 행동 정책을 언제 수정하는가의 문제로 일반화할 수 있다. 이때 핵심 질문은 “사람은 자신의 기본 행동 정책을 어떻게 파악하고, 어떤 사회적 신호나 타인의 필요 분포를 관찰했을 때 그 정책을 꺾는가?”가 된다.
실험 결과 상세
| 시뮬레이션 / 데이터 | 조작 변수 | 핵심 결과 | 수치 출처 |
|---|---|---|---|
| 시뮬레이션 1: 규칙 유무 × 목적지 × 궤적 | 규칙 유무(posted/no-sign) × 6개 목적지(아이스크림 트럭, 친구, 백신소, 포타포티, 경찰차, 고통 중인 사람) × 8개 궤적(σ=0~1 지름길 비율) | 최소 규칙 위반도 높은 λ(근시안)를 시사; 긴급도가 낮은 목적지(아이스크림 트럭)일수록 동일 궤적에서 더 높은 λ 추론; 공동체 내 동등·고긴급 목적지 보유자 비율이 높을수록 λ 상승 | Fig. 5 |
| 시뮬레이션 2: 공동체 구성 저긴급 vs 고긴급 | 공동체 목표 분포(저긴급 편향 vs 고긴급 편향, Fig. 3) × 포타포티 향 궤적 고정 | 동일 지름길 행동이 저긴급 공동체에서는 낮은 λ(상대적 허용)로, 고긴급 공동체에서는 더 높은 λ(덜 허용)로 추론됨 | Fig. 7 |
| 취약성 분석: 잔디 Capacity 변화 | C_grass ≈ 4 (극도 취약) / 중간값(집단 손상 임계, ~150) / >10,000 스텝 (매우 견고) | 규칙의 정보 가치는 중간 취약성에서 최대; 극도 취약(개인 행동만으로 손상 관찰 가능) 또는 극도 견고(어떤 행동도 손상 없음)에서는 규칙이 추가 정보 거의 제공 안 함 | Fig. 6 |
| 인간 prior 수집 (Prolific 참가자 실험) | 규칙 게시 여부(posted sign vs no sign) × 6개 목적지 | U_friend = 52.7 ± 3.87; 목적지별 긴급성·빈도 판단은 표지판 유무와 무관하게 일관성 유지(규칙 자체가 기저 공동체 기대를 바꾸지 않음) | Fig. 4 |
| 수식 파라미터 (모델 전체) | c=1 (경로 비용), k=6 (목적지 수), N (공동체 크기: 원문에 수치 미보고), λ∈[0,1] | 원문에 N 구체 수치 미보고 — 추정 불가 | 본문 Eq.1~4 |
프레임워크 다이어그램
graph TB A["공동체 prior 수집\nProlific 50명: 빈도·긴급성 판단"] --> B["목표 효용 샘플링\nUgoal ~ Normal(mean, se)\n예: Ufriend = 52.7±3.87"] B --> C["궤적 생성\n보도 경로 vs 잔디 지름길\nσ=0 준수, σ=1 최대 위반"] C --> D["개인 효용 계산\nEq.1: Uagent = Ugoal - c·Lpath\n목표 가치 - 이동 비용"] D --> E["보편화 효용 계산\nEq.2: Uuniv\n같거나 더 급한 모두가 같은 예외 사용"] E --> F["개인 이득과 공동체 결과 결합\nEq.3: Uoverall = λ·Uagent + (1-λ)·Uuniv\nλ 클수록 개인 이득 중심"] F --> G["λ 사후 추론\nEq.4: P(λ|σ_obs)\n관찰된 위반 정도가 어떤 λ에서 그럴듯한가"] G --> H["도덕 판단 해석\n낮은 λ = 공동체 지향 예외\n높은 λ = 자기중심적 위반"] G --> I["환경 속성 역추론\n잔디 취약성 추론\nCapacity 4 vs 중간 vs 10000+"] E --> I
재현성 및 신뢰도 평가
| 항목 | 등급 | 비고 |
|---|---|---|
| 코드 공개 | ❌ | GitHub 등 코드 링크 없음. 논문 본문에도 저장소 언급 없음 |
| 데이터 공개 | ⚠️ | Prolific 50명 수집 데이터(목적지별 긴급성·빈도 prior)가 Fig. 4로 요약 제시되나, 원시 데이터 공개 여부 언급 없음 |
| 하이퍼파라미터 | ✅ | 핵심 파라미터 본문 명시: c=1, k=6 목적지, σ∈[0,1], C_grass 세 수준(≈4 / 중간 / >10,000), U_friend=52.7±3.87, λ∈[0,1]. 단, N(공동체 규모) 수치 미보고 |
| 실험 환경 | ⚠️ | 그리드월드 구조, BFS 경로, 대각선 이동 비용(√2) 등 재구현 가능 수준으로 기술. 그러나 구체적 소프트웨어·프레임워크·난수 시드 미명시 |
| 통계적 신뢰도 | ❌ | 시뮬레이션 결과에 신뢰구간, 반복 횟수, p값 등 통계 검증 없음. 인간 prior 수집은 N=50으로 소규모이며 통계적 검정 미보고 |
| 종합 등급 | C | 수식·파라미터는 충분하나 코드 미공개, N 미보고, 통계적 검증 부재로 독립 재현이 어려운 수준 |
주장별 신뢰도
| # | 주장 | 근거 | 신뢰도 |
|---|---|---|---|
| 1 | 동일 지름길 행동도 목적지 긴급도가 낮을수록 더 높은 근시안(λ)으로 추론된다 | Eq.1~4 모델에서 U_goal이 λ 추론에 직접 영향; Fig. 5로 시각화됨. 단, 수치 정량 비교 미보고 | 🟡 |
| 2 | 규칙은 잔디 취약성이 중간일 때 정보 가치가 최대이며, 극도 취약/견고 상태에서는 추가 정보가 거의 없다 | Fig. 6에서 세 Capacity 수준 비교로 제시; 이론적 도출과 일치. 그러나 수치 정량화 없이 그래프 패턴에만 의존 | 🟡 |
| 3 | 인간의 목적지 긴급성·빈도 판단은 표지판 게시 여부와 무관하게 일관적이다 | Fig. 4에서 posted/no-sign 조건 비교; N=50으로 소규모이나 시각적 패턴이 명확. 통계 검정 부재 | 🟡 |
| 4 | 공동체 구성(저긴급 vs 고긴급 목적지 분포)이 동일 행동의 도덕적 허용성 판단을 조절한다 | Fig. 7에서 두 공동체 조건 비교; 모델 Eq.2의 U_univ 구조에서 직접 파생되는 이론적 예측과 일치 | 🟢 |
읽기 난이도: ⭐⭐⭐
이 논문은 다중 에이전트 의사결정, 베이지안 추론(softmax 사후 추론), 언어 화용론(Rational Speech Act 프레임워크)을 통합한 계산 인지 모델을 제시한다. 독자는 다음 배경지식이 필요하다: (1) 효용 이론 및 계약론적 도덕 철학 기초, (2) 베이지안 확률 추론 및 softmax 함수 이해, (3) 그리드월드 계획(BFS) 등 AI/강화학습 기본 개념, (4) Goodman & Frank(2016) RSA 모델 등 계산 화용론. 수식 자체는 비교적 단순하나, 수식들이 연결되는 이론적 맥락(보편화 원리, resource-rational contractualism)을 이해하지 못하면 논문의 핵심 주장을 파악하기 어렵다.
관련 연구 비교 매트릭스
선정 근거: 5편 모두 contractualist 도덕 판단 계산 모형이라는 공통 차원을 공유하며, base 2편(Levine 2024, Levine 2020)은 target의 직접 방법론적 조상이고, direct 1편(Kwon 2023)은 같은 저자군의 전신 연구이며, alternative 2편(Trujillo 2024, Zhi-Xuan 2024)은 유사 문제에 대한 대안 접근을 대표한다.
| 축 | 본 논문 (Kwon et al., 2026) | Levine et al., 2024 [base] | Levine et al., 2020 [base] | Kwon et al., 2023 [direct] | Trujillo et al., 2024 [alternative] | Zhi-Xuan et al., 2024 [alternative] |
|---|---|---|---|---|---|---|
| 문제 설정 | 도덕 규칙이 집단적 화행으로서 어떤 의미를 갖는가 — 규칙의 의미론적 내용을 계산적으로 명세 | 규칙이 명백히 부적절해지는 상황에서 사람들이 규칙을 어떻게 기각·재해석하는가 | ”모두가 그렇게 하면?” 보편화 추론이 임계 문제에서 도덕 판단을 예측하는가 | 어떤 조건에서 규칙 위반이 허용 가능하다고 판단되는가 — 위반 허용 기준 | 가상 교섭을 확률적 인지 모형으로 어떻게 정식화할 것인가 | 선호 기반 AI 정렬의 한계와 규범·합의 기반 대안이 무엇인가 |
| 핵심 메커니즘 | 보편화 질문(부분 위반의 임계 capacity) + myopia λ 파라미터를 통한 RSA dyadic→공동체 규칙 확장 | 가상 교섭 — 당사자들이 합의했을 법한 결과를 시뮬레이션하여 규칙 재해석 | 보편화 함수: “모두가 위반하면 목적이 유지되는가” 임계 판단, 집단 수준 계산 | 완전 위반의 합의 가능성 시뮬레이션 (본 논문의 직접 전신; 부분 위반 미포함) | 행위자별 최적 합의를 직접 추론하는 확률적 Bayesian 모형 | 선호 집계 비판 + 규범·합의 기반 정렬 원칙 제안 (계산 메커니즘 미제시) |
| 계산 모형 유무·형식 | 있음 — Bayesian RSA 확장, myopia λ 연속 파라미터, 잔디밭 그리드월드 시뮬레이션 | 있음 — 가상 교섭 game-theoretic 계산 모형 + 행동실험 | 있음 — 보편화 임계 함수, 정량 예측 모형 | 있음 (초기 형태) — 합의 가능성 시뮬레이션, CogSci 논문 수준 | 있음 — 확률적 인지 모형, resource-rational 프레임워크 | 없음 — 포지션 페이퍼, 원칙 수준 논증 |
| 인간 데이터 | Prolific 50명 prior elicitation (잔디밭 시나리오); 소규모 파일럿 수준 | 행동실험 포함 (규칙 기각 판단 과제) | 행동실험 포함 (임계 문제 도덕 판단, 정량 예측 검증) | 행동 데이터 미확인 (CogSci 논문 특성상 소규모 또는 시뮬레이션 위주 가능) | 미확인 (모형 제안 논문; 실험 여부 불명확) | 없음 (이론·포지션 논문) |
| 공동체 vs dyadic 범위 | 공동체 전체 대상 — 집단 화행, 집단 수준 보편화 (규칙의 청중 = 불특정 다수) | 주로 dyadic 또는 소규모 당사자 간 교섭 시뮬레이션 | 집단 수준 보편화 포함하나 쌍방 상호작용 구조 혼재 | 공동체 수준 위반 허용 판단 포함 (본 논문과 동일 방향) | dyadic 합의 중심 — 행위자-행위자 교섭 | 사회적 규범·합의 일반 (개념적 수준, 범위 불특정) |
| AI alignment 연결 | 명시적 — 규칙의 알고리즘적 명세가 AI alignment에 필요하다는 동기를 서론에서 직접 기술 | 미확인 (alignment 동기 명시 여부 불명확) | 없음 — 기초 인지과학 연구 | 없음 — 인지과학 실험 연구 | 미확인 (TopiCS 논문; alignment 연결 여부 불명확) | 있음 — AI alignment 문제가 논문의 핵심 동기이자 주제 |
| 코드 공개 | ❌ (없음) | 미확인 | 미확인 | 미확인 | 미확인 | N/A (포지션 페이퍼) |
Positioning 요약 — “What do moral rules mean?”은 Levine et al. 2020의 보편화 임계 구조와 Levine et al. 2024의 가상 교섭 contractualism을 계승하면서, 두 선행 연구가 다루지 않은 “규칙의 의미론적 내용”이라는 문제를 정면으로 다루는 점에서 독자적 위치를 차지한다. 특히 완전 위반만을 다루던 Kwon et al. 2023에서 부분 위반의 보편화라는 중간지대로 나아감으로써 규칙의 환경 의존적 정보 내용을 포착할 수 있게 되었다. Trujillo et al. 2024의 자원-합리적 가상 교섭이 행위자별 최적 합의를 직접 추론하는 고비용 경로를 택하는 데 비해, 본 논문은 myopia λ로 계산 복잡도를 줄인 근사 경로를 제시하여 확장성 면에서 차별화된다. Zhi-Xuan et al. 2024와 AI alignment 동기를 공유하지만 구체적 계산 모형을 제시한다는 점에서 규범 기반 정렬 연구의 구현 가능한 발판에 더 가깝다.
원자적 인사이트 (Zettelkasten)
💡 규칙의 의미는 “이유의 요약”이며, 예외 판단은 정도 있는 보편화로 작동한다
출처: What do moral rules mean (Kwon, Wong, Tenenbaum & Levine, 2026) / 유형: 이론적
사회 규칙을 글자 그대로의 명령으로 읽으면 합리적 예외(응급 상황 등)를 설명할 수 없다. 대신 규칙을 합리적 행위자들이 도달할 합의의 요약으로 보면, 사람들은 예외를 판단할 때 “아무도 안 지키면?”이 아니라 “내(또는 더 급한) 상황의 모두가 이 정도까지 어겨도 규칙의 목적이 유지되나?”를 묻는다. 즉 위반은 0/1이 아니라 정도(σ)를 갖는 연속량으로 평가되며, 핵심 기준은 그 정도까지의 위반을 모두가 했을 때 규칙이 보호하려는 공동의 자원이 임계(capacity)를 넘느냐다.
- 핵심 조건/맥락: 규칙이 상호의존적 선택(collective action problem)에 관한 것이고, 위반 정도를 연속적으로 변주할 수 있는 상황. 단일 위반자가 아니라 “같은 상황의 모두”로 일반화하는 보편화 추론을 전제.
- 연결: 보편화 (Universalization), 계약주의 (Contractualism), 화행 이론 (Speech Act)
- 활용 가능성: AI 에이전트가 규칙을 문자가 아닌 목적·이유로 해석하게 하는 alignment 설계의 형식적 출발점. 도덕 판단 실험에서 “위반 정도 × 공동체 필요” 2요인 설계의 가설로 직접 사용 가능.
💡 같은 행동의 도덕적 평가는 행동이 아니라 “공동체의 필요”에 상대적이다
출처: What do moral rules mean (Kwon, Wong, Tenenbaum & Levine, 2026) / 유형: 시뮬레이션 결과
물리적으로 동일한 위반 행동(잔디밭을 가로질러 이동)이라도, 행위자의 목표 긴급성이 낮으면(아이스크림 트럭) 더 근시안적으로(more myopic), 높으면(응급) 더 관대하게 추론되고, 나아가 같은 행동이 공동체의 목표 분포에 따라서도 다르게 평가된다. 즉 관찰자는 행위자의 자기중심성(myopia λ)을 추정할 때 “그 행동 대비 공동체가 무엇을 필요로 하는가”를 기준으로 삼는다. 허용성은 행동의 형태가 아니라 행동 대비 공동체 필요의 비율에 달려 있다.
- 핵심 조건/맥락: 관찰자가 위반자가 속한 공동체의 효용·긴급성을 추정할 수 있을 때. 시뮬레이션상 동일 σ에 대해 공동체 효용 분포를 변주해 확인됨(Fig.7).
- 연결: 도덕적 허용성 (Moral Permissibility), 근시안성 λ (Myopia)
- 활용 가능성: “같은 위반, 다른 맥락” 자극쌍으로 인간 판단이 공동체-상대적인지 검증하는 행동 실험 설계. 정상참작(mitigating circumstances) 판단의 계산 모형화.
💡 규칙의 존재 자체가 환경에 관한 정보를 전달한다 — 단, 자원이 “중간” 취약할 때만
출처: What do moral rules mean (Kwon, Wong, Tenenbaum & Levine, 2026) / 유형: 이론적
“잔디밭에 들어가지 마시오”라는 규칙이 있다는 사실만으로도 관찰자는 그 잔디가 어느 정도 취약하다고 추론한다. 그러나 이 정보가치는 자원의 취약성이 중간일 때(혼자서는 못 망치고 집단행동이라야 손상; capacity ~150) 최대가 된다. 자원이 극단적으로 취약하면(capacity 4) 규칙 없이도 손상을 직접 관찰할 수 있고, 극단적으로 강건하면(>10,000) 규칙이 있어도 전달할 비용 정보가 없으므로, 양극단에서는 규칙의 정보가치가 낮다. 결정적으로 인간의 사전 기대(prior)는 규칙 표지판 유무와 무관하게 일관되었는데, 이는 규칙이 사람들의 기대치를 바꾸는 것이 아니라 해석 틀을 바꾼다는 것을 시사한다.
- 핵심 조건/맥락: 위반의 피해가 집단행동을 통해서만 임계를 넘는 공유자원(commons) 구조. prior 일관성은 표지판 유무 조건 비교에서 관찰(Fig.4, Fig.6).
- 연결: 공유지의 비극 (Commons - Collective Action), 화용론적 함축 (Pragmatic Implicature)
- 활용 가능성: 규칙·경고문이 환경 위험도의 신호로 읽히는지에 대한 화용론 실험. 안전 표지·정책 설계에서 “규칙의 정보 효과”가 유효한 위험 구간 식별.
💡 도덕 규칙 위반은 더 일반적인 “행동 정책 전환” 문제로 확장될 수 있다
출처: What do moral rules mean 해석 노트 / 유형: 확장 아이디어
이 논문은 사람이 도덕 규칙을 어길 때 자기 목표만 보지 않고, 같은 상황의 타인들이 모두 그렇게 행동해도 되는지를 고려한다고 가정한다. 이 구조는 도덕 규칙에만 국한되지 않는다. 사람의 일상 행동도 기본적으로는 자기 행동 정책(policy)을 갖지만, 타인의 행동·필요·기대가 들어오면 그 정책을 수정한다. 따라서 더 넓은 질문은 “사람은 언제 기존의 자기 행동 정책을 유지하고, 언제 타인의 상태를 반영해 그 정책을 꺾는가?”로 바꿀 수 있다.
이 관점에서 핵심 연구 대상은 두 단계다. 첫째, 사람의 기본 행동 정책을 파악해야 한다. 예를 들어 혼자 있을 때 어떤 경로를 택하는지, 어떤 선택을 선호하는지, 어떤 목표를 우선하는지가 baseline policy가 된다. 둘째, 사회적 정보가 들어왔을 때 그 정책이 어떻게 변하는지 관찰해야 한다. 타인의 필요가 더 급한가, 같은 행동을 많은 사람이 할 가능성이 있는가, 내 행동이 공동체 비용을 키우는가, 타인이 이미 어떤 행동을 하고 있는가가 정책 전환의 조건이 된다.
- 핵심 조건/맥락: 개인의 baseline policy와 사회적 맥락이 분리되어 측정될 수 있는 상황. 도덕 규칙뿐 아니라 협동 과제, 줄서기, 자원 배분, 길 양보, 대화 순서 조정, 교통 행동처럼 타인의 행동이 내 행동의 의미를 바꾸는 상황에 적용 가능하다.
- 연결: Policy Adaptation, Social Decision-Making, Theory of Mind, Multi-agent Interaction, 보편화 (Universalization)
- 함의: AI alignment 관점에서는 규칙 준수보다 넓은 문제를 제기한다. 좋은 에이전트는 고정된 규칙 목록을 따르는 것만으로 충분하지 않고, 자신의 기본 정책을 인식한 뒤 타인의 목표와 공동체 비용을 보고 언제 정책을 수정해야 하는지 판단해야 한다. 인간 행동 연구 관점에서는 “규칙 위반”보다 일반적인 “사회적 맥락에 따른 정책 수정”을 측정하는 실험 설계로 확장될 수 있다.
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| 화행 (speech act) | 약속·명령·선언처럼 발화 자체가 사회적 효력을 일으키는 말. 이 논문은 규칙을 “합의의 요약을 집단에 전달하는” 특수한 화행으로 본다. |
| 보편화 (universalization) | “모두가 이렇게 행동하면 어떻게 될까?”를 물어 행위의 도덕성을 판단하는 추론. 이 논문은 완전위반(“아무도 안 지키면”)이 아니라 정도 있는 보편화(“이 정도까지 모두 어기면”)로 확장한다. |
| 계약주의 (contractualism) | 옳음을 합리적 행위자들이 합의할 규칙으로 정의하는 윤리 입장. 자원이 제한된 인지로 이를 근사한다는 점에서 “resource-rational contractualism”이라 부른다. |
| 근시안성 λ (myopia) | 행위자가 공동체 이익 대비 자기 이익에 치우친 정도를 나타내는 모형 파라미터. 낮을수록 공동체 지향적이며 관찰자는 그를 관대하게 판단한다. |
| 위반 정도 σ (rule-breaking degree) | 규칙을 어긴 정도를 0(완전 준수)~1(완전 위반)의 연속값으로 나타낸 양. 예외 판단을 0/1이 아닌 연속적 평가로 만든다. |
| RSA (Rational Speech Act) | 화자·청자가 서로의 추론을 모형화해 의미를 주고받는다고 보는 베이지안 화용론 틀. 이 논문은 이를 2자 간에서 공동체 차원으로 확장한다. |
| 집단행동 문제 (collective action problem) | 각자에겐 사소한 행동이 모이면 공유자원을 망치는 상황(예: 한 명의 잔디 횡단은 무해하나 모두 하면 잔디가 죽음). 규칙이 보호하려는 전형적 구조. |
| virtual bargaining | 실제 협상 없이도 “합리적 당사자들이라면 어떤 합의에 이를까”를 머릿속에서 시뮬레이션해 규범을 도출한다는 개념. |
| 사후추론 (posterior inference) | 관찰된 데이터(여기서는 위반 정도 σ)로부터 숨은 원인(여기서는 근시안성 λ)의 확률분포를 거꾸로 추정하는 베이지안 절차(Eq.4, softmax). |
| 그리드월드 / BFS | 행위자의 이동을 격자 위에서 시뮬레이션하는 환경(grid-world)과, 그 위에서 최단 준수 경로를 찾는 너비우선탐색(BFS) 알고리즘. |
관련 연구
- The logic of universalization guides moral judgment (Levine 2020) — 보편화를 도덕 판단의 원천으로 제시한 토대 연구(PNAS). 본 논문은 이를 완전위반에서 “정도 있는 위반”으로 확장.
- When rules are over-ruled - Virtual bargaining as a contractualist method of moral judgment (Levine 2024) — 합의를 자원제한 인지로 근사하는 virtual bargaining 틀(Cognition). 본 논문 λ-추론 모형의 직접적 이론 배경.
- When it’s not out of line to get out of line - The rules of rule-breaking (Kwon 2023) — 본 논문의 전신(CogSci). 완전위반만 다룬 한계를 정도(σ) 도입으로 보완.
- Resource-rational virtual bargaining for moral judgment (Trujillo 2024) — 행위자별 최적 합의를 직접 추론하는 고비용 대안(TopiCS). 본 논문은 더 저렴한 보편화 근사로 대비.
- Beyond preferences in AI alignment (Zhi-Xuan 2024) — 규칙을 문자가 아닌 규범·합의로 따르게 하는 AI alignment 동기를 공유(포지션 페이퍼, 형식 모형 없음). 본 논문이 모형을 제공.
- 보편화 (Universalization) — 개념 노트 후보.
- 계약주의 (Contractualism) — 개념 노트 후보.
- 화행 이론 (Speech Act) — 개념 노트 후보.
- Resource-rational analysis — 개념 노트 후보(자원제한 합리성).
태그
paper #2026 moral-cognition computational-modeling contractualism universalization speech-act AI-alignment resource-rational
BibTeX
@misc{kwon2026moralrules,
title={What do moral rules mean?},
author={Kwon, Joe and Wong, Lio and Tenenbaum, Josh and Levine, Sydney},
year={2026},
howpublished={PsyArXiv preprint},
doi={10.31234/osf.io/wfj4q},
url={https://doi.org/10.31234/osf.io/wfj4q}
}