뇌의 예측 재평가 — 자연 청취 중 단어 onset 이전 신경 부호화는 사전활성화(pre-activation)를 반영하지 않는다
Digest
Context. 우리가 글을 읽거나 말을 들을 때, 뇌는 단어가 도착하기도 전에 다음에 올 단어를 미리 준비한다는 “예측적 처리(predictive processing, 입력 전에 뇌가 다가올 정보를 미리 띄워놓는다는 가설)” 이론이 지난 10년간 언어신경과학을 지배해왔다. 최근 강력한 증거로 제시된 것이 LLM 기반 encoding model이다 — GPT-2 같은 언어모델이 만든 단어 벡터로 뇌 신호를 예측해보니, 단어가 들리기 1~2초 전부터 그 단어를 디코딩할 수 있었고(예: Goldstein 2022b는 onset 2초 전 신호, Caucheteux 2023은 fMRI 미래단어 예측위계), 이는 “뇌가 미리 그 단어를 활성화(pre-activation)했다”는 결정적 증거로 해석되었다.
Insight. 이 논문의 핵심 통찰은, onset 이전에 미래 단어를 디코딩할 수 있다는 사실 자체는 사전활성화의 증거가 못 된다는 것이다. 결정적 질문은 “디코딩 가능한가”가 아니라 “onset 전의 신경 표상이 onset 후 실제로 그 단어를 처리할 때의 표상과 동일한가”이다. 자연어에는 단어 간 통계적 규칙성(앞 단어가 뒷 단어와 의미가 겹침)이 깔려 있어서, 뇌가 과거 단어를 계속 쥐고 있기만 해도 미래 단어가 디코딩되는 착시가 생긴다. 저자들은 이를 검증할 도구로 **temporal generalization(TG, 한 시점에서 학습한 디코더를 다른 시점에 적용해 표상이 시간축으로 안정적으로 이어지는지 보는 교차일반화 행렬)**를 도입했다.
Solution & Evidence. MEG(자기뇌파, 밀리초 단위 시간해상도, 3명·Sherlock 청취·80,472단어)와 ECoG(피질뇌파, 9명·podcast·high-gamma 70-200Hz)에 GPT-2-small 임베딩을 ridge regression으로 정렬했다. (1) 선행연구처럼 pre-onset 인코딩은 재현됐고, 자극 상관을 통제(앞 8단어 직교화·bi-gram 제거)한 뒤에도 지속됐다 — 즉 단순 confound는 아니다. (2) 그러나 TG 분석에서 onset 후 ~300ms 표상은 onset 전 표상과 안정적으로 중첩되지 않았고, decorrelation 후엔 그 약한 중첩마저 사라졌다 → pre/post 표상은 별개다(사전활성화라면 같아야 한다). (3) 결정적으로, 진짜 미래 단어(d=+1)는 onset 시점에 예측력 향상(ΔR)이 없다가 inter-word interval(단어 간 간격, 230-240ms)이 지난 ~250ms 후에야 ΔR>0이 된 반면, 과거 단어(d=-1)는 onset 즉시 ΔR>0이었다 — 시간적으로 명백히 비대칭이다. 만약 뇌가 단어를 미리 활성화했다면 미래 효과는 onset에 앞서 나타나야 하는데, 오히려 뒤늦게 나타났다. 이는 “예측(prediction)“이 아니라 **postdiction(이미 지나간 단어의 표상이 뇌에 잔류·지속되는 현상)**의 신호다(Gwilliams 2018·Szewczyk 2022 지지).
Implication. “LLM이 onset 전 신호를 잡았다 = 뇌가 예측한다”는 추론은 성립하지 않으며, encoding model 결과는 표상 동일성까지 검증해야 비로소 해석 가능하다.
Limitations & Open Questions. 참가자 수가 매우 적다(MEG 3명, ECoG 9명). 자연어의 모든 통계적 규칙성을 직교화로 완벽히 제거할 수는 없어 잔여 confound 가능성이 남는다. “pre-activation 없음”은 이 시간·표상 척도에서 그렇다는 것이지 모든 형태의 예측을 배제하진 않는다. fMRI(Caucheteux 2023)의 미래단어 효과가 MEG/ECoG에서 사라지는 이유로 저자들은 fMRI의 느린 BOLD와 1.5초 TR 평균이 단어 단위 예측이 아니라 supra-word/맥락 의미(Toneva 2022)를 포착하기 때문이라 본다 — 그렇다면 모달리티의 시간해상도가 곧 ‘prediction’의 정의를 바꾸는가?
섹션별 요약
Abstract
뇌의 예측적 처리(predictive processing) 이론은 뇌가 다가올 입력을 지속적으로 예측한다고 제안하지만, 자연어 이해 중 예측적 사전활성화(predictive pre-activation)에 대한 직접적인 신경 증거는 아직 제한적이고 논쟁적이다. 선행 연구들은 fMRI와 ECoG에 LLM 기반 encoding model을 적용해 단어 onset 이전에 다가올 단어를 부호화하는 것처럼 보이는 신호를 보고했으나, 이는 자극 내 상관 구조나 신경 활동의 자기상관(autocorrelation)에서 기인할 수 있다. 본 연구에서는 MEG와 ECoG를 활용한 자연적 청취 실험으로 이 문제를 재검토하였으며, 자극 상관을 통제한 뒤에도 pre-onset encoding 효과가 지속됨을 확인했고, 시간적 일반화(temporal generalization) 분석을 통해 pre-onset 표상과 post-onset 표상 간에 안정적인 중첩이 없음을 발견했다. 이는 pre-onset 활동이 다음 단어의 사전활성화를 반영하는 것이 아님을 시사하며, 오히려 명확한 postdiction 서명(signature)이 관찰되었는바 신경 활동이 이미 들린 단어들의 지속적 부호화를 반영함을 보여준다. 이 결과들은 LLM 기반 encoding model 해석에 주의를 촉구하며, 언어 이해에서 “예측”이 무엇을 의미하는지에 대한 보다 정교한 이해의 필요성을 강조한다.
저자 contribution
- MEG와 ECoG를 통해 선행 연구(ECoG, fMRI)의 pre-onset encoding 효과를 재현하되, 자극 상관 및 autocorrelation 통제 후에도 효과가 지속됨을 실증한다.
- 시간적 일반화(temporal generalization) 분석을 통해 pre-onset 표상과 post-onset 표상 간 안정적 중첩이 없음을 보여줌으로써, pre-onset 신호가 다음 단어의 사전활성화(pre-activation)가 아닌 과거 단어의 지속적 부호화(postdiction)임을 확립한다.
- LLM 기반 encoding model이 보고하는 겉보기 예측 신호가 실제 predictive pre-activation이 아닌 postdiction에서 비롯될 수 있음을 경고하며, 언어 이해에서 “예측” 개념의 재정의를 촉구한다.
왜 이 연구를 하는가?
언어 이해 중 뇌가 다음 단어를 미리 활성화한다는 predictive pre-activation 가설은 신경언어학의 핵심 쟁점이지만, 이를 뒷받침하는 기존 증거는 두 가지 결정적 약점을 지닌다. pre-onset 신경 신호가 실제 예측의 반영인지, 아니면 자극 음향·임베딩 간 통계적 상관(stimulus confound)이나 낮은 시간 해상도 영상 기법의 자기상관 artifact인지 구분하지 못한 채 ‘예측’으로 해석되어 왔기 때문이다. N400과 같은 전통적 지표는 사전 활성화와 사후 통합 모두를 반영하므로 두 계정을 분리할 수 없고, 선행 RSA 연구는 인위적 1초 공백을 요구해 생태학적 타당성이 낮으며, fMRI는 시간 해상도 자체가 이 구분을 허용하지 않는다. 따라서 자연적 청취 환경에서 고시간해상도 모달리티(MEG·ECoG)와 LLM 임베딩을 결합하여 자극 상관을 명시적으로 통제하고 Temporal Generalization 분석으로 pre/post-onset 표상의 동일성 여부를 직접 검증하는 것이 필수적이다. 이 연구가 제기하는 두 질문 — 재현 가능성과 진정한 pre-activation 여부 — 에 대한 답은 예측적 처리 이론의 타당성뿐 아니라, LLM 기반 encoding 모델을 신경과학적 도구로 사용할 때 요구되는 방법론적 엄밀성의 기준을 설정한다는 점에서 중요하다.
Introduction
뇌의 predictive processing(예측적 처리) 가설은 신경과학의 핵심 이론으로, 뇌가 맥락과 과거 경험을 바탕으로 다가올 입력을 지속적으로 예측한다고 주장한다(Clark, 2013; Friston, 2010). 언어 처리 영역에서는 이러한 예측이 특히 중요하게 여겨지며, 예측 가능한 단어일수록 반응 시간과 독해 시간이 짧아지고(Smith and Levy, 2013; Traxler and Foss, 2000), N400 ERP 반응이 감소하는 등 행동·신경 수준의 풍부한 증거가 축적되어 있다(DeLong et al., 2005; Kutas et al., 2011). 그러나 예측이 구체적으로 어떤 형태를 취하는지에 대해서는 견해가 갈린다. 한편에서는 다음 단어의 의미적·통사적·음운적 특징이 단어 제시 전에 능동적으로 활성화된다는 predictive pre-activation 설명을 지지하지만(Federmeier, 2007; Antonello and Huth, 2024), 다른 한편에서는 예측이 단어를 맥락과 통합하는 표상의 반영일 뿐 사전 활성화와는 무관하다는 주장도 있다(Kuperberg and Jaeger, 2016). 이 두 설명을 전통적 신경 지표인 N400으로 구분하기 어려운 이유는 N400이 pre-activation과 사후 통합(post-hoc integration) 모두를 반영하기 때문이다(Kutas and Federmeier, 2011).
이 논쟁을 해소하기 위한 중요한 시도로, Wang et al. (2020, 2024)은 representational similarity analysis(RSA)를 활용해 고도로 예측 가능한 단어 직전의 EEG 패턴이 해당 명사의 생물성(animacy) 정보를 담고 있음을 보였다. 그러나 이 패러다임은 목표 단어 앞에 1초의 공백을 필요로 했고, 이 간격이 참가자들로 하여금 자연스러운 이해 상황에서는 발생하지 않는 전략적·비자연스러운 예측 과정을 유도했을 가능성이 있다. 최근에는 대규모 MEG·ECoG 데이터와 대형 언어 모델(LLM) 임베딩이 결합되면서 자연적 언어 청취 상황에서 예측적 처리를 검증할 새로운 기회가 열렸다. Goldstein et al. (2022b)은 고해상도 ECoG를 이용해 자연 발화 청취 중 단어 onset 최대 2초 전부터 해당 단어의 표상이 신경 신호에서 관찰된다고 보고했으며, Caucheteux et al. (2023)은 fMRI에서 미래 단어 임베딩을 포함한 모델이 뇌 활동 예측력을 높인다며 이를 위계적 예측의 증거로 해석했다.
그러나 두 선행 연구는 각각 심각한 방법론적 한계를 안고 있다. 첫째, Schönmann et al. (2025)은 pre-onset 신호가 실제 예측적 사전 활성화가 아니라 자극 내 통계적 규칙성, 즉 인접 단어 임베딩 간 상관이나 공존하는 음향 특징에서 비롯될 수 있음을 지적했다. 다시 말해 모델이 신경 활동이 아닌 자극의 음향학적 규칙성을 예측하더라도 유사한 pre-onset 패턴이 나타날 수 있다. 둘째, Caucheteux et al. (2023)은 시간 해상도가 본질적으로 낮은 fMRI를 사용하면서 단어 임베딩을 1.5초 반복 시간(TR) 단위로 평균하여, 이 시간적 평활화가 자기상관(autocorrelation)을 유발하고 외견상 예측 효과를 과장했을 수 있다. 이러한 confound들은 기존 연구에서 pre-activation과 postdiction(사후 처리)을 구분하지 못하게 만드는 핵심 문제다.
본 연구는 이 두 가지 혼입 가능성을 직접 검토하기 위해 multimodal 접근을 채택하여 두 가지 핵심 질문을 제기한다. (1) 이전에 보고된 pre-activation 신호가 서로 다른 데이터셋과 신경영상 모달리티(MEG 및 ECoG)에 걸쳐 재현되는가? (2) 자극 상관 및 시간적 자기상관 confound를 통제한 후에도 해당 신호가 진정한 predictive pre-activation을 반영하는가, 아니면 postdiction(이전 단어의 지속적 표상)에 불과한가? 저자들은 약 10시간 분량의 내러티브 청취 MEG 데이터와 Goldstein et al. (2022b)과 동일한 ECoG 데이터셋에 LLM 기반 단어 임베딩을 정렬함으로써 이 질문들에 답하고자 한다.
Methods
프레임워크 개요 — 본 연구는 두 개의 독립적인 신경신호 데이터셋(MEG, ECoG)에 GPT-2 기반 맥락 임베딩을 적용한 ridge regression 인코딩 모델을 구축하고, Temporal Generalization(TG) 분석 및 미래/과거 단어 window 확장을 통해 pre-onset 신호의 기원을 검증한다.
핵심 구성요소
- MEG 데이터셋 (Armeni et al., 2022): 275채널 축방향 gradiometer CTF 시스템(샘플링 1200 Hz)으로 수집. 모국어 영어 사용 참가자 3명(여 1명; 35, 30, 28세)이 Sherlock Holmes 단편 10편을 수동적으로 청취. 세션당 약 1시간, 참가자당 약 10세션. MNE-Python v.1.6.1로 전처리; ICA로 안구운동·심장 아티팩트 제거, 0.1–40 Hz 영대역 통과 필터(zero-phase non-causal FIR) 적용.
- MEG 소스 재구성: FreeSurfer를 이용해 3T MRI 기반 단일층 boundary element model(BEM) 산출. LCMV(linearly constrained minimum variance) beamformer(unit-noise-gain, Tikhonov regularization 10% 적용)로 소스 재구성. Destrieux Atlas 기반 150 소스 영역 산출 후 참가자별 소스 포인트 평균.
- ECoG 데이터셋 (Zada et al., 2025): 뇌전증 환자 9명, 총 1,330 전극(grid, strip, depth)에서 기록. “This American Life” 팟캐스트 30분 청취. 고감마(high-gamma) 70–200 Hz 광대역 파워 추출 데이터 사용. 512 Hz → 150 Hz 다운샘플링 외 추가 전처리 없음.
- Word Embeddings: 사전학습 GPT2-small(12개 은닉층, Radford et al., 2019)의 8번째 층 은닉 상태(x ∈ ℝ^768)를 사용. 문맥 window 크기 50 토큰([w_{i-49}, …, w_i])으로 청크 입력. 8번째 층이 12번째 층보다 인코딩 성능이 근소하게 높아 채택. 다중 토큰 단어 제외 후 총 80,472 단어(MEG) / 4,708 단어(ECoG 단일 세션). 비맥락적 대조 임베딩으로 GloVe (Wikipedia 2014, 300차원) 사용. MEG·ECoG 공통으로 PCA 50차원 축소(학습셋 기준 산출 → 테스트셋 적용), 최종 예측변수 X ∈ ℝ^{N×50}.
- 인코딩 모델 및 brain score: MEG 시계열을 100 ms 직사각형 윈도우로 평활화 후, 단어 발화 시점 기준 [-2, +2 sec] 윈도우 내 151 시점으로 에포킹 및 다운샘플링 → 목표 행렬 Y ∈ ℝ^{N×151}. 각 시점 t별로 ridge regression을 독립적으로 적합: X를 예측변수, 해당 시점의 뇌 반응을 목표로 사용. 정규화 파라미터 λ는 자유도 공간([1, N]) SVD 분해(X = USVᵀ) 기반 Newton’s method + **Leave-One-Out Cross-Validation(generalized cross-validation)**으로 탐색하며, 전극/소스·세션·참가자에 걸쳐 안정적이어서 데이터셋당 고정값 사용. 모델 적합은 5-fold CV(학습 80%, 테스트 20%), 과적합 방지를 위해 학습셋·테스트셋 시간적 분리(temporal separation). 각 단어·시점에서 예측값과 실제 뇌 반응의 Pearson 상관계수를 전체 단어에 걸쳐 평균하여 brain score R 산출.
- Temporal Generalization(TG) 분석: 시점 t_i에서 학습한 인코딩 모델로 시점 t_{i+n}의 뇌 반응을 예측하고 brain score를 계산. 이를 151개 전체 시점 쌍에 대해 수행하여 151×151 TG 행렬 산출. 대각선 이외 원소가 유의할 경우, pre-onset과 post-onset 시점이 동일한 표상을 공유함을 의미.
- 미래/과거 단어 window 확장 분석: 현재 단어 임베딩 x_i에 미래(d > 0) 또는 과거(d < 0) 단어 임베딩을 연결하여 확장 임베딩 z_i^d = x_{i+d} ⊕ x_{i+d-1} ⊕ … ⊕ x_i 구성. z_i^d 및 x_i 각각 PCA 50차원 축소 후 연결. Brain score 변화량 **ΔR = R(ẑ ⊕ x̂) − R(x̂)**로 미래/과거 단어 정보의 예측 기여를 정량화.
- MEG 소스 선택: 뇌 전체 brain score 산출을 위해 참가자당 30개 소스 선별. Double-dipping 회피를 위해 나머지 두 참가자의 brain score 평균으로 소스 순위 산출 후, 상위 30개 소스를 세 번째 참가자에 적용.
입력 → 출력 흐름 — 원시 신경신호(MEG 275채널 / ECoG 1,330전극)가 전처리·소스 재구성을 거쳐 Y ∈ ℝ^{N×151}로 변환된다. 병렬로, 스토리 텍스트가 GPT-2-small tokenizer → 8번째 층 768차원 임베딩 → PCA 50차원 축소를 거쳐 X ∈ ℝ^{N×50}가 된다. Ridge regression이 X를 입력받아 시점별 뇌 반응 Ŷ를 예측하고, Pearson 상관계수로 brain score R을 산출한다.
기존 방법과의 차별점 — (1) 고시간해상도 멀티모달: fMRI 기반 선행연구와 달리 MEG·ECoG 두 양식을 병행해 밀리초 단위 신경 역학을 직접 포착. (2) 자극 자기상관 통제: 미래/과거 window 확장 시 ΔR 방식으로 자극 자기상관에 의한 허위 pre-onset 향상을 분리. (3) TG로 표상 동일성 직접 검증: brain score 크기만이 아니라 pre-onset과 post-onset이 동일 표상을 공유하는지 직접 검증해 pre-activation 가설과 postdiction 가설을 구분.
발견 (Findings)
- Pre-onset 인코딩의 재현 및 confound 통제: Word onset 최대 1초 전부터 양의 brain score가 MEG·ECoG 양 양식에서 재현되었으며(Fig. 2b), 직전 8단어 직교화(decor_X) 및 bi-gram 제거(noBigram) 후에도 효과가 지속되어 이웃 임베딩 간 상관이나 반복적 언어 규칙성이 이 신호의 주요 원인이 아님을 확인하였다. 그러나 이 결과만으로는 pre-onset 신호가 진정한 예측적 사전-활성화를 반영하는지는 판단할 수 없다.
- TG 분석이 드러낸 pre/post-onset 표상의 불일치: Post-onset 정점(~300 ms)에서 학습된 인코더는 pre-onset 구간에서 최대 ~400 ms 이내의 좁은 창으로만 일반화되었고(Fig. 3b), decorrelation 후 이마저 사라졌다(Fig. 4). Pre-onset 인코딩 자체는 유지되었으므로, pre-onset 신호는 word onset 이후 단어 처리 시 동원되는 것과 구별되는 독립적 신경 표상에 기반한다. 이는 pre-onset 인코딩이 예측적 사전-활성화가 아님을 직접적으로 시사한다.
- Future/Past 단어 임베딩의 비대칭: 미래 단어(d=1) 임베딩 추가는 현재 word onset에서 brain score를 전혀 향상시키지 않았고, 향상은 약 250 ms 이후(즉, inter-word interval ~230-240 ms 이후, 해당 단어를 실제로 들은 뒤)에야 나타났다(Fig. 5a, b). 반면 과거 단어(d=-1)는 onset에서 즉각적인 ΔR 향상을 보였다(Fig. 5c). 이 강력한 비대칭은 뇌가 다가올 단어를 사전-활성화하는 것이 아니라, 이전 단어의 표상을 onset 이후까지 지속적으로 유지(postdiction)함을 나타낸다. MEG·ECoG·IFG 특화 분석·편향 소스 선택 모든 조건에서 일관되게 재현되었다.
Results
Part 1 — Encoding model 및 Brain score 도입 (Fig. 1, Fig. 2a)
GPT-2 임베딩을 각 시점의 뇌 신호에 선형 회귀로 매핑하여 brain score R(예측-실제 반응 간 상관)을 산출하였다. MEG에서는 거의 모든 영역에서 양의 상관이 확인되었으며, 좌측 측두이랑(temporal gyri)과 하전두회(inferior frontal regions, IFG)에서 최강 효과가 나타났다(Fig. 2a). ECoG 역시 모든 전극에서 양의 인코딩을 보였고, 최대 brain score는 MEG보다 높았으며(ECoG 최대 R ≈ 0.45, MEG ≈ 0.16, Fig. 2a colorbar), 좌 IFG 및 측두-두정 접합부(temporoparietal junction)에서 가장 강하게 나타났다. 시간 프로파일 상 인코딩은 word onset 후 약 300 ms에서 정점을 이루었다(Fig. 2b). MEG 세션별 분석(~1시간/세션)에서 개별 참가자의 brain score는 세션 간 안정적이었으며 10시간 전체 훈련 결과와 비교 가능하였다(Fig. S1). ECoG는 참가자 간 전극 커버리지 차이로 더 큰 개인차를 보였다(Fig. S2).
Part 2 — Word onset 이전 pre-onset 인코딩 (Fig. 2b, Fig. S1, S3, S4)
Word onset 최대 1초 전부터 양의 brain score가 관찰되었으며, 예측 가능한 단어(predictable words)에서 예측 불가능한 단어보다 pre-onset 인코딩이 더 강하게 나타났다(Fig. S1). 이웃 단어 임베딩 간 상관을 제거하기 위해 직전 8개 단어(~2초)의 영향을 직교화(decorrelation)하였을 때, MEG의 pre-onset 인코딩은 거의 변화 없이 유지되었다(Fig. 2b, decor_X 조건). 다만 ECoG에서 관찰되던 baseline offset은 사라졌으며, 이는 해당 offset이 인접 임베딩 간 공유 표상의 인코딩을 반영함을 시사한다. 반복 bi-gram을 제거한 조건(decor_X noBigram)에서는 pre-onset 인코딩이 소폭 감소하였으나 효과는 지속되었다(Fig. 2b). 전처리에 사용된 FIR 필터의 진폭은 100 ms 이내에 0에 수렴하여, pre-onset 신호가 temporal smearing에서 비롯된 인공물이 아님을 확인하였다(Fig. S3).
Part 3 — Pre- 및 Post-onset 인코딩의 표상 불일치 (Fig. 3, Fig. 4)
Pre-onset 인코딩이 word onset 이후와 동일한 신경 표상을 반영하는지 검증하기 위해 Temporal Generalization(TG) 분석을 수행하였다. [-2, 2] 초 창에서 훈련된 인코더를 다른 시점에서 검증한 결과, TG 행렬은 전반적으로 강한 대각 구조를 보여 신경 표상이 시간에 따라 동적으로 변함을 확인하였다(Fig. 3a). Post-onset 인코딩 정점(~300 ms)에서 훈련된 모델은 pre-onset 구간에서 최대 ~400 ms 이내의 좁은 창에서만 일반화되었으며, 그 이전 pre-onset 구간으로는 거의 일반화되지 않았다(Fig. 3b). Decorrelation 후 이 작은 일반화마저 사라졌고, pre-onset 인코딩은 오히려 증가하여 유지되었다(Fig. 4). 이는 pre-onset과 post-onset이 서로 구별되는 신경 표상에 기반함을 직접적으로 보여준다. 또한 TG 행렬에서 대각선으로부터 약 1초 떨어진 위치에서 음성 일반화 영역이 관찰되었으나, 이는 신경 코드의 단순한 부호 반전이 아님을 보완 분석에서 확인하였다(Fig. S6).
Part 4 — 미래/과거 단어 임베딩의 비대칭적 효과 (Fig. 5)
Caucheteux et al. (2023)의 fMRI 결과를 재검증하기 위해, 현재 단어(d=0)에 미래 단어(d=+1 이상) 또는 과거 단어(d=-1 이하) 임베딩을 추가하여 ΔR을 비교하였다. 미래 단어 임베딩(d=1)을 추가해도 현재 word onset 시점에서는 brain score가 향상되지 않았다. 향상은 현재 word onset 이후 약 250 ms부터 나타났으며(Fig. 5a, b), 평균 inter-word interval이 230-240 ms임을 감안하면 이는 그 미래 단어가 실제로 청취된 이후의 반응을 반영한다. 더 먼 미래 단어(d=2, 3, …)의 경우 ΔR 상승 시점도 해당 inter-word interval의 배수 이후로 순차적으로 지연되었다(Fig. 5b). 반면, 과거 단어(d=-1) 임베딩을 추가하면 현재 word onset에서 즉시 ΔR>0이 나타났으며, 더 먼 과거일수록 기여가 점차 감소하였다(Fig. 5c). 이 past/future 비대칭은 MEG와 ECoG 모두에서 일관되게 관찰되었다. IFG에 특화된 ECoG 전극 분석(Fig. S9) 및 미래 단어 인코딩 편향 MEG 소스 선택 분석(Fig. S8; [0, 230] ms 창 강화 소스만 사용)에서도 미래 단어로 인한 onset-시점 향상은 나타나지 않았고, 과거 단어 임베딩으로 인한 향상만 재현되었다.
Discussion
이 논문의 Discussion은 pre-onset 신경 신호가 예측적 사전활성화(predictive pre-activation)를 반영하지 않는다는 핵심 주장을 네 가지 논거로 전개한다.
첫째, 저자들은 Goldstein et al. (2022b)의 ECoG 결과를 재현하면서도 주요 confound들을 배제했다. Schönmann et al. (2025)이 제안한 인접 embedding 간 유사도 문제를 통제하기 위해 연속 embedding을 직교화했으나 pre-onset 효과는 사라지지 않았고, bi-gram을 제거해도 마찬가지였다. 다만 저자들은 한계를 명시적으로 인정한다: 자연어에 내재된 모든 규칙성(예: 장거리 공기어 co-occurrence)을 완전히 제거하는 것은 자연주의적 맥락에서 구조적으로 불가능하다.
둘째, Temporal Generalization(TG) 분석을 통해 pre-onset 활동이 능동적 예측 표상을 반영하지 않음을 직접 검증했다. pre-onset 신호와 post-onset 활동 간의 표상적 유사성(겹침)은 embedding 간 상관을 제거하자 소멸했으며, TG 행렬의 강한 대각 구조는 어휘 표상이 고도로 동적으로 변함을 보여준다(Gwilliams et al., 2022, 2025). 이는 예측 표상이 단어 제시 이후까지 안정적으로 유지될 안정적 표적이 존재하지 않음을 시사한다.
셋째, 미래 단어 embedding 포함 여부를 검토한 결과, MEG 및 ECoG에서는 다음 단어(w_{i+1}) embedding을 추가해도 현재 단어(w_i)의 신경 반응 encoding이 향상되지 않았다. 이는 Caucheteux et al. (2023)의 fMRI 결과와 상반된다. 저자들은 이 불일치를 양상(modality) 간 시간 해상도 차이로 설명한다: fMRI는 느린 혈역학 반응(Logothetis, 2008)과 약 1.5초 TR 평균화로 인해 8개 단어 수준의 문장·맥락적 의미를 포착하는 반면, MEG/ECoG는 밀리초 단위 순간적 어휘처리를 직접 반영한다(Toneva et al., 2022: fMRI = supra-word, MEG = lexical). 따라서 fMRI에서 관찰되는 미래 단어 효과는 특정 단어의 예측적 사전활성화라기보다 맥락적·의미론적 표상의 pre-activation일 가능성이 있으며, 이 해석은 추가 검증이 필요하다.
넷째, 과거 단어 embedding을 포함하면 MEG/ECoG encoding이 향상된다는 결과(Fig. 5b, Fig. S10 — GPT 및 static GloVe 모두)는 선행 단어 표상이 시간이 지나도 활성 상태를 유지함을 보여준다. 이는 뇌가 들어오는 정보를 바탕으로 이전 자극의 해석을 점진적으로 정제한다는 postdictive processing 이론(Gwilliams et al., 2018; Hogendoorn, 2022; Szewczyk et al., 2022)을 지지한다.
저자가 인정한 한계 — 자연언어에 내재된 모든 규칙성(장거리 공기어 관계 등)은 자연주의 패러다임에서 완전히 제거할 수 없어 잔여 규칙성이 pre-onset 효과에 기여할 가능성을 완전히 배제할 수 없다. 분석은 단어 수준 embedding에 집중했으며 문장·담화 수준 예측 메커니즘을 포괄하지 않았다. (독자 식별) 세 명의 native English 화자 MEG 데이터에 기반해 일반화 범위에 주의가 필요하고, TG가 전제하는 선형 가정이 비선형 표상을 충분히 포착하지 못할 수 있다.
향후 방향 — fMRI의 미래 단어 효과가 특정 어휘 예측인지 맥락 수준 의미 표상의 pre-activation인지를 명확히 구분하는 후속 실험이 필요하다. 또한 현재 encoding model이 실제로 포착하는 것이 무엇인지, “예측(prediction)“의 신경과학적 증거로 인정하기 위한 더 명확한 기준을 수립하는 이론적·방법론적 작업이 요구된다.
이론적 의의
- Postdiction 이론의 전기생리학적 지지: MEG/ECoG의 pre-onset 신호가 능동적 예측 표상이 아니라 과거 단어 표상의 지속적 활성화(reverberation)를 반영한다는 발견은, 뇌가 미래를 예측하기보다 과거 입력의 해석을 실시간으로 정제한다는 postdictive processing 가설(Gwilliams et al., 2018; Hogendoorn, 2022; Szewczyk et al., 2022)을 전기생리학적 수준에서 직접 뒷받침한다.
- Encoding model 해석에 대한 경고: TG 행렬의 대각 구조와 미래 단어 효과의 양상 간 불일치는, LLM 기반 encoding model이 “예측적 사전활성화”를 포착한다는 해석이 분석 단위·시간 해상도·embedding 간 상관 구조에 의해 오염될 수 있음을 보여준다. encoding model이 측정하는 것이 무엇인지에 대한 방법론적 검토 없이 결과를 예측 메커니즘의 증거로 사용하는 것은 재고가 필요하다.
- ‘Prediction’ 정의 재평가의 필요성: fMRI와 MEG/ECoG 간의 미래 단어 효과 불일치는 “예측”이라는 단일 개념이 실제로는 적어도 두 층위 — 밀리초 단위의 순간적 어휘처리와 초 단위의 맥락·의미 통합 — 를 혼재시키고 있음을 시사한다. 어떤 시공간 척도에서 어떤 표상이 예측의 표적인지 명확히 정의하지 않은 채 “뇌는 예측한다”는 주장을 하는 것은 이론적 정밀도를 결여한다.
Discussion Points
- 논쟁점: pre-onset 인코딩의 강도와 예측 가능성 조절 효과(Fig. S1)는 선행 연구(Goldstein et al., 2022b)와 일치하나, 이것이 예측적 사전-활성화를 반영한다는 해석과 postdiction으로 충분히 설명된다는 해석 사이에 직접적 긴장이 존재한다. 또 fMRI(Caucheteux et al., 2023)에서는 미래 단어 임베딩이 인코딩을 향상시키는 반면 MEG·ECoG에서는 향상이 없어, 모달리티 간 비교 해석에 논쟁을 야기한다.
- 검증 필요 가정: pre-onset 신호가 “이전 단어의 지속적 표상”(postdiction)에서 온다는 주장은, 과거 단어 표상이 실제로 현재 onset 시점에서 유지 중임을 독립적인 방법(RSA, multivariate decoding)으로 확인해야 완전히 성립한다. Bi-gram 제거로도 남는 pre-onset 잔류가 장거리 동시출현·구문 구조 상관에서 기인하는지도 미통제다. TG 직교화 절차가 진짜 공유 표상을 제거하지 않는다는 가정도 시뮬레이션 검증이 필요하다.
- 후속 연구: 단어 예측 가능성을 실험적으로 조작한 패러다임(cloze probability 제어, 인공 문법)에서 TG 및 future/past 비대칭 분석을 반복해 예측-vs-postdiction 기여를 분리하고, fMRI TR 단위로 MEG brain score를 시간 평균화해 모달리티 간 미래단어 효과 불일치가 시간 해상도 차이에서 비롯되는지 직접 비교할 필요가 있다.
실험 결과 상세
| 양식/분석 조건 | 데이터셋 | 지표 | 결과 | 베이스라인 대비 |
|---|---|---|---|---|
| GPT-2 인코딩 (original) — 공간 피크 | MEG | Brain score R (최대 영역) | ~0.16 (좌측 측두엽·IFG) | — (기준선) |
| GPT-2 인코딩 (original) — 공간 피크 | ECoG | Brain score R (최대 전극) | ~0.45 (좌측 IFG·TPJ) | MEG 대비 약 +0.29 |
| GPT-2 인코딩 (original) — 시간 피크 | MEG + ECoG | Brain score R @ 시간 피크 | ~0.07–0.08 (발화 후 ~300 ms) | — |
| 인코딩 — 발화 전 (~1 s 전) | MEG + ECoG | Brain score R @ −1 s | 유의미하게 양수 (~0.01–0.02) | 0 대비 양수 (pre-onset 효과 확인) |
| 임베딩 탈상관 (decor_X, 이전 8단어 직교화) | MEG | ΔBrain score vs. original | 발화 전 인코딩 거의 변화 없음; 피크 소폭 감소 | original 대비 negligible pre-onset 감소 |
| 임베딩 탈상관 (decor_X) | ECoG | ΔBrain score vs. original | 기저선 오프셋 제거; 발화 전 인코딩 유지 | baseline offset 제거, pre-onset 효과 지속 |
| 반복 바이그램 제거 (decor_X noBigram) | MEG + ECoG | Brain score R | 소폭 감소, 발화 전 효과 지속 | decor_X 대비 소폭 하락, 효과 잔존 |
| TG 분석 (발화 후 ~300 ms 훈련 → 발화 전 테스트) | MEG | 시간 일반화 R | 발화 전 ~400 ms 이내 협소 창에서만 일반화 | 발화 전·후 표상 불일치 확인 |
| TG 분석 (발화 후 ~300 ms 훈련 → 발화 전 테스트) | ECoG | 시간 일반화 R | MEG와 동일 패턴; 탈상관 후 미소 일반화 소멸 | 발화 전·후 독립 표상 확인 |
| 미래 단어 창 (d=+1) — 발화 시점 | MEG + ECoG | ΔR vs. d=0 | ΔR ≈ 0 at onset; ΔR > 0는 발화 후 ~250 ms부터 | 예측 사전활성화 부재 |
| 미래 단어 창 (d=+2 ~ +6) | MEG + ECoG | ΔR 프로파일 | 각 d에 대해 ΔR > 0는 해당 단어 청취 후 ~inter-word interval 배수 시점에만 등장 | 미래 단어 사전활성화 없음 |
| 과거 단어 창 (d=−1) — 발화 시점 | MEG + ECoG | ΔR vs. d=0 | ΔR > 0 발화 시점부터 즉시; d가 클수록 감소 | 과거 단어 표상 현재까지 지속 |
| GloVe 비맥락 통제 (d=−1) | MEG + ECoG | ΔR | 과거 단어 효과 재현 | GPT-2와 동일 패턴 |
| 예측 가능 vs. 예측 불가능 단어 | MEG + ECoG | 발화 전 Brain score R | 예측 가능 단어에서 더 강한 pre-onset 인코딩 (Fig. S1) | 예측 불가능 단어 대비 상승 |
프레임워크 다이어그램
graph TB A["음성 내러티브<br/>(MEG: Sherlock Holmes 10편<br/>ECoG: TAL 팟캐스트 30분)"] --> B["GPT-2-small<br/>(8번째 레이어, 768-dim<br/>50 토큰 컨텍스트 창)"] A --> C["GloVe<br/>(300-dim, 비맥락 통제)"] B --> D["PCA 차원 축소<br/>768 → 50-dim"] C --> E["PCA 차원 축소<br/>300 → 50-dim"] D --> F["임베딩 행렬 X<br/>(N × 50)"] E --> F F --> G["선형 릿지 회귀<br/>S' = Xβ<br/>GCV λ, 5-fold CV<br/>시간적 분리 train/test"] G --> H["예측 뇌 신호 S'"] I["실측 뇌 신호 S<br/>MEG 0.1-40Hz, 150Hz<br/>ECoG 고감마 70-200Hz, 150Hz"] --> J["뇌 점수 R<br/>R = Cor(S', S)<br/>151 시점 × [-2, +2]s"] H --> J J --> K["공간 지도<br/>MEG: 좌측 측두엽·IFG<br/>ECoG: 좌측 IFG·TPJ<br/>R_peak MEG~0.16 / ECoG~0.45"] J --> L["시간 프로파일<br/>피크 ~300ms 발화 후<br/>발화 전 ~1s까지 양수 R"] F --> M["임베딩 탈상관<br/>이전 8단어 직교화<br/>~2s 이전 영향 제거"] M --> G G --> N["시간 일반화 TG<br/>151×151 행렬<br/>훈련 시점 t_i → 테스트 t_{i+n}"] N --> O["발화 전·후 표상 비교<br/>발화 후 훈련 모델의 발화 전 일반화<br/>~400ms 이내 협소 창에 한정<br/>탈상관 후 미소 일반화 소멸"] F --> P["미래/과거 단어 창<br/>z_i^d = x_i ⊕ x_{i+d}<br/>d>0: 미래 단어 / d<0: 과거 단어"] P --> Q["ΔR 비교 분석"] Q --> R["과거(d<0): 발화 시점부터 즉시 ΔR>0<br/>미래(d>0): 발화 250ms 이후에만 ΔR>0<br/>→ 예측 사전활성화 없음 결론"]
재현성 및 신뢰도 평가
| 항목 | 등급 | 비고 |
|---|---|---|
| 코드 공개 | ✅ | GitHub 전체 공개: https://github.com/sahelazizpour/Linguistic_Preactivation. Python 코드 일체, 논문 내 명시적 링크 |
| 데이터 공개 | ✅ | MEG: Armeni et al. (2022) Scientific Data 공개. ECoG: Zada et al. (2025) 공개. 두 데이터셋 독립 접근 가능 |
| 하이퍼파라미터 | ✅ | 릿지 λ: GCV 자동 결정. PCA 50차원, 컨텍스트 창 50 토큰, 5-fold CV 80/20, 시간 창 [-2,+2]s → 151 시점, MEG 0.1-40Hz·100ms 스무딩 모두 Methods 상술 |
| 실험 환경 | ✅ | MNE-Python v1.6.1, scikit-learn, GPT-2-small, FreeSurfer, Destrieux Atlas 명시. OS/GPU 미기재는 경미한 흠 |
| 통계적 신뢰도 | ⚠️ | brain score SEM 시각화(Fig. 2). 그러나 공식 유의성 검정(permutation 등)·다중비교 보정 절차 미명시, 참가자 수 적음(MEG 3, ECoG 9), 단일 p-값 미보고 |
| 종합 등급 | A | 코드·데이터 완전 공개, 표준 도구, 하이퍼파라미터 완전 기술. 공식 통계검정 부재가 유일한 감점 |
주장별 신뢰도
| # | 주장 | 근거 | 신뢰도 |
|---|---|---|---|
| 1 | 발화 전 ~1초까지 단어 임베딩 인코딩이 양수로 존재 (pre-onset encoding) | MEG·ECoG 두 독립 모달리티 재현(Fig. 2b), 탈상관 후 유지, 예측가능 단어서 강함(Fig. S1), Goldstein 2022b 재현 | 🟢 높음 |
| 2 | 발화 전 인코딩은 예측적 사전활성화를 반영하지 않음 | TG에서 발화 후 모델이 발화 전 일반화 안 됨(~400ms 좁은 창), 탈상관 후 소멸(Fig. 4), 미래 단어 onset ΔR≈0(Fig. 5) | 🟢 높음 |
| 3 | 미래 단어 임베딩은 현재 발화 시점 인코딩을 향상시키지 않음 | d=+1 시 ΔR>0는 ~250ms 후에만(Fig. 5a,b); 원본 GPT-2(S7)·GloVe·IFG 전극(S9)·편향 소스 모두 동일 | 🟢 높음 |
| 4 | 과거 단어 표상은 현재 발화 시점까지 지속 | d=-1 시 발화 즉시 ΔR>0(Fig. 5c), 더 과거일수록 감소, GPT-2·GloVe 재현(S10) | 🟢 높음 |
| 5 | fMRI 미래단어 효과(Caucheteux 2023)는 MEG/ECoG서 미재현 | ~250ms 지연이 단어 간격(230-240ms)과 일치 확인; fMRI 저해상도·TR 평균이 혼입 원인으로 제시(간접 추론 포함) | 🟡 중간 |
읽기 난이도 ⭐⭐⭐ — 선형 인코딩 모델/릿지 회귀, MEG/ECoG 신호 처리, GPT-2 임베딩 추출, TG 분석 논리(King & Dehaene 2014), 예측 코딩 이론 기초의 동시 이해가 필요.
관련 연구 비교 매트릭스
| 축 | 본 논문 (Azizpour et al., 2024/2025, arXiv) [target] | Goldstein et al. 2022b (Nat. Neurosci.) [base/direct] | Caucheteux et al. 2023 (Nat. Hum. Behav.) [direct] | Schönmann et al. 2025 (bioRxiv) [alt/supporting] | Wang et al. 2020 (J. Neurosci.) [alternative] | Toneva et al. 2022 (Nat. Comput. Sci.) [alt/supporting] |
|---|---|---|---|---|---|---|
| 모달리티/데이터 | MEG + ECoG; 자연 발화 청취 (Sherlock, Podcast) | ECoG; 자연 발화 Podcast | fMRI; 자연 발화 | ECoG; 자연 발화 Podcast | MEG + EEG; 통제 패러다임(~1 s 간격) | fMRI + MEG; 자연 텍스트 읽기 |
| 핵심 주장 | pre-onset 신호 = postdiction; 미래 단어 이득은 청취 이후에만 | 다음 단어를 ~2 s 전 pre-activate | 미래 단어 임베딩이 BOLD 인코딩 향상 → 장거리 예측 위계 | pre-onset 신호 = 자극 내 음향·임베딩 상관(예측 아님) | animacy 특징의 예측적 사전활성화 확인 | fMRI=supra-word, MEG=lexical → 모달리티별 표상 분리 |
| 방법 | TG 분석 + 미래/과거 단어 인코딩 + MEG-ECoG 교차 | 인코딩 모델(GPT-2) + ECoG 시간-주파수 | 인코딩 모델(미래 컨텍스트) + fMRI GLM 위계 | 인코딩 모델 + 자극 상관 통제(surrogate) | RSA + MEG/EEG 디코딩 | 인코딩 모델 + fMRI-MEG 비교 |
| 미래/pre-onset 신호 해석 | 미래 이득 = 청취 후 소급 통합; pre-onset≠예측 | pre-onset = 능동적 사전활성화 | 미래 향상 = 예측 위계 증거 | pre-onset = 통계적 연속성(혼입) | 타깃 직전 표상 활성화 = 예측(인위적 간격) | pre-onset 직접 주장 없음 |
| 시간해상도 | MEG·ECoG ms 단위 → onset 전후 분리 가능 | ECoG ms 단위(음향 상관 통제 미흡 인정) | BOLD ~1-2 s → onset 전후 구분 불가 | ECoG ms 단위, 자연 발화 | MEG/EEG ms 단위(인위적 1s 간격으로 일반화 제한) | fMRI 저 + MEG 고 병행 |
| 한계 | 참가자 적음; 자연어 규칙성 완전통제 불가; 선형 TG 가정 | 음향·의미 상관 통제 어려움 | 예측 vs postdiction 시간 구분 불가 | bioRxiv 미심사; 잔여 예측신호 가능 | animacy 1특징 한정; 자연발화 일반화 불확실 | fMRI-MEG 피험자 상이 |
| 코드·데이터 공개 | O (GitHub: sahelazizpour/Linguistic_Preactivation; 데이터는 공개본 활용) | O (Podcast 데이터·코드 일부) | X (코드 미공개) | X (코드 미명시) | X | X |
종합 — Azizpour et al. (2024/2025)는 예측적 사전활성화의 두 핵심 증거원인 Goldstein 2022b(ECoG)·Caucheteux 2023(fMRI)을 고시간해상도 TG 분석으로 직접 반박하면서, Schönmann 2025와 함께 “pre-onset 신호 = 자극 통계 혼입 또는 postdiction”이라는 대안 해석 진영을 형성한다. Wang 2020(통제 패러다임 예측 증거)·Toneva 2022(모달리티 분리)와 함께 놓으면, 이 논문은 자연 발화 조건에서 MEG/ECoG 시간해상도를 활용해 “뇌의 예측” 해석의 방법론적 토대 자체를 재검토하는 비판 연구로 자리매김한다.
원자적 인사이트 (Zettelkasten)
💡 미래 단어를 onset 전에 디코딩할 수 있다는 것은 사전활성화의 증거가 아니다
유형: 이론적
자연어는 인접 단어 간 의미가 겹치는 통계적 규칙성을 가지므로, 뇌가 과거 단어 표상을 단순히 지속시키기만 해도 LLM encoding model은 미래 단어를 onset 이전에 디코딩한다. “디코딩 가능성”과 “사전활성화”는 논리적으로 별개의 명제이며, 전자에서 후자를 추론하는 것은 비약이다.
핵심 조건/맥락: 자극 자체의 자기상관(앞 단어↔뒤 단어)이 존재하는 모든 자연 청취/독해 상황. 단어를 무작위로 배열하면 이 착시는 사라진다.
활용 가능성: encoding/decoding 결과로 “예측”을 주장하는 모든 신경과학 논문에 적용 가능한 비판적 점검 기준.
💡 Temporal generalization은 ‘표상 동일성’을 검증하는 도구다
유형: 방법론적
한 시점에서 학습한 디코더가 다른 시점에서도 작동하는지(교차일반화)를 보는 TG 행렬은, 단순한 “디코딩 정확도”를 넘어 서로 다른 시점의 신경 표상이 같은 것인지를 판별한다. 사전활성화가 참이라면 onset 전·후 표상이 같아 TG가 대각선 밖으로 번져야 하지만, 본 연구에선 그러지 않았고(decorrelation 후 소멸) pre/post 표상이 별개임을 드러냈다.
핵심 조건/맥락: 밀리초 단위 시간해상도(MEG/ECoG)가 있어야 표상의 시간적 안정성을 측정 가능. fMRI로는 불가능.
활용 가능성: “같은 정보가 디코딩됨 ≠ 같은 표상”을 구분해야 하는 모든 시계열 신경 디코딩 연구.
💡 미래 효과의 ‘시간 지연’이 곧 예측 가설의 반증이다
유형: 실험적
진짜 미래 단어(d=+1)의 예측력 향상은 onset에 앞서 나타나지 않고 inter-word interval(230-240ms)이 지난 ~250ms 후에야 나타났으며, 과거 단어(d=-1)는 onset 즉시 효과가 있었다. 사전활성화라면 미래 효과가 onset에 선행해야 하므로, 이 past/future 비대칭과 지연은 예측이 아니라 과거 표상의 잔류(postdiction)를 가리킨다.
핵심 조건/맥락: 단어 간 간격보다 짧은 시간해상도가 있어야 “onset 전 vs 후”를 구분 가능.
활용 가능성: 시간 방향성(timing)을 결정적 증거로 삼는 예측 처리 실험 설계.
💡 모달리티의 시간해상도가 ‘prediction’의 정의 자체를 바꾼다
유형: 연결
fMRI(Caucheteux 2023)가 본 “미래단어 효과”는 밀리초급 MEG/ECoG에서 재현되지 않았다. 느린 BOLD와 1.5초 TR 평균은 단어 단위 사전활성화가 아니라 여러 단어에 걸친 맥락·의미(supra-word, Toneva 2022)를 뭉뚱그려 포착하기 때문일 수 있다. 즉 같은 데이터가 측정 도구의 시간 스케일에 따라 “예측”으로도 “맥락 통합”으로도 해석된다.
핵심 조건/맥락: BOLD의 시간 평균이 단어 경계를 넘나드는 fMRI에 특히 해당.
활용 가능성: 모달리티 간 상충하는 신경 증거를 해석할 때 “무엇을 측정했는가”를 시간 스케일로 환원하는 메타-분석 관점.
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| predictive pre-activation (사전활성화) | 단어/자극이 실제로 도착하기 전에 뇌가 그 단어의 신경 표상을 미리 띄워놓는다는 가설. 예측적 처리 이론의 핵심 메커니즘. |
| postdiction (사후예측/잔류) | 이미 지나간 단어의 신경 표상이 onset 이후에도 뇌에 일정 시간 잔류·지속되는 현상. 본 논문이 pre-onset 신호의 실제 정체로 지목. |
| encoding model / brain score | 언어모델 임베딩 같은 자극 특성으로 뇌 신호를 예측하는 회귀 모델. brain score는 예측값과 실제 신경 신호의 상관 R=Cor(예측,실제)로, 모델이 뇌를 얼마나 잘 설명하는지의 척도(본 연구 MEG |
| temporal generalization (TG, 시간 일반화) | t_i 시점에서 학습한 디코더를 t_j 시점에 적용해 만든 시점×시점 행렬(여기선 151×151). 서로 다른 시점의 신경 표상이 동일한지를 판별 — 대각선 밖으로 일반화되면 표상이 시간적으로 안정. |
| pre-onset encoding | 단어가 들리기 전 구간(본 연구 최대 1초 전)에서 그 단어를 유의하게 디코딩/인코딩할 수 있는 현상. 사전활성화의 증거로 여겨졌으나 본 논문이 재해석. |
| decorrelation (직교화) | 앞선 단어들(이전 8단어)의 표상 성분을 통계적으로 제거(직교화)해, 미래 단어 디코딩이 단순한 자극 자기상관 때문인지 가려내는 통제 기법. |
| inter-word interval (단어 간 간격) | 연속한 두 단어 onset 사이의 시간 간격(본 자극에서 230-240ms). 미래 효과가 이 간격을 넘긴 ~250ms 후에야 나타난 것이 예측 가설 반증의 핵심. |
| MEG (자기뇌파) | 뇌 신경 활동이 만드는 미세 자기장을 두피 밖에서 측정. 밀리초 단위 시간해상도(본 연구 275채널 CTF, 1200Hz). |
| ECoG (피질뇌파) | 수술 환자의 뇌 표면에 직접 전극을 놓아 측정하는 침습적 기록. 높은 시공간 해상도로 high-gamma(70-200Hz) 활동 포착(본 연구 9환자, 1330전극). |
관련 연구
- N400과 예측적 언어처리 — N400 진폭이 예측 가능성에 반응한다는 고전적 증거를, 본 논문의 “사전활성화 반증”이 어떻게 재해석하는지 대조 가능
- Brain & Cognition - MLM vs LM 프로젝트 — 사람(MLM)이 미래를 예측하는가 vs LM처럼 과거 맥락만 통합하는가라는 프로젝트 핵심 물음에 직접 닿는 반례 데이터
- LLM encoding model로 뇌 신호 예측하기 — GPT-2/GloVe 임베딩↔뇌 정렬 방법론의 한계(표상 동일성 미검증)를 보여주는 사례
- Goldstein 2022 - ECoG pre-activation — 본 논문이 직접 도전하는 선행연구(onset 2초 전 사전활성화 주장)
- fMRI 시간해상도와 맥락 의미 — Caucheteux 2023 미래단어 효과가 MEG/ECoG에서 사라지는 이유(느린 BOLD·TR 평균이 supra-word 의미 포착, Toneva 2022)와 연결
태그
paper #2024 neuroscience predictive-processing language-comprehension encoding-model MEG ECoG LLM postdiction temporal-generalization
BibTeX
@article{azizpour2024reassessing,
title={Reassessing prediction in the brain: Pre-onset neural encoding during natural listening does not reflect pre-activation},
author={Azizpour, Sahel and Westner, Britta U. and Szewczyk, Jakub and G{\"u}{\c{c}}l{\"u}, Umut and Geerligs, Linda},
journal={eLife},
pages={e110085},
year={2024},
doi={10.7554/eLife.110085.1},
eprint={2412.19622},
archivePrefix={arXiv},
primaryClass={q-bio.NC},
url={https://arxiv.org/abs/2412.19622}
}