Chapter 11. The speaking brain

82분 분량

Overview

  • 연구 배경: 음성언어는 화자의 머릿속 생각을 청자의 머릿속으로 전달하는 인간 고유의 능력으로, 사고를 문장과 단어로 변환하고 조음 명령을 거쳐 음파로 송신한 뒤 청자의 와우(cochlea)에서 다시 의미로 추론된다. 음성 인식(speech recognition)과 음성 산출(speech production)은 흔히 독립적으로 연구되지만, 실제 언어 사용은 사회적 맥락에서 화자-청자가 상호작용한다. 본 장은 친숙한 단어의 인식, 단어와 문장의 의미 도출, 그리고 음성 산출 과정을 순차적으로 다룬다.
  • 핵심 방법론:
    • **음운 어휘집(phonological lexicon)**과 어휘 접근(lexical access) 개념을 토대로 한 인지 모델링: **Marslen-Wilson & Tyler(1980)**의 코호트 모델(cohort model), 고유 지점(uniqueness point) 분석.
    • N400, P600 등 ERP(event-related potential, 사건관련전위) 성분을 이용한 의미·통사 처리의 시간적 분리(Kutas & Hillyard, 1980; Hagoort et al., 2004).
    • 의미 치매(semantic dementia), 브로카 실어증(Broca’s aphasia), 베르니케 실어증(Wernicke’s aphasia), 자가국소실인증(autotopagnosia), 명칭 실어증(anomia) 등의 신경심리학적 환자 연구.
    • fMRI(기능적 자기공명영상)와 TMS(경두개 자기자극) 연구: 측두엽-브로카 영역(IFG, inferior frontal gyrus)의 기능적 분화.
    • Levelt의 2단계 모델(lemma → lexeme)과 Dell의 상호작용 모델(Dell & Reich, 1981).
  • 주요 기여:
    • 이중경로 모델(Hickok & Poeppel, 2004) 관점에서 복측(what) 경로는 음성 이해, 배측(how) 경로는 음성-운동 변환을 담당함을 정리한다.
    • 의미 기억 표상의 본질에 대한 비양식(amodal) vs. 접지(grounded) 논쟁, 그리고 허브-스포크 모델(hub-and-spoke model; Patterson et al., 2007)의 절충적 위치를 제시한다.
    • 브로카 영역(BA 44/45)은 통사 처리, 작업 기억, 의미 인출 등 다기능적임을 입증하며, 19세기 고전 모델(Lichtheim, 1885)의 단순 입력/출력 구분을 갱신한다.
    • lemma-lexeme 구분을 통해 혀끝 현상(tip-of-the-tongue), 명칭 실어증, 음운 vs. 의미 오류를 통합적으로 설명한다.
  • 실험 결과:
    • Kanzi(피그미 침팬지)는 lexigram 상징으로 의사소통하나 주로 음식 요청에 국한된다(Savage-Rumbaugh et al., 1986; Seidenberg & Petitto, 1987).
    • Hagoort et al.(2004): “네덜란드 기차는 노란색이다/흰색이다/시큼하다” 문장에서 의미적 부적절성에 따른 N400 진폭 증가 — 단어 지식과 세계 지식이 함께 작용함을 입증한다.
    • Caramazza & Zurif(1976): 브로카 실어증 환자는 의미적으로 가역적인 문장(“개가 물고 있는 고양이는 검다”)에서만 그림-문장 짝짓기에 어려움을 보인다(약 50% 정도).
    • Friederici et al.(2006b): 통사 복잡도가 증가할수록 BA 44(브로카 영역 후부)의 활성이 증가한다.
    • Levelt et al.(1991): “sheep”은 의미 연관어 “goat”를 점화하지만, “goat”의 음운 유사어 “goal”은 점화하지 않아 lemma와 lexeme 단계의 분리를 지지한다.
  • 의의 및 한계:
    • 언어 처리는 단일 모듈이 아닌 분산된 네트워크(좌측 IFG, 측두엽 전-후 부분, 도엽, 기저핵, 소뇌)의 협업이며, 의미·통사·음운이 부분적으로 분리 가능하다.
    • 그러나 N400과 P600의 정확한 인지적 의미, 의미 기억의 비양식/접지 문제, lemma-lexeme의 분리/상호작용성 여부는 여전히 논쟁 중이다.
    • 19세기 브로카/베르니케 이분법은 환자의 실제 결손 양상과 정확히 일치하지 않으며 — 브로카 실어증 환자는 산출뿐 아니라 이해에도 결손을 보이고, 베르니케 실어증 환자는 입력뿐 아니라 신조어 산출 결손도 동반한다(Caramazza & Zurif, 1976; Ellis et al., 1983).

📋 목차

대단원 구조

  1. Chapter 11 The speaking brain — 도입: 음성언어의 산출과 인식 경로, 사회적 측면
  2. Spoken Word Recognition — 음성 단어 인식
  3. Semantic Memory and the Meaning of Words — 의미 기억과 단어의 의미
  4. Understanding and Producing Sentences — 문장 이해와 산출
  5. Retrieving and Producing Spoken Words — 음성 단어 인출과 산출

Chapter 11 The speaking brain

Summary

음성언어는 화자의 사고를 문장과 단어로 변환하고 조음 명령을 거쳐 음파로 송신한 뒤, 청자의 와우(cochlea, 내이의 일부)에서 다시 의미로 추론되는 일련의 과정이다. 음성 인식(speech recognition)과 음성 산출(speech production)은 분리해서 다루기 편하지만, 실제 언어의 원동력은 사회적 의사소통이며 청자의 지식·믿음을 추론하는 능력을 전제로 한다. 본 장은 친숙한 단어의 인식, 단어·문장 의미 도출, 그리고 산출 과정을 순서대로 다룬다.

The ability to produce, perceive, and comprehend speech is a remarkable human achievement. In the most simplistic terms, spoken language is concerned with transferring ideas from one person’s head to another person’s head with the common physical link being the vibration of molecules in the air. It involves the transformation of thoughts into sentences and words and, ultimately, a series of articulatory commands sent to the vocal apparatus. These sound waves then produce mechanical changes on the cochlea (part of the inner ear) of the listener. These are perceived as speech and the words, sentences and meaning are inferred from this input.

However, it is important to recognize that the driving force behind human language is to communicate ideas to the people around us. Outside of the laboratory, speech production normally only exists when someone else is around to engage in the complementary process of speech recognition. This social aspect of language implies that we are able to deduce what other people know, what they believe and what they do not know. It is highly questionable whether the vocalizations of other animals could be said to be “true language” in this sense.

📊 그림 설명

음성 산출(왼쪽)과 음성 이해(오른쪽)의 주요 단계를 보여주는 단순 도식이다. 산출 경로는 의사소통 의도 형성 → 어휘-의미 선택 + 문장 구성 → 음운 코드 인출 → 조음 계획(음절화) → 운동-조음 루틴 실행으로 이어지며, 이해 경로는 초기 청각 처리 → 음성 인식 → 음성 단어 인식 → 단어 의미 인출 → 문장 파싱·이해 → 화자·세계 지식 통합으로 진행된다. 두 화자의 머리 사이의 점선 화살표는 공기 중 음파가 양방향 변환의 물리적 매개체임을 나타낸다.

시험 팁

음성 산출의 5단계: ① 의사소통 의도 → ② 어휘-의미 선택 / 문장 구성 → ③ 음운 코드 인출 → ④ 조음 계획(syllabification) → ⑤ 운동-조음 실행. 본 장 후반부의 Levelt 모델(lemma-lexeme)은 ②-③ 단계를 정교화한 모델이다.

Key Terms

Phonological lexicon

A store of the abstract speech sounds that make up known words.

**음운 어휘집(Phonological lexicon)**은 화자가 아는 단어들을 구성하는 추상적 음성 사운드의 저장소이다. speech input lexicon(음성 입력 어휘집)이라고도 불리며, 청각적 입력을 매칭할 후보 단어 집합을 제공한다. 코호트 모델은 이 어휘집에서 후보가 시간에 따라 선별되는 과정을 다룬다.

Lexical access

The process of matching a perceptual description of a word on to a stored memory description of that word.

**어휘 접근(Lexical access)**은 단어의 지각적 기술(perceptual description)을 저장된 기억 기술과 매칭하는 과정이다. 본 장에서는 청각 입력 → 음운 어휘집 매칭 → 의미 인출까지 이어지는 일련의 처리로 다뤄지며, 코호트 모델(cohort model), 고유 지점(uniqueness point) 등 핵심 개념과 결합된다.

Spoken Word Recognition

Summary

음성 단어 인식은 청각 입력의 일부를 화자의 어휘 내 저장된 음성 단어 집합(음운 어휘집)과 매칭하는 과정이다. 이 과정의 핵심 질문은 ① 접근에 사용되는 지각 코드의 본질, ② 매칭의 병렬/순차 여부, ③ 의미적 맥락의 영향 여부이다. 음소(phoneme), 음절(syllable), 강세 패턴(stress) 등 여러 단위가 후보로 제안되며, 신경생물학적으로는 상측두엽(superior temporal lobe)을 따라 짧은(20-80 ms) → 중간(150-300 ms) → 긴(500-1000 ms) 시간 척도가 위계적으로 처리된다(De Witt & Rauschecker, 2012).

It is generally assumed that spoken word recognition entails matching some aspect of an acoustic form to a stored set of spoken words that comprise the set of known words in the speaker’s vocabulary. This store of words is known as the phonological lexicon (or speech input lexicon), and the matching process itself is called lexical access. This process can be broken down in terms of a number of potentially distinct issues. First, what is the nature of the perceptual code that is used to access the stored set of words, and in what format are the stored speech forms themselves stored? Second, how is the matching process itself achieved? Are many different candidates considered together or one at a time? Is the process purely perceptual or does the semantic context matter?

What are the access units for spoken word forms?

Summary

언어학자들은 전통적으로 음소(phoneme)를 음성 표상의 핵심 단위로 강조해왔다. 음소는 서로 다른 단어의 사운드를 구분하는 범주적 표상으로, 영어에서는 /r/과 /l/이 별개 음소이지만 일본어에서는 동일 음소의 변이형이다. 그러나 Marslen-Wilson & Warren(1994) 등은 음소가 실제 인지/신경 시스템에 구현되지 않을 수 있으며, 음향 특징(voicing, stops, formant frequencies)이 음소 단계를 거치지 않고 직접 단어에 접근한다고 본다. Hickok & Poeppel(2004) 모델에서 명시적 음소 분절은 배측 경로, 음성 이해는 복측 경로가 담당한다.

Linguists have traditionally placed great emphasis on the importance of phonemes in the representation of speech. Phonemes are categorical representations that distinguish between the sounds of different words. Thus, /r/ and /l/ are different phonemes in English but not Japanese. Even though /r/ and /l/ have certain acoustic and articulatory properties in common, they are considered as separate categories in languages that make this phonemic distinction. Some models of spoken word recognition also place great emphasis on the role of a phonemic code, as in the case of the motor theory of speech recognition (Liberman & Mattingly, 1985; Liberman & Whalen, 2000).

The evidence for a phonemic level in lexical access is equivocal. Some patients with acquired speech recognition problems are able to comprehend spoken words but are poor at explicitly discriminating between phonemes (e.g. are “ta” and “da” different?), whereas others show the opposite dissociation (Miceli et al., 1980). Indeed, the ability to explicitly segment speech into phoneme segments appears to be predicted by literacy levels, particularly for alphabetic scripts, rather than spoken language ability (Petersson et al., 2000).

📊 그림 설명

언어학 기본 용어를 정리한 표이다. Phoneme(음소, 의미를 구분하는 최소 음성 단위; 영어 /r/-/l/), Syllable(음절, 모음 핵+선택적 onset/coda), Stress(강세, 음절 분절 단서), Morpheme(형태소, 의미를 갖는 최소 문법 단위; “unladylike”는 4음절 3형태소), Word, Syntax(문법), Semantics(의미; 어휘-의미 vs. 의미 기억), Pragmatics(화용; 함축·간접 발화), Prosody(억양·운율; 질문 시 상승 음조), Nouns/Verbs/Adjectives/Pronouns/Prepositions/Function words(기능어; pronoun, preposition, “the”, “and”) 등의 정의가 제시된다.

In primate electrophysiology, some neurons may respond preferentially to relatively rapid changes in the auditory signal (20–80 ms range), whereas others may respond preferentially to changes occurring over medium (150–300 ms) and longer (500–1,000 ms) time scales (see DeWitt & Rauschecker, 2012). In human speech, these time scales may correspond approximately to acoustic features of phonemes, syllables and stress patterns (respectively) that dominate in purely cognitive models of speech recognition. De Witt and Rauschecker (2012) suggest, based on a meta-analysis of fMRI studies of speech recognition, that these different time scales are implemented in the auditory ventral stream in a hierarchical fashion from short-to-long durations and from posterior-to-anterior along the superior temporal lobes.

주의

음소는 언어학적 추상화일 수 있으며, 신경 시스템이 음소 표상을 실제로 계산하는지는 결정되지 않았다. 명시적 음소 인식은 문해력(특히 알파벳 표기 체계)의 예측 변수이지 음성 이해 능력의 예측 변수가 아니다(Petersson et al., 2000).

Key Terms

Cohort model

In lexical access, a large number of spoken words are initially considered as candidates but words get eliminated as more evidence accumulates.

**코호트 모델(Cohort model)**은 어휘 접근에서 다수의 단어가 초기에 후보로 병렬 활성화되지만, 음향 정보가 시간에 따라 누적되면서 후보가 점점 제거되는 과정을 설명하는 **Marslen-Wilson & Tyler(1980)**의 모델이다.

Uniqueness point

The point at which the acoustic input unambiguously corresponds to only one known word.

**고유 지점(Uniqueness point)**은 청각 입력이 오직 하나의 알려진 단어에만 모호하지 않게 부합하는 지점이다. 예를 들어 “eleph”까지 들리면 코호트가 “elephant” 하나로 줄어든다. 청자는 고유 지점 이전의 음성 왜곡을 더 잘 탐지하며, 단어 인식 시간은 고유 지점의 위치에 의존한다(Marslen-Wilson, 1987).

Imageability

The extent to which a word can evoke a concrete image; e.g. “table” is high on this measure but “truth” is low.

**이미지가능성(Imageability)**은 단어가 구체적 심상을 유발할 수 있는 정도를 나타내는 의미적 속성이다. “table”은 높고 “truth”는 낮다. **Tyler et al.(2000)**은 이미지가능성이 음성 단어 인식에 영향을 미치되 경쟁이 강한 코호트에서만 그러함을 보였다.

The cohort model

Summary

**코호트 모델(cohort model; Marslen-Wilson & Tyler, 1980; Marslen-Wilson, 1987)**은 음성 단어 인식이 유사음 단어 간 경쟁 과정이라는 합의를 가장 영향력 있게 구현한 모델이다. “spee” 음을 들으면 “speed”, “speech”, “species” 등이 모두 활성화되지만, 더 많은 정보가 누적되면 코호트가 좁아져 결국 **고유 지점(uniqueness point)**에서 단일 단어가 결정된다. 단어 시작부의 중요성이 강조되며, 빈도와 이미지가능성도 영향을 미친다.

Although the precise nature of the mechanism by which spoken word recognition takes place is still debated, there is general consensus that it involves competition between similar sounding words (McQueen & Cutler, 2001). The most influential model in this area is the cohort model of Marslen-Wilson and Tyler (1980; Marslen-Wilson, 1987). The acoustic information required to identify a word is revealed over time. The central idea of this model is that a large number of spoken words are, in parallel, initially considered as candidates but that words get eliminated as more evidence accumulates. For example, on hearing the sound “e” all words beginning with this sound would become active. This is termed the cohort of words. But as more information is revealed (e.g. “ele”), then the cohort gets whittled down to fewer words (e.g. “elephant,” “electricity”) until a point is reached (“eleph”) in which the evidence is consistent with only a single word. This is termed the uniqueness point.

📊 그림 설명

코호트 모델의 작동 원리를 시각화한 도식이다. 시간 진행(좌→우)에 따라 입력이 “s” → “sp” → “spee” → “speed”로 누적된다. “s” 단계에서는 Salmon, Speed, So, Sesame, City, Sun, Special, Species 등 여러 후보가 병렬 활성화되며, “sp” 단계에서는 Speed, Special, Species만 남고, “spee” 단계에서 Speed, Species 둘로 좁혀진 뒤, “speed”에서 고유 지점에 도달해 단일 단어로 결정된다.

The uniqueness point is a structural property of the word, but do linguistic factors such as word frequency and imageability influence recognition? Considering word frequency, it is the case that not all candidates in a cohort behave equivalently. For example, the ambiguous onset “spee” is compatible with “speed,” “speech,” “species,” and so on. However, studies of reaction time priming show that infrequent words (e.g. “species”) get activated less (Zwitserlood, 1989). This suggests an early effect of word frequency. The imageability of a word also affects spoken word recognition but only for highly competitive cohorts (Tyler et al., 2000). An fMRI study shows that imageability and degree of cohort competition interact in a posterior region of the superior temporal gyrus—a region implicated in relatively early speech processing (Zhuang et al., 2011). As such, selection from the cohort is not a purely bottom-up process (i.e. not determined solely by the perceptual input).

Word recognition in context: the N400

Summary

코호트 모델은 본래 단일 단어 인식을 설명하기 위해 개발되었으나, 단어는 보통 담화 맥락 속에서 발화된다. N400(Kutas & Hillyard, 1980)은 단어 시작 후 약 400 ms에 나타나는 ERP의 음성 편향(negative peak)으로, 단어가 맥락에 부적절할 때 진폭이 증가한다. 의미적 이상(“I take coffee with milk and dog”), 세계 지식 위배(“the Dutch trains are white”), 의미적 비논리(“the Dutch trains are sour”) 모두에서 N400이 나타나며, 단어 지식과 세계 지식이 통합적으로 작용함을 시사한다(Hagoort et al., 2004).

The cohort model was primarily developed to explain the recognition of single spoken words. However, words are normally spoken in the context of a discourse rather than in isolation. This raises the important question as to how these different aspects of spoken word recognition are related: i.e., recognizing the form of a spoken word, retrieving its meaning, and linking word meaning to the wider meaning of the utterance.

📊 그림 설명

Hagoort et al.(2004)의 ERP 결과로, 세 종류의 문장에서 핵심 단어에 대한 N400 반응을 비교한다. 가로축은 시간(ms), 세로축은 진폭(μV, 음전위가 위쪽). 녹색: 의미적으로 일관되고 정확한 문장(“네덜란드 기차는 노란색이다”), 갈색: 의미적으로 일관되나 부정확한 문장(“네덜란드 기차는 흰색이다”), 검정: 의미적으로 비일관적인 문장(“네덜란드 기차는 시큼하다”). 약 400 ms에서 부적절한 단어에 대해 큰 N400이 나타나며, 의미 부적합과 세계 지식 위배 모두 N400을 유발함을 보여준다.

One ERP component has been particularly informative for addressing this issue: the N400, so called because it reflects a negative peak at around 400 ms after the onset of a word (Kutas & Hillyard, 1980; for a review see Kutas & Federmeier, 2011). The amplitude of the N400 depends critically on whether a given word is appropriate to the wider context. Thus, the sentence “I take coffee with milk and dog” elicits a large N400 to the contextually anomalous word “dog” relative to the same sentence ending with the semantically appropriate word “sugar” (or a different sentence in which “dog” is an appropriate ending). The N400 is found either when a word is semantically anomalous, as in “the Dutch trains are sour” (trains cannot be tasted), or conflicts with known facts about the world, as in “the Dutch trains are white” (Dutch people know they are yellow) (Hagoort et al., 2004). This suggests that word-knowledge and world-knowledge are both brought to bear on this process rather than representing two separate processing stages.

Key Terms

N400

An event-related component in EEG found when a word meaning appears out of context or unexpectedly.

N400은 단어의 의미가 맥락에서 벗어나거나 예상치 못하게 나타날 때 발견되는 EEG의 사건관련 성분이다. 약 400 ms에 음성 정점이 나타나며, 단어가 문장 형식이 아니어도(예: “river-bank-money” 삼단어 묶음의 마지막 단어) 유발될 수 있어 전역적 맥락을 반영한다(Titone & Salisbury, 2004). 음성 단어에서는 문자 단어보다 더 일찍 나타나며, 단어가 고유 지점에 도달하기 전에도 의미적 맥락이 어휘 접근과 상호작용함을 시사한다(Van den Brink et al., 2001, 2006).

The N400 is found for written words presented one at a time as well as spoken words (and, indeed, for other meaningful stimuli besides words). As such, it is not critically dependent on perceptual processes. Nevertheless, the N400 tends to emerge earlier for spoken words than written words (Holcomb & Neville, 1990). Van den Brink et al. (2006) varied the uniqueness point of the critical spoken word. Despite the fact that words with an early uniqueness point could be identified 100 ms faster than the other words, the N400 did not shift in time. Thus, the language system does not have to “wait” for the uniqueness point to be reached before it can generate an N400, and, hence, lexical access and contextual integration are not two separate and discrete stages in speech recognition.

시험 팁

N400 vs. P600(본 장 후반)을 구분하자. N400은 약 400 ms 음성 편향, 의미적 이상(semantic anomaly)에 반응한다. P600은 약 600 ms 양성 편향, 통사적 이상(syntactic anomaly)에 반응한다. 두 성분의 분리는 의미와 통사가 신경적으로 부분 분리될 수 있다는 근거가 된다.

Semantic Memory and the Meaning of Words

Summary

단어 “lion”을 접하면 “동물”, “다리 4개”, “아프리카 원산”, “육식” 등 연관 속성이 인출되며, 이 속성들의 집합이 단어의 의미를 구성한다. 의미 기억(semantic memory)이 비양식(amodal, 추상적 상징)인지 접지(grounded, 감각·운동 경험에 닻을 둔)인지가 핵심 논쟁이다. Searle의 중국어 방 논변(1980, 1990)은 순수 상징 처리만으로는 의미 이해가 불가능함을 지적하며, 이를 상징 접지 문제(symbol grounding problem)라 한다. 허브-스포크 모델(Patterson et al., 2007)은 비양식 허브(측두엽 극)와 접지된 스포크(감각·운동 영역)를 결합하는 절충 모델이다.

Key Terms

Amodal

Not tied to one or more perceptual systems.

**비양식(Amodal)**은 의미 표상이 특정 지각 시스템에 묶이지 않은 추상적 형태로 존재한다는 관점이다. 음성으로 듣든, 글자로 보든, 사자를 직접 보든, 동일한 비양식 표상이 활성화된다고 가정한다. 20세기 인지 심리학을 거의 한 세기간 지배해온 관점이다.

Symbol grounding problem

The problem of defining concepts without assuming some preexisting knowledge.

**상징 접지 문제(Symbol grounding problem)**는 개념을 다른 사전 지식 없이 정의하기 어렵다는 언어학적 문제이다. 사전식 정의는 단어를 다른 단어로 정의하는 순환적 과정이며(“power” → “force” → “strength” → “power”), 따라서 의미는 결국 환경 및 신체 경험에 접지되어야 한다는 주장이 제기된다.

Embodied cognition

The idea that the body (its movement, or internal state) can be used in cognition (e.g. to understand words, or social situations).

**체화된 인지(Embodied cognition)**는 신체(운동, 내부 상태)가 인지에 사용된다는 관점으로, **접지된 인지(grounded cognition)**의 하위 분야로 간주된다(Barsalou, 2008; Wilson, 2002). “pull”, “kick” 등의 동사는 운동 시스템에, “sweet”, “green”은 감각 경험에 접지될 수 있다.

Hub-and-spoke model

A model of semantic memory that contains both amodal concepts (the “hub”) and semantic features that are grounded in sensory, motor and bodily cortex (the “spokes”).

**허브-스포크 모델(Hub-and-spoke model; Patterson et al., 2007)**은 의미 기억이 측두엽 극의 비양식 허브와 감각·운동 피질에 분산된 접지된 스포크를 모두 포함하는 절충적 의미 기억 모델이다. 의미 치매에서 측두엽 극 위축이 의미 결손을 야기하는 것을 설명한다.

Amodal versus grounded concepts

Summary

Searle의 중국어 방 논변은 순수 상징 처리(중국어 알고리즘)가 중국어 이해와 같지 않음을 주장하며, 상징 접지 문제를 부각시킨다. 순환 회피의 한 방법은 일부 개념을 공유된 지각·운동 경험에 접지시키는 것이다. 완전 접지 모델(Allport, 1985; Martin & Chao, 2001)은 의미 자질이 획득된 정보 채널(청각·시각·동작 영역)에 분산되어 있으며, 한 자질의 활성화가 다른 자질을 트리거하는 패턴 완성(pattern-completion) 과정을 거친다고 본다.

This problem associated with representing the meaning of words as abstract symbols is well exemplified by Searle’s (1980, 1990) Chinese room argument. In this philosophical thought-experiment, Searle asks us to imagine a computer that can process Chinese symbols to the extent that it can answer questions posed to it in Chinese such that these answers are sufficient to fool a native speaker. However, he claims that such a computer would not understand the meaning of Chinese. Taking the argument further, nor would a person locked in a room who processed Chinese using the same algorithm. The “mental lexicon” metaphor also falls into the same trap. The problem with defining words in terms of other words, like a dictionary, is that it is an entirely circular process.

One way of breaking the circle is if there are some concepts that are not defined in terms of each other but are “grounded” by universals in the environment and our interactions with them (such as shared perceptual and motor experiences). So, for instance, the meaning of words such as “pull” or “kick” could be grounded by the actions of our motor system, and “sweet” and “green” could be grounded by our perceptual experiences of the world.

📊 그림 설명

Allport(1985) 모델 도식이다. 개념은 다양한 비언어적 속성 영역에 분산 저장되며, 운동 지향 요소(Action oriented elements; foot, brake), 운동감각 요소(Kinesthetic elements; 3-D), 촉각 요소(Tactile elements; velvet), 시각 요소(Visual elements; form, color, clouds), 청각 요소(Auditory elements; thunder, phone) 등이 상호 연결된다. 이들은 하단의 **음운 요소(word-forms, Phonological)**와 **철자 요소(Orthographic)**와도 연결된다. “kettle”은 촉각·시각, “phone”은 운동감각·청각 영역에 동시 활성화되는 식으로 패턴 완성이 이루어진다.

The contemporary landscape of models of semantic memory spans virtually the entire range of possibilities from amodal to fully grounded. In fully grounded models (Allport, 1985; Martin, 2007; Martin & Chao, 2001), the collection of different semantic features that make up a concept reside solely in the different information channels from which they were acquired. So, for instance, the semantic memory of a telephone would reside partly in auditory regions (for what it sounds like), visual regions (for what it looks like), action-related regions (for how to use it), and so on.

📊 그림 설명

허브-스포크 모델(Patterson et al., 2007)의 시각화이다. 뇌의 측두엽 극 부근에 위치한 큰 갈색 구체가 **비양식 허브(amodal semantics)**를 나타내며, 이를 둘러싼 여러 작은 구체들(Actions, Sounds, Words, Shape, Color, Motion)이 접지된 스포크로서 감각·운동 피질에 분산된다. 녹색 선은 스포크 간 연결, 빨간 선은 허브와 스포크의 연결을 표시한다. 이 모델은 의미 정보가 양식별 영역과 중심 허브 모두에 저장됨을 가정한다.

On the other extreme, there are accounts that can be classed as weakly grounded in that they assume that the core system within semantic memory is amodal but that modality-specific representations are evoked more as a downstream by-product (Mahon & Caramazza, 2008). In between, there are models that give an even-handed importance to both abstract and grounded semantic representations. The hub-and-spoke model would be an example of this (Patterson et al., 2007).

Hierarchies, features, and categories

Summary

모든 의미 기억 이론은 단어 의미가 **기본 자질들의 군집(constellation)**으로 분해되며, 이들이 네트워크로 연결된다고 가정한다. 모델은 (1) 자질 형식(비양식 vs. 접지), (2) 조직(위계 vs. 비위계), (3) 범주 정보의 명시적 표상 여부에서 차이를 보인다. Collins & Quinlan(1969) 모델은 위계적·비양식 모델의 대표 예이며, 상위어(animal) > 중간어(bird) > 하위어(robin) 위계에서 더 먼 거리는 처리 시간이 길어진다. 측두엽은 후방→전방 그래디언트로 정보 특수성이 증가한다(Rogers et al., 2006).

📊 그림 설명

Collins & Quinlan(1969) 위계적 의미 네트워크의 예시이다. 최상위 노드 Animal(has skin, can move around, eats, breathes)에서 분기하여 Bird(has wings, can fly, has feathers)와 Fish(has fins, can swim, has gills)로, 다시 Canary(can sing, is yellow), Ostrich(has thin long legs, is tall, can’t fly), Shark(can bite, is dangerous), Salmon(is pink, is edible, swims up river to lay eggs)으로 내려간다. 상위어 정보가 먼저 접근되므로 robin을 bird로 분류하는 것이 animal로 분류하는 것보다 빠르다.

There is some evidence that these different kinds of super-ordinate and sub-ordinate information have different neural substrates. The lateral temporal lobes are widely recognized as having an important role in semantic memory, and constitute the ventral “what” route of speech processing (Hickok & Poeppel, 2004). Rogers et al. (2006) found that different parts of the lateral temporal lobes were activated depending on the specificity of the information. There was a posterior to anterior gradient from less specific information (e.g. animal), intermediate specificity (e.g. bird) to more specific information (e.g. robin). Patients with damage centered on the anterior temporal lobes tend to retain the ability to make super-ordinate classifications (e.g. “animal,” “bird”) but struggle more with item and sub-ordinate level classifications (e.g. “dog,” “Labrador”) (Rogers & Patterson, 2007).

**Caramazza & Shelton(1998)**은 진화적 근거에 기반하여 동물, 식물(과일·채소), 동종(다른 인간), 도구가 적어도 일부는 선천적으로 고정된 범주라고 제안했다. 대안적 관점은 범주가 유사 개념이 공유하는 상관된 자질에서 창발한다는 것이다. 동물은 눈·입·자발 운동 등 상관 자질이 풍부하고, 인공물은 모양과 기능의 독특한 관계를 갖는다. 계산 시뮬레이션에 따르면 의미 자질은 균일하지 않고 “덩어리진(lumpy)” 구조를 가지며, 이는 두개골 공간 제약 하의 소세계 네트워크(small-world networks)(Sporns et al., 2004) 원리와 일치한다.

Category specificity in semantic knowledge

Summary

1980년대 초 두 연구가 의미 범주의 신경 조직 논쟁을 촉발시켰다. **Warrington & McCarthy(1983)**는 무생물에 비해 동물·음식·꽃 지식이 보존된 환자를, **Warrington & Shallice(1984)**는 정반대 양상의 4명을 보고했다. 이를 설명하기 위해 감각-기능 구분(sensory-functional distinction) 가설이 제시되었다 — 동물·과일·채소는 감각적 속성(색, 모양, 다리 4개)으로 정의되고, 무생물(특히 도구)은 기능으로 정의된다.

Key Terms

Sensory–functional distinction

The hypothesis that semantic features are clustered in the brain according to what they are used for and what their physical properties are.

**감각-기능 구분(Sensory-functional distinction)**은 의미 자질이 뇌에서 **용도(기능)**와 **물리적 속성(감각)**에 따라 군집화된다는 가설이다(Warrington & Shallice, 1984). 동물 범주 결손은 감각 자질 손상에서, 도구 결손은 기능 자질 손상에서 비롯된다고 본다. 그러나 동물 범주 결손 환자가 감각 질문에 반드시 더 큰 손상을 보이지 않으며(Funnell & DeMornay Davies, 1996), 감각 자질 손상 환자가 동물 결손을 보이지 않을 수도 있어(Coltheart et al., 1998) 도전받고 있다.

📊 그림 설명

**Humphreys & Forde(2001)**의 다단계 처리 모델이다. 시각 입력(개, 드라이버 그림)과 언어 입력(“dog”, “screwdriver”)이 각각 감각 속성(Sensory attributes) 층과 기능 속성(Functional attributes) 층으로 흘러간다. 의미 기억이 범주(동물·도구·음식)가 아닌 기능 vs. 감각 자질 차원으로 조직된다는 주장을 시각화한다.

📊 그림 설명

Samson & Pillon(2003) 환자 RS의 결과 그래프이다. 가로축은 7가지 과제(Picture naming, Naming to description, Word/picture matching, Description from a word, Description from a picture, Attribute verification), 세로축은 정답률(%). 파란색 = 과일·채소, 주황색 = 동물, 자주색 = 무생물. RS는 모든 과제에서 과일·채소 범주에 특히 심각한 결손을 보이며(picture naming에서 약 18%), 동물·무생물은 상대적으로 보존된다.

다양한 범주 특수성 사례가 보고되었다:

  • 음식: Samson & Pillon(2003) 환자 RS는 과일·채소 결손이 가공식품으로 확장되며, 흑백 그림에 정확한 색을 선택할 수 있어 감각 자질 손상이 아닌 범주적 표상 손상을 시사한다.
  • 색: Luzzatti & Davidoff(1994) 환자는 색 이름을 말할 수 있으나 흑백 토마토 그림에 색을 인출하지 못한다. 색 지각과 색 지식이 분리됨을 보여준다.
  • 신체 부위: 자가국소실인증(autotopagnosia) 환자는 자신·그림·타인의 신체 부위를 국소화하지 못한다(Semenza, 1988; Semenza & Goodglass, 1985). 예: 무릎 대신 팔꿈치, 눈 대신 귀를 가리킨다.
  • 행동·동사: 일부 실어증 환자는 동작 그림에 대한 동사 명명에 손상을 보인다(Druks & Masterson, 2000). 동사 “lick”, “pick”, “kick”은 운동 피질의 입·손가락·다리 영역과 중첩되는 영역을 활성화한다(Hauk et al., 2004).
  • 고유명사: 고유명사 명칭실어증(proper name anomia) 환자는 “Michael Jackson”, “Paris”, “Lassie” 같은 고유명사 인출에 심각한 어려움을 보인다(Semenza & Zettin, 1988).

Key Terms

Autotopagnosia

An inability to localize body parts on oneself, on pictures or on others.

**자가국소실인증(Autotopagnosia)**은 자신, 그림, 타인의 신체 부위를 국소화하지 못하는 증상이다. 오류는 개념적이며(무릎 대신 팔꿈치), 단순 운동 결손이나 범주 지식 전반 손실이 아닌 신체 위치 자질에 국한된다(장갑·넥타이 위치는 정상적으로 시연 가능, 입을 식사에 쓴다고 말할 수 있음).

Proper name anomia

Severe difficulties in retrieving proper names.

**고유명사 명칭실어증(Proper name anomia)**은 고유명사 인출의 심각한 어려움이다(Semenza & Zettin, 1988). 일부는 의미적이지 않으나(이해는 보존됨), 다른 사례에서는 의미적 결손이 보고된다(Bredart et al., 1997). 우측 측두엽 절제 후 사람·동물·건물·브랜드명 이해 결손이 보고되며(Ellis et al., 1989), 사람-장소 이중 해리도 존재한다(Miceli et al., 2000; Lyons et al., 2002).

Semantic dementia as damage to an amodal hub?

Summary

**의미 치매(semantic dementia)**는 의미 기억을 선택적·전반적으로 손상시키는 신경퇴행성 질환이다. 측두엽 극(temporal poles) 위축과 연관되며(Mummery et al., 2000), 거의 모든 의미 범주와 자질에 영향을 미친다. **Patterson et al.(2007)**의 허브-스포크 모델은 의미 치매를 비양식 허브 손상으로 설명한다. 환자는 전형적 범주 구성원 분류(개→동물)는 가능하나 비전형적 구성원(타조→새)에 어려움을 보이고, 의미 자질 선택 시 전형적 답을 선호한다(녹색을 당근과 매칭, 대부분 채소가 녹색이므로).

Patterson et al. (2007) explain semantic dementia in terms of damage to an amodal semantic store (termed the “hub”) which acts to bind together different grounded features (termed the “spokes”). Why is an amodal hub needed at all? According to this model, the hub enables exceptional items to be categorized (e.g. penguin, ostrich) and enables superficially different entities to be grouped together (e.g. a prawn and scallop as seafood). Patients with semantic dementia are able to categorize pictures relatively accurately when the exemplars are typical (e.g. categorizing a dog as an animal) but struggle with atypical category members (e.g. failing to categorize an ostrich as a bird; Patterson, 2007). When asked to select semantic features, they are biased to-ward choosing the typical category answer.

📊 그림 설명

의미 치매 환자의 결손 진행을 보여주는 도식이다. 상단: 그림(거위, 낙타, 닭, 개구리 등)을 짧은 지연 후 모사하면 환자는 범주의 전형적 자질(다리 4개, 꼬리)은 재현하나 특정 개체의 비전형적 자질(혹, 물갈퀴)은 누락한다. 하단: 시간 경과(1991년 9월→1993년 3월)에 따라 동물 명명 능력이 점차 일반화되어, Duck → Bird → Bird → Dog, Ostrich → Swan → Bird → Cat → Animal과 같이 보다 전형적인 범주 구성원으로 변환된다. 측두엽 극 위축이 진행됨에 따라 미세한 의미 구분이 사라지는 양상을 보여준다.

Evaluation of semantic memory models

Summary

신체 부위 위치, 색, 동물·음식·동작 범주 등 매우 특수한 지식 영역에 선택적 손상이 가능하며, 이는 의미 자질이 서로 다른 해부학적 위치를 갖는다는 견해를 지지한다. 그러나 자질과 범주가 분리 가능하게 손상될 수 있어, 범주가 자질에만 의존한다는 단순한 견해는 부정된다. 선천적 범주설(Caramazza & Shelton, 1998)이나 허브-스포크 모델(허브에서 학습된 범주 구조, 스포크에서 접지된 자질) 등의 대안이 제시된다.

두 번째 핵심 쟁점은 의미 자질이 비양식인지 감각·운동·신체 상태에 접지되는지이다. 영상 기법은 지난 20년간 지적 풍경을 바꾸었으며, 지각·행동에 중요하다고 분류된 영역이 의미 기억에도 관여함이 드러났다. **Mahon & Caramazza(2008)**는 비양식 시스템이 의미 기억의 핵심이지만 정보가 양방향으로 지각·행동 영역으로 확산된다고 본다. 완전 접지 관점(Barsalou, 2008)은 별도 비양식 시스템이 불필요하다고 주장하지만, 의미 치매의 측두엽 극 손상이 거의 모든 의미 범주를 손상시키는 사실은 이 관점에 도전이 된다. 허브-스포크 모델은 양 진영의 절충이지만 가장 절약적이지는 않다.

Key Terms

Wernicke's aphasia

A type of aphasia traditionally associated with damage to Wernicke’s area and associated with fluent but nonsensical speech, and poor comprehension.

**베르니케 실어증(Wernicke’s aphasia)**은 전통적으로 베르니케 영역 손상과 연관된 실어증으로, 유창하지만 의미 없는 산출과 이해 결손을 특징으로 한다. **Wernicke(1874)**는 단어의 음성 형태를 입력 중심(청각 이미지, auditory images)과 출력 중심(운동 이미지, motor images)으로 구분했고, 청각 이미지 손상이 이 증후군에 해당한다.

Broca's aphasia

A type of aphasia traditionally associated with damage to Broca’s area and linked to symptoms such as agrammatism and articulatory deficits.

**브로카 실어증(Broca’s aphasia)**은 전통적으로 브로카 영역 손상과 연관되며, **비문법증(agrammatism)**과 조음 결손을 특징으로 한다. **Broca(1861)**의 환자 Leborgne은 음성 산출 능력을 잃고 “tan, tan, tan…”만 발화했다.

19세기 모델의 한계

Lichtheim(1885) 모델은 베르니케 영역과 브로카 영역을 직접 경로와 개념 중심을 통한 간접 경로로 연결한다. 일부 측면은 현대에도 유효하나(예: 음성 입력·출력 어휘집의 분리; Shallice, 1988), 다음 한계가 지적된다:

  • 브로카 실어증 환자는 산출뿐 아니라 이해에도 결손을 보인다(Caramazza & Zurif, 1976).
  • 베르니케 실어증 환자는 신조어(neologisms)를 산출한다(“A bun, bun (BULL)… a buk (BULL) is cherching (CHASING) a boy or skert (SCOUT)…”; Ellis et al., 1983).
  • 조음 결손은 브로카 영역 손상과 무관하다(Dronkers, 1996).
  • 브로카·베르니케 영역은 다기능적이며 19세기 분류와 정확히 매핑되지 않는다.

Understanding and Producing Sentences

Summary

단어는 의미(semantics)와 함께 통사적 역할(syntactic role, 즉 명사·동사 등 문법 범주)을 운반한다. **통사(syntax)**는 문장 내 단어의 순서와 구조를 규정하며, 청자가 “누가 누구에게 무엇을 하는가”를 파악하게 한다. 예: “The boy hit the girl”(A)과 “The girl hit the boy”(B)는 통사는 같으나 의미가 다르고, A와 “The girl was hit by the boy”(C)는 의미는 같으나 통사가 다르다. **Friederici(2012)**에 따르면 문장 의미 처리는 단일 단어와 유사한 신경 자원을 사용하지만, 통사 처리는 의미·작업 기억과 부분적으로 분리된다.

Key Terms

Syntax

The order and structure of the words within a sentence.

**통사(Syntax)**는 문장 내 단어의 순서와 구조이다. 통사 규칙은 단어가 문장으로 결합되는 방식을 규정하며, 의미와 부분적으로 독립된 신경 메커니즘에 의해 처리된다.

Agrammatism

Halting, “telegraphic” speech production that is devoid of function words (e.g. of, at, the, and), bound morphemes (e.g. –ing, –s) and often verbs.

**비문법증(Agrammatism)**은 “grammar의 상실”을 의미하며, 기능어(of, at, the, and)와 결합 형태소(-ing, -s), 그리고 종종 동사가 누락된 “전보식(telegraphic)” 산출을 보이는 브로카 실어증의 특징적 양상이다. “쿠키 도둑” 그림 설명에서 한 환자는 “cookie jar… fall over… chair… water… empty…”로 발화했다(Goodglass & Kaplan, 1983).

The role of Broca’s area in sentence processing

Summary

한때 통사 전용 처리기가 브로카 실어증/브로카 영역 손상과 연관된다는 견해가 강했다. **Caramazza & Zurif(1976)**는 브로카 실어증 환자가 의미적으로 가역적인 문장(“고양이가 물고 있는 개는 검다”)에서만 그림-문장 짝짓기에 결손(약 50%)을 보임을 입증했다. 그러나 진단이 영상 없이 증상 체크리스트에 의존했던 한계가 있다. 현대 견해는 브로카 영역이 다기능적이며 후방(BA 44, 통사 복잡도)과 전방(BA 45/47, 의미 통제·작업 기억)으로 분화된다.

📊 그림 설명

쿠키 도둑(cookie theft) 그림이다. 부엌에서 어머니가 접시를 닦는 동안 의자에 올라탄 소년이 쿠키 단지에서 쿠키를 훔치고 있고(의자가 넘어지려는 상태), 옆에 있는 소녀가 손을 뻗어 받으려 한다. 동시에 부엌 싱크대의 물이 넘쳐 바닥에 흐른다. 이 복잡한 장면 묘사 과제는 실어증 환자의 문장 산출 능력을 평가하는 데 사용된다(Goodglass & Kaplan, 1972).

📊 그림 설명

**Caramazza & Zurif(1976)**의 막대그래프이다. 가로축은 네 유형의 문장(Control, Semantically constrained, Reversible, Semantically improbable), 세로축은 그림-문장 짝짓기 정답률(%). 파란색 = 정상, 주황색 = 브로카 실어증. Control(“소녀가 녹색 공을 차고 있다”)과 Semantically constrained(“말이 끌고 있는 수레는 녹색이다”)에서 두 그룹 모두 90% 이상. 그러나 Reversible(“개가 물고 있는 고양이는 검다”)에서 브로카 환자는 우연 수준(50%) 근처로 떨어지고, Semantically improbable(“아기가 놀라게 하는 사자는 노란색이다”)에서 약 40%로 더 낮아진다. 통사가 결정적인 문장에서만 결손이 나타난다.

📊 그림 설명

문장 처리에 중요한 뇌 영역의 좌반구 측면도이다. 빨간색: 브로카 영역(BA 44, 45, 47 및 6번 일부, 전운동피질). 파란색: 측두엽(BA 21, 22, 37). 브로카 영역은 전통적으로 BA 44와 45로 정의되며, 측두엽 영역도 문장 처리에 중요하다. **Dronkers et al.(2004)**에 따르면 측두엽 손상은 문장 이해에 적어도 브로카 영역만큼 중요하다.

The contemporary view of Broca’s area is that it is multi-functional and can be divided into (at least) two functional sub-divisions. The posterior division consists of BA44 (extending into the premotor area, BA6) and the anterior division consists of BA45 (extending into BA47). BA44 is often considered to be involved in processing of hierarchical structures and sequencing of behavior in general (Friederici, 2011, 2012; Newman et al., 2003).

📊 그림 설명

**Friederici et al.(2006b)**의 fMRI 결과이다. (a): 좌반구 BA 44 영역의 활성화 지도(스케일 3.09). (b): 신호 변화율(%) 시간 경과 그래프. 빨강 = 통사 고복잡도, 녹색 = 중복잡도, 파랑 = 저복잡도. 약 10초 부근에서 통사 복잡도가 높을수록 신호 변화율이 큼이 확인되며, BA 44가 통사 복잡도 처리에 관여함을 시사한다.

The anterior portion of Broca’s area (BA45, extending into BA47) is often considered to have rather different functions: specifically relating to working memory and the control of semantic memory. In fMRI studies, judging a words grammatical class activates BA44 but judging its concreteness (a semantic property) activates the more anterior BA45 region (Friederici et al., 2000). Applying TMS over Broca’s region can produce a double dissociation between the processing of meaning (synonym judgments) versus phonology (deciding if two words sound the same), with impaired semantic judgments linked to more anterior stimulation (Gough et al., 2005).

Is syntax independent from semantics?

Summary

의미 치매 환자는 단어 의미를 점차 잃지만 문법적인 문장을 계속 산출한다(Hodges et al., 1994). 그러나 문장 내 통사 구조 할당인 **파싱(parsing)**은 통사 속성에만 기반하는지(구조 기반 파싱; Frazier & Rayner, 1982), 의미 속성에도 영향을 받는지(담화 기반 파싱; MacDonald et al., 1994) 논쟁이 있다. 정원 경로 문장(garden-path sentences)(예: “The horse raced past the barn fell”)은 잘못된 통사 해석을 유발하여 단일 초기 계산을 지지하나, 지지 맥락이 선행되면 정원 경로를 피할 수 있어 의미 영향을 보여준다(Altmann et al., 1994).

Key Terms

Parsing

The process of assigning a syntactic structure to words.

**파싱(Parsing)**은 단어에 통사 구조를 할당하는 과정이다. 핵심 논쟁은 파싱이 통사 속성에만 기반하는지(structure-driven) 아니면 의미 속성에도 의존하는지(discourse-driven)이다.

Garden-path sentences

A sentence in which the early part biases a syntactic interpretation that turns out to be incorrect.

**정원 경로 문장(Garden-path sentences)**은 문장 초반부가 잘못된 통사 해석을 유도하는 문장이다. Bever(1970)의 고전적 예시 “The horse raced past the barn fell”에서 “fell”이 등장할 때까지 청자는 “The horse {THAT} raced past the barn {WAS THE ONE THAT} fell”로 해석해야 함을 깨닫지 못한다.

P600

An event-related brain potential (ERP) typically associated with the processing of grammatical anomalies.

P600은 문법적 이상 처리와 연관된 ERP의 양성 편향(positive deflection)으로, 단어 시작 후 약 600 ms에 나타난다. **N400(의미 이상)**과 대비되어 통사와 의미의 분리를 지지한다. 의미 없는 문장에서도 통사 위반이 P600을 유발한다(“The boiled watering can smoke the telephone in the cat”; Hagoort & Brown, 1994).

📊 그림 설명

Hagoort(2008) P600 ERP이다. 가로축은 시간(0~1800 ms), 세로축은 진폭(μV, 양전위가 아래). 두 곡선(실선·점선)이 단어 onset에 따라 비교된다 — “smokes”(문법적) vs. “smoke”(비문법적). 약 600 ms 부근에서 비문법적 단어(“smoke”)가 더 큰 양성 편향(P600)을 유발한다. 문장 “The boiling watering can smokes/smoke the telephone in the cat”은 의미 없으나 통사 위반만으로 P600이 발생함을 보여준다.

There is an event-related brain potential (ERP) that is associated with processing grammatical anomalies such as the unexpected word in a garden-path sentence or an overtly ungrammatical sentence (Gouvea et al., 2010). It is termed the P600 because it is a positive deflection occurring at around 600 ms after word onset. This can be contrasted with N400, introduced earlier, which has been linked to the processing of semantic anomalies (irrespective of whether it is in a sentence context). More generally, the N400-P600 distinction supports the idea that syntax and semantics are separable.

**Friederici(2011, 2012)**는 통사 처리에 두 수준을 제안한다: 구 수준의 국소 통사 구조(명사구 vs. 동사구 결정)와 전역 문장 구조(누가 누구에게 무엇을 하는가). ERP에서 국소 위반은 150-200 ms 이내에 탐지되며, 전역 위반은 더 늦게 P600과 연관된다(Hahne & Friederici, 1999). **Pallier et al.(2011)**의 fMRI는 전측 측두엽이 단어 의미(내용어 vs. 무의미어)에 반응하되 통사 구조 크기에는 반응하지 않고, 브로카 영역과 후방 상측두구는 반대 양상을 보임을 발견했다. 후방 측두엽이 의미(전측 측두)와 통사(브로카)의 통합 부위일 가능성이 제시된다.

Is syntax independent from working memory?

Summary

통사 복잡도 증가는 작업 기억 부담 증가와 연결되어 둘의 구분이 까다롭다. **Caplan & Waters(1990)**와 **Vallar & Baddeley(1984)**의 음운 단기 기억 결손 환자는 많은 문장을 적절히 산출·이해하지만, **Romani(1994)**의 환자는 통사 복잡 문장에서 결손을 보였다. **Makuuchi et al.(2009)**의 fMRI는 통사 복잡도(내포 유무)와 작업 기억(주어-동사 간 거리)을 독립 조작하여 BA 44에서 통사 효과, 인접하지만 구별되는 영역에서 작업 기억 효과(두정엽 활성과 연계)를 발견했다.

📊 그림 설명

Makuuchi et al.(2009) 실험 설계 도식이다. 가로 축은 주어(S)-동사(V) 의존성 거리(Short/Long), 세로 축은 통사 복잡도(Embedding 유무). 빨강(긴 거리 내포), 녹색(짧은 거리 내포), 파랑(긴 거리 비내포)으로 표시된다. 예시 문장: 긴 내포는 “Maria, die Hans, der gut aussah liebte Johann geküsst hatte”(“좋은 외모의 한스를 사랑한 마리아가 요한에게 키스했다”), 긴 비내포는 “Achim den großen Mann gestern am späten Abend gesehen hatte”(“아힘이 어제 늦은 저녁 큰 남자를 보았다”). 두 차원의 직교 조작으로 통사와 작업 기억을 분리한다.

Brain-damaged patients with phonological short-term memory deficits (markedly reduced digit span) can produce and comprehend many sentences adequately (Caplan & Waters, 1990; Vallar & Baddeley, 1984), suggesting a dissociation between the two, but others show clear deficits when syntactically complex sentences are presented (Romani, 1994). In the study by Romani (1994) the comprehension problems were not found when reading text (enabling reinspection to correct parsing) but were found for spoken sentences and when written words were presented one-by-one (which prevent reinspection and, hence, reanalysis of syntax).

시험 팁

브로카 영역의 다기능성: 브로카 영역은 ① 위계적 의존성 처리(통사 트리; 언어 외 영역도 포함), ② 언어 작업 기억(긴 복잡 문장), ③ 의미 기억 통제(인출·조작)에 모두 관여한다. 따라서 단일한 “통사 모듈”이라기보다 다기능적 인지 자원으로 보는 것이 적절하다.

Evaluation of sentence processing

Summary

브로카 영역은 문장 처리에서 다기능적이다. 통사 위계 의존성, 언어 작업 기억, 의미 기억 통제에 관여하지만 어느 것도 언어 전용은 아니다. 다른 뇌 영역, 특히 전측·후측 측두엽이 단어·문장 의미 처리에 중요하다. 통사와 의미의 부분적 분리는 환자 연구(능력 해리), 전기생리학(N400-P600 분리), fMRI(중첩되되 구별되는 신경 기반)에서 모두 지지된다.

Broca’s region appears to serve multiple functions in sentence processing. It is involved in processing hierarchical dependencies (e.g. syntactic trees) between words in a sentence. However, this may be a more general function that is not specific to language. In addition, it is important for verbal working memory which is needed for processing longer and more complex sentences. It is also important for placing words into context by retrieving or manipulating information in semantic memory.

Retrieving and Producing Spoken Words

Summary

음성 산출은 의도된 아이디어를 문장 구조로 변환하고 적절한 단어를 인출·산출하는 과정이다. 단어 인출의 효율성은 빈도(word frequency), 이미지가능성(imageability), 습득 연령(age-of-acquisition), 최근성(recency), 친숙성(familiarity) 등 다양한 변수에 영향을 받는다(Barry et al., 1997). 인출되는 정보는 ① lexicalization(의미 기반 단어 선택), ② lemma(문법적 속성), ③ lexeme(음운 형태)의 세 종류로 구분된다.

Key Terms

Lexicalization

In speech production, the selection of a word based on the meaning that one wishes to convey.

**어휘화(Lexicalization)**는 음성 산출에서 전달하고자 하는 의미에 기반하여 단어를 선택하는 과정이다. 청자 지식(화용)에 크게 제약되며, “it”, “horse”, “stallion”, “animal” 중 적절한 어휘 수준을 선택한다.

Freudian slip

The substitution of one word for another that is sometimes thought to reflect the hidden intentions of the speaker.

**프로이트적 실수(Freudian slip)**는 한 단어를 다른 단어로 대체하는 의미적 오류로, 화자의 숨겨진 의도를 반영한다고 여겨지기도 한다(Ellis, 1980). Tony Blair 영국 전 총리는 2003년 이라크 침공 의회 토론에서 “weapons of mass distraction”(대량 산만 무기, 실은 destruction)이라 잘못 말한 사례가 있다.

📊 그림 설명

단일 단어 처리 효율성의 심리언어학 예측 변수 표이다. Word frequency: 흔한 단어가 인출·인식이 쉽다(연결 강도 증가 또는 활성화 임계값 감소; Jescheniak & Levelt, 1994; Morton, 1969). Imageability/concreteness: 구체적 단어가 추상적 단어보다 인출이 쉽다(풍부한 의미 표상; Jones, 2002). Age-of-acquisition: 일찍 습득한 단어(doll)가 늦게 습득한 단어(wine)보다 유리하다(네트워크 가소성 감소; Ellis & Lambon Ralph, 2000). Recency: 최근 접한 단어가 유리하다(repetition priming). Familiarity: 친숙한 항목이 유리하다(빈도·습득 연령과 연관되지만 개인 경험 의존).

Studies of speech errors

Summary

일상 음성 오류 관찰은 단어 인출 이론을 제약하는 데 유용하다(Garrett, 1992). 오류는 단어를 단어로, 형태소를 형태소로, 음소를 음소로 교환하는 경향이 있어 이들 단위의 심리적 실재성을 시사한다. 의미 오류(cat을 “dog”라 말함, 프로이트적 실수 포함), 음운 오류(historical → “hysterical”; 말라프로피즘 malapropisms), 스푸너리즘 spoonerisms(초성 자음 교환; “you have hissed all my mystery lectures”), 혀끝 현상(tip-of-the-tongue) 등이 주요 유형이다. 단어 대체는 보통 문법 범주(명사↔명사, 동사↔동사)를 보존한다.

Observations of everyday speech errors have been useful in constraining theories of word retrieval (Garrett, 1992). Speech errors tend to swap words for words, morphemes for morphemes, phonemes for phonemes, and so on. This provides evidence for the psychological reality of these units. It is also the case that word substitutions tend to preserve grammatical class, such that nouns swap for nouns, and verbs for verbs, as in the example “guess whose mind came to name?” (Garrett, 1992). Moreover, affixation of morphemes may occur independently of retrieval of word stems (Fromkin, 1971), as illustrated by the example “I randomed some samply” (instead of “I sampled some randomly”).

Key Terms

Repetition priming

A stimulus seen previously will be identified faster on a subsequent occasion.

**반복 점화(Repetition priming)**는 이전에 본 자극이 이후에 더 빠르게 식별되는 현상이다. 단어 노출이 연결 강도를 증가시키거나 활성화 임계값을 낮춤으로써 발생한다.

Malapropisms

A speech error that consists of a word with a similar phonological form to the intended word.

**말라프로피즘(Malapropisms)**은 의도한 단어와 음운 형태가 유사한 단어로 대체되는 음성 오류이다(historical → “hysterical”; Fay & Cutler, 1977). Sheridan의 희곡 The Rivals(1775)의 Mrs. Malaprop에서 유래한 이름이다. 정상적인 단어 인출 중 유사 단어 간 경쟁이 존재함을 시사한다.

Spoonerisms

A speech error in which initial consonants are swapped between words.

**스푸너리즘(Spoonerisms)**은 단어 간 초성 자음이 교환되는 음성 오류이다(“you have hissed all my mystery lectures”). 교환된 음소가 단어 내 동일 위치를 차지하는 경향이 있다(첫 자음끼리, 모음끼리; Dell et al., 1997).

Inner speech

Use of words or images without audible or physical speaking.

**내적 음성(Inner speech)**은 들리거나 물리적으로 발화하지 않는 단어·이미지 사용이다. 내적 음성 오류는 단어 수준 교환을 보이되 유사 음소 교환은 보이지 않아, 내적 음성이 음성 산출 과정의 완전한 정신적 시뮬레이션은 아님을 시사한다(Oppenheim & Dell, 2008).

Tip-of-the-tongue phenomenon

A state in which a person knows, conceptually, the word that he or she wishes to say but is unable to retrieve the corresponding spoken form.

**혀끝 현상(Tip-of-the-tongue phenomenon)**은 개념적으로는 말하고자 하는 단어를 알지만 해당 음성 형태를 인출하지 못하는 상태이다(Brown, 1991; Brown & McNeill, 1966). “느낌으로 안다(feeling of knowing)“는 강한 좌절감을 동반하며, 빈도가 낮은 단어 정의·그림을 제시해 유도할 수 있다(예: “각도 거리, 특히 바다에서 태양·달·별의 고도를 측정하는 항해 도구” → sextant).

이탈리아어 화자는 종종 단어의 문법적 성(gender)을 알며(Vigliocco et al., 1997), 화자는 단어 길이나 음절 수를 알기도 한다(Brown & McNeill, 1966). 이는 단어 인출이 전부-혹은-전무 방식이 아니라 단어의 서로 다른 측면이 서로 다른 단계에서 독립적으로 활성화될 수 있음을 시사한다.

Key Terms

Anomia

Word-finding difficulties.

**명칭 실어증(Anomia)**은 뇌 손상으로 인한 심각한 단어 찾기 어려움으로, 정상적 혀끝 상태와 유사하지만 병리적 수준이다. 두 가지 원인이 있다: ① 의미적 어려움으로 개념 구분 실패와 정확한 단어 명시 실패(Caramazza & Hillis, 1990b), ② 단어를 정확히 알지만 음운 정보 인출 실패(Kay & Ellis, 1987).

Lemma

A modality-independent, word-level entry that specifies the syntactic components of the word.

lemma는 단어의 문법 구성요소(예: 문법 범주)를 명시하는 양식 독립적, 단어 수준 항목이다. Levelt 모델의 1단계에서 어휘화와 함께 인출된다.

Lexeme

The phonological code that drives articulation.

lexeme은 조음을 구동하는 음운 코드이다. Levelt 모델의 2단계에서 lemma 인출 완료 후 인출된다.

Discrete or interactive stages in spoken word retrieval?

Summary

Levelt 모델(1989, 2001)은 단어 인출을 두 이산 단계로 본다: ① lemma(양식 독립적, 통사 속성) → ② lexeme(음운 코드). 두 번째 단계는 첫 번째가 완료된 후에야 시작되어 음운 요인이 단어 선택에 영향을 미칠 수 없다. **Levelt et al.(1991)**은 “sheep”이 의미 연관어 “goat”를 점화하지만 “goat”의 음운 유사어 “goal”은 점화하지 않음을 보여 이산 단계를 지지했다.

📊 그림 설명

Levelt 모델의 단어 인출 도식이다. Stage 1: 어휘화(Lexicalization, 의미 개념 선택) → Lemma retrieval(통사 속성 접근). Stage 2: Lexeme retrieval / phonological encoding(syllabification, prosodification, 음절화·운율화). 두 단계는 이산적으로 분리되어 두 번째 단계가 첫 번째 완료 전에 시작되지 않으며, 따라서 음운 요인이 단어 선택에 영향을 미칠 수 없다.

그러나 혼합 오류(mixed errors)(의미와 음운이 모두 의도 단어와 유사; “rat” for cat, “oyster” for lobster; Dell & Reich, 1981)는 우연 수준보다 자주 발생하여 상호작용 모델을 지지한다. **Dell 모델(1986)**에서는 lemma 선택이 하향식 의미 활성화와 상향식 음운 활성화의 결합에서 나타난다.

📊 그림 설명

Dell 모델의 3층 상호작용 네트워크 도식이다. 상단(Semantics): 의미 자질 노드 다수. 중간(Words): FOG, DOG, CAT, RAT, MAT 등 단어/lemma 노드. 하단(Phonemes): 음소 노드가 Onsets(f, r, d, k, m), Vowels(æ, o), Codas(t, g)로 분류된다. 모든 층은 완전히 상호작용한다. cat → “rat” 같은 혼합 오류는 의미(둘 다 동물)와 음운(둘 다 /æt/) 유사성에서 동시에 발생한다. 음운→단어 상향 활성화를 허용하지 않는 모델은 이런 오류 설명에 어려움을 겪는다.

**Caramazza & Miozzo(1997)**는 혀끝 상태에서 첫 음소를 모르면서 문법적 성을 알거나, 반대로 문법적 성을 모르면서 첫 음소를 아는 경우가 있음을 발견했다. 이는 lemma 인출이 음운 정보 접근의 전제조건이 아님을 시사한다. **Caramazza(1997)**의 환자 SJD는 동사를 말하는 데는 문제가 없으나 동사를 쓰는 데 선택적 어려움을 보였다. 예: “There’s a ___ in the mirror”(명사 형태)에는 CRACK을 쓸 수 있으나 “Don’t ___ the nuts in here”(동사 형태)에는 못 썼다. lexeme이 같아도 문법적 정보가 음성과 글쓰기에서 독립적으로 표상됨을 시사하며, 이는 Levelt의 단일 양식 독립적 lemma 개념에 도전한다.

Articulation: closing the communication loop

Summary

**조음(articulation)**은 산출의 최종 단계이다. 음소는 발성(vocal chord 진동)과 조음 위치(혀-치아, 혀-구개) 등 제한된 조음 동작 집합으로 기술될 수 있으나, 많은 학자는 음소가 조음의 기본 단위가 아니라고 본다. 음절(syllable), 특히 과도 학습된 운동 패턴으로 기능하는 일반 음절이 기본 단위일 가능성이 제기된다(Levelt & Wheeldon, 1994). 인접 형태소·단어를 가로질러 음운 코드를 음절로 분할하는 과정을 **음절화(syllabification)**라 한다.

For example, the phrase “he owns it” consists of three syllables (“he,” “own,” “zit”), in which the final consonant of the word “owns” becomes the onset of the following syllable.

Broca’s area was once thought to be critical for articulation. This is now disputed. Patients with articulation disorders typically have damage to the basal ganglia and/or the insula cortex, but not necessarily Broca’s area (Dronkers, 1996; but see Hillis et al., 2004). Damage to the insula can result in difficulties in shaping the vocal tract, known as apraxia for speech (Dronkers, 1996). People with apraxia for speech know what it is that they want to say and have normal muscle tone of the speech articulators, but distort the production of consonants, vowels, and prosody. This is sometimes perceived by others as sounding like a foreign accent (Moen, 2000).

Key Terms

Apraxia for speech

Difficulties in shaping the vocal tract.

**말 실행증(Apraxia for speech)**은 성도(vocal tract)를 모양 짓는 데 어려움을 보이는 증상이다. 도엽(insula) 손상에서 비롯되며(Dronkers, 1996), 자음·모음·운율 산출이 왜곡된다. 종종 외국어 억양처럼 들리며(Moen, 2000), 운율 결손은 우측 반구 손상에서 보이는 일차적 운율 결손과 다른 조음기관 조정 결손에 기인한다.

Dysarthria

Impaired muscular contractions of the articulatory apparatus.

**구음 장애(Dysarthria)**는 조음 기관의 근육 수축 손상이다. 소뇌와 좌측 기저핵 손상에서 비롯될 수 있다(Kent et al., 2001).

**Indefrey & Levelt(2004)**는 운동 명령이 브로카 영역에 위치하지 않더라도 브로카 영역이 외현·내현 음절화 계획 단계에 중요한 역할을 한다고 제안했다. 브로카 영역은 배측 “how” 경로의 일부로 청각-운동 변환에도 관여하며, TMS를 브로카 영역에 가하면 외국어(무의미) 음성 반복 정확도가 개선된다(Restle et al., 2012). 자기 산출 음성을 들으면서 진행 중인 산출을 청각적으로 모니터링하는 데도 이 청각-운동 루프가 관여한다(Hickok, 2012).

자발 운동과 마찬가지로 음성 산출은 궁극적으로 **일차 운동피질(M1)**이 입·턱·혀의 운동을 시작하는 데 의존한다. 최근 **Brown et al.(2008)**은 fMRI로 M1 내에서 후두(larynx)의 성문 주름(glottal folds) 운동에 선택적으로 반응하는 영역을 식별했다.

시험 팁

조음 장애의 신경 해부학을 구분하자: ① 말 실행증(apraxia for speech) = 도엽(insula) 손상, 성도 모양 형성 결손, ② 구음 장애(dysarthria) = 소뇌·좌측 기저핵 손상, 근육 수축 손상, ③ 비문법증(agrammatism) = 브로카 영역(BA 44 주변) 손상과 연관(논쟁 중), ④ 명칭 실어증(anomia) = 의미적·음운적 두 원인 가능.

Summary

본 장의 핵심 결론:

  • 음성 단어 인식은 유사음 단어 간 경쟁·선택 과정(코호트 모델)이다.
  • 단어의 의미는 분산된 의미 자질 네트워크로 표상될 수 있으나, 자질의 내부 조직과 비양식/접지 여부는 논쟁 중이다.
  • 통사 결손(어순)은 의미 결손(의미)과 부분적으로 분리되나, 실어증에서 와해되는 단일 “통사 모듈”의 증거나 브로카 영역 손상에서 특이적으로 발생하는 증거는 부족하다.
  • 음성 단어 산출은 의미·문법·음운 정보의 인출을 포함한다. 혀끝 현상·명칭 실어증·일상 음성 오류 증거는 일부 정보가 다른 정보 없이 인출 가능함을 시사한다.
  • 단어 수준(lemma) 정보와 음운 수준(lexeme) 정보가 시간상 두 이산 단계로 인출되는지, 두 번째 단계가 첫 번째 완료 전 시작되는 상호작용 방식으로 인출되는지에 대한 논쟁이 지속된다.

Example Essay Questions

  • 청각 입력은 어떻게 저장된 음성 단어 지식으로 매핑되는가?
  • 음성 지각은 음성 산출과 동일한 메커니즘을 사용하는가?
  • N400과 P600 연구는 언어 처리의 인지 구조에 어떤 통찰을 제공하는가?
  • 의미 기억은 지각·행동에 특화된 뇌 시스템에 의존하는가?
  • 언어에서 브로카 영역의 역할은 무엇인가?
  • 단어 인출 모델은 의미·문법·음운에 대응하는 이산 단계를 필요로 하는가?
  • Harley, T. A. (2008). The psychology of language: From data to theory (3rd edition). Hove, UK: Psychology Press. — 언어 심리학의 상세 배경.
  • Hickok, G. & Poeppel, D. (2004). Towards a new functional anatomy of language. Special edition of Cognition, 92, 1–270. — 음성 인식 특집.
  • Friederici, A. D. (2011). The brain basis of language processing: From structure to function. Physiological Reviews, 91(4), 1357–1392. — 철저한 최신 리뷰.
  • Patterson, K., Nestor, P. J., & Rogers, T. T. (2007). Where do you know what you know? The representation of semantic knowledge in the human brain. Nature Reviews Neuroscience, 8(12), 976–987. — 의미 기억 이론과 신경 기반 요약.