Introduction
Related Papers
Methods
Results
Discussion
-
Corpus 사이즈는 어느정도 되어야 하는가?
- KF 기준은 여전히 널리 인용되고 있지만, Burgess and Livesay(1998)는 KF의 작은 코퍼스 크기 때문에 특히 저빈도 및 중빈도 단어에서 KF 빈도와 단어 명명 잠시간(naming latencies) 간의 상관관계가 낮다고 지적했다.
- 빈도 계산의 품질에 중요한 요소는 코퍼스가 기반한 출처, 즉 언어 레지스터(language register)이다. 기존에는 책, 신문, 잡지 등 주로 편집된 글을 사용했으나, 이는 어휘 변이를 과장하고 일상생활과 거리가 먼 주제를 다루는 경향이 있다. 인터넷 시대에 와서 더 자발적인 언어를 찾게 되었고, Burgess 등은 뉴스 그룹을 새로운 출처로 보았다. 인터넷 검색 엔진 결과도 대안으로 제시되었다.
- 분석 결과(Table 2, 3), 설명된 분산(variance explained)의 비율은 코퍼스 크기가 1600만 단어에서 거의 정체되는 것으로 나타났다. 고빈도 단어(빈도 > 20/백만)의 경우 100만 단어에서도 안정적인 수준에 도달하는 반면, 저빈도 단어(빈도 < 10/백만)는 신뢰할 수 있는 추정치를 위해 최소 1600만 단어 규모의 코퍼스가 필요하다. 그러나 3000만 단어 이상에서는 큰 이득이 없는 것으로 보이며, 이는 Balota et al.(2004)의 Zeno 빈도(1700만)가 HAL 빈도(13억)보다 성능이 떨어지지 않는다는 관찰과 일치한다. 결론적으로, 대부분의 실질적인 목적을 위해 1600만~3000만 단어 규모의 코퍼스로 충분하며, 이 크기 이상에서는 코퍼스의 언어 레지스터가 더 중요해진다.
-
Lemmatation은 효율적인가?
- 어형 빈도(Word Form (WF) frequency)와 파생형 빈도(Lemma frequency) 중 어느 것이 더 나은지 비교했다. 파생형 빈도는 단어의 모든 굴절형(inflected forms) 빈도의 합이다. 영어에서는 파생형 빈도가 어형 빈도보다 **어휘 판단 시간(LDT)**을 더 잘 설명하는지 Celex와 BNC 데이터를 사용하여 분석했다. 다양한 파생형 빈도 정의를 시도했지만, 전반적으로 어형 빈도보다 현저한 개선은 없었다. 특히 단어 길이(글자 수, 음절 수)를 회귀 분석에 포함했을 때 파생형 빈도의 이점은 대부분 사라졌다(Table 8). 이는 영어에서 많은 굴절형이 정신 어휘집(mental lexicon)에 별도의 항목으로 저장될 수 있음을 시사한다.
-
WF(Word freq) vs CD(Contextual Diversity) (아직 준비 중,,,)
- 어형 빈도 외에 제안된 또 다른 변수는 Contextual diversity(CD)이다. 이는 코퍼스 내에서 단어가 나타나는 문서(documents)의 수이다. Adelman et al.(2006)은 CD가 Elexicon 데이터의 분산을 1-3% 더 잘 설명한다고 보고했다. SUBTLEXUS 코퍼스에서 각 단어가 나타나는 영화의 수(CDcount)를 계산하여 CD 빈도를 만들고 분석했다. 분석 결과(Table 9), SUBTL CD 빈도는 어형 빈도인 SUBTL WF 빈도보다 일관적으로 우수한 성능을 보였으며, 1-3% 더 많은 분산을 설명했다. 이는 단어 길이와 무관하게 나타났다. CD가 WF보다 우수한 이유 중 하나는 WF 빈도가 몇몇 소스에서의 빈번한 발생으로 인해 과대 추정될 수 있다는 점이다(예: 이름으로 사용되는 단어). CD는 문서 수를 세기 때문에 이러한 왜곡에 더 강하다(Table 10, 11). 소문자로 시작하는 단어만 고려하거나 대문자로 더 자주 나타나는 단어를 제외하면 WF와 CD 간의 성능 차이가 줄어들었다. 이는 이름으로 자주 사용되는 단어를 피하는 것이 중요함을 시사한다. CD는 또한 분산 학습(distributed practice) 및 의미적 이용 가능성(semantic availability)을 더 잘 반영하기 때문에 우수할 수 있다.
- TF-IDF랑 같은 결,,
-
E-Lexicon proj에서 보면, 예전 KF를 깐 논문들에서 우리와 마찬가지로, 저빈도 단어들에서 특이점이 발견되었다고 한다. : 행동 실험 결과를 잘 설명하지 못함.
→ 이 논문에서 결론은 KF는 코퍼스가 작아서 고빈도 단어들의 빈도는 reliable할 수 있지만, low-f 단어들의WF는 reliable 하지 않다고 결론을 내렸다. 그렇다면 같은 맥락에서 이 논문에 의해 우리 코퍼스는 규모가 작으니까, 저빈도 단어들의 WF를 신뢰할 수 없고, 이는 L2 English Corpus의 특이점이 아닌, 그냥 규모가 작아서 그럴수도 있지라고 할 수도 있을 것 같음.
- 그렇다면 이 포인트에서 우리는 전체 코퍼스 빈도 상관 값과 OLD 값은 HAL, SUBTLEX랑 매우 유사하다고 주장해야 겠지. 그리고 쐐기를 박으려면 KF는 이 둘과 다른 상관을 보인다고 까야 우리가 살 수 있겠지.
- 그리고 역시나 우리 빈도로 행동 실험이 잘 설명될지가 거의 필수로 들어가야 하지 않으려나 모르겠네. L2 대상으로 행동 실험하고 설명력이 높다는게 검증이 되어야 우리 코퍼스의 유용성을 주장할 수 있을 것 같은 흐름??