들어가는 글
1. 생각의 역사
2. 어쩌다 마주친 그녀
Quote
“알파벳을 소리내 암송해보라.”
어릴 적부터 해온 일이기에 쉽게 해낼 수 있을 것이다. 그럼, 이제 다음 과제를 수행해보라.“알파벳을 거꾸로 암송해보라.”
알파벳을 일부러 거꾸로 외워본 적이 없다면, 어렵다는 것을 알 수 있다. 알파벳을 벽에 붙여놓은 교실에서 꽤 많은 시간을 보냈다면, 시각 기억을 먼저 떠올린 다음 그것을 거꾸로 읽어나갈 수 있을지도 모른다. …하지만 우리는 대부분 그러한 일을 하지 못한다.
…우리의 기억은 순차적이며 그 순서는 정해져있다. 입력된 순서대로만 출력할 수 있다. 우리는 기억의 순서를 거꾸로 뒤집지 못한다.
Important
이러한 serial한 처리랑 비슷한게 NTP task잖아.
사람이 정보처리하는 거랑 MLM보다 더 가까운 방법이고.그래서 현대 LLM들이 Decoder-Only 구조를 채택하는 건 아닌지?
결국 현대 LLM들은 사람이 readable한 출력을 만들어야 하는 구조이다보니, NTP에 유리한 구조로 학습하는 것 아닐까? 그러니 현대 LLM에서 human-like한 현상들이 조금씩 보이는 거고.
Quote
산책을 규칙적으로 한다면 지난달 첫 산책을 떠올려 보라…
아마도 구체적인 기억은 나지 않을 것이다.
…
뒤에서 설명하겠지만, 의식은 기억과 크게 다르지 않다.
…(산책하면서 만난) 그 여자와 아기가 어떤 옷을 입고 있었는지, 머리카락이 무슨 색이었는지 기억나지 않는다. 나는 그들의 외모를 구체적으로 설명하지 못한다. … 여러 사진을 보여주며 뽑아보라고 한다면 그 중에서 뽑아낼 수 있을 것이라 생각한다.
다시 말해 내 기억 속에 그녀의 외모에 대한 어떤 것이 남아 있는 것은 분명하지만, 그것을 시각화하지 못할 뿐이다. 이것은 내 마음 속에 이 사건을 기록한 사진이나 비디오가 존재하지 않는다는 뜻이다.
Important
우리가 마음, 기억 등을 저장할 때 그대로 하는 것이 아니라 가공한다는, 꽤 공감이 쉽게 가는 예시.
이러니 latent 형식으로 memory가 저장할 수도 있겠다라는 가설에 대해 나도 동의하는 바.
그리고 이걸 AE(auto-encoder)의 관점에서 기억을 저장하기 위해 compression 했으니, 이후에 사용될 떄에는 다시 up-scaling 할거고. 그러니 hallucination은 당연한 현상. 그리고 memory가 reconstructive하다는 이론들 및 실험적 증거들이랑도 잘 맞는 것 같음.
3. 패턴 인식 마음이론
CNN 같은 모듈들이 pattern 인식기로써, Visual Cortex 같은 신경학적 근거에 의해 시작되기도 했고, 뇌 내부에 정보를 패턴인식기로 구현된게 있다고 함.
신피질(neo-cortex)라고 불리는 부분은 hieracrchical한 정보처리를 한다고 함. 따라서 이게 없는 동물들은 계층구조에 대한 이해를 잘 못하는 것으로 보고되고 잇음. 사람의 경우, 뇌에도 있고, 2.5밀리 두께에 2차원 구조로 포처럼 뇌의 최외각이라는 것 같음. surface로 되어 있다는 거겠지. 곡률이 있으니, 표면적이 압도적으로 넓으면서도 부피는 잘 압축하는 걸거고.
특이한 점중 하나는 그 기본구조가 매우 균일하다고 한다. 신경과학자 버논 마운트캐슬은 신피질의 신경세포들이 기둥처럼 뭉치를 이루고 있다는 걸 발견함. 신피질은 그 안에 core가되는 denss한 부분이 recursive하게 적용되었다고 함.
noam comsky가 주장하는 recursion은 인간만의 고유한 funtionality다라는 것도 어떻게 보면 그 기원이 신경-level에서도 보인다는 게 흥이롭다.
4. 생각하는 기계 분해하기
헤비안 러닝: Hebbian Learning
: “함께 활성화되는 세포는 연결된다.”
즉, learning의 단위를 neuron이라고 잡은 건데, 이건 현대 NN들을 사용한 학습의 근본.
Question
정말 학습의 단위가 neuron인가?
이에 반론/ 다른 의견을 제시하는 걸로 대표적으로 저자 커즈와일은 이 단위가 아닌, 패턴인식기 단위라고 주장함.