심리학 실험법

CHAPTER 1 관찰을 제대로 하는 법

과학으로서의 심리학

수량적 설계

실험적 방법

변인들을 통제하여 인과관계를 분석. → 인과 관계를 설명할 수 있는 방법이기에 과학에서 사용됨.

상관적 관찰

실험이 불가능할 때, 차선.

독립 변인과 종속 변인이 변할 때 둘 간 얼마나 연관이 있는지.

💡

상관은 “인과”를 설명해주지 않는다. 따라서 결과해석에서 주의!

제 3변인, 방향성 문제가 반례

설문조사

self-report 형식이기에 개개인이 스스로에 대해 얼마나 잘 파악하고 있는지에 따라 조사의 신뢰도가 영향을 받음.

→ 보완하기 위해 검사-재검사 등 방법을 사용.

기록 연구

이미 존재하는 기록이 있다면 추가 비용이 들지 않는 장점이 있지마, 이러한 경우 자체가 적은게 단점이기도 하다. 또한, 대부분의 기록 자료를 기록한 주체들이 전문성을 가지지 않기 때문에 결과의 신뢰도 역시 보장하기 쉽지 않다.

질적 설계

모든 것이 수로 표현될 수 없다.

문화기술지

“기술”이라는 단어 말 그대로 보다 철저히 객관적인 시각에서 사건을 묘사하고 정리한다. 어떠한 배경지식이 없는 상대에게 서술하듯.

자연적 관찰

우리가 결국 궁금한 것은 자연스러운 일상에서 일어나는 현상에 대한 설명인데, 과연 실험처럼 인위적인 환경에서 연구한 결과가 그대로 자연에서 드러날까?

다면, “관찰”을 하는 것이기 때문에, 이를 통제하기 어렵고 → 어떠한 변인이 결과를 야기하는지 분석하기 쉽지 않다.

사례사

수량적 대 질적 설계

여러 방법을 동시에/.

설계	장점	단점
실험적 방법	- 엄밀한 통제 가능

• 인과적 결론 가능
• 정확한 측정 가능
• 이론 검증 가능 | - 인위적 환경이 전형적임
• 전형적으로 개입을 많이 함 -복잡한 행동은 측정이 어려움
• 비구조화된 탐색적 연구가 어려움 | | 상관적 관찰 | - 변인들 간의 관계를 밝힐 수 있음
• 엄밀한 측정히 보통 가능
• 개입이 보통 낮음 | - 인과적 결론이 불가능
• 변인의 통제가 어려움
• 많은 참가자들이 필요함 | | 설문조사 | - 자료 수집의 효율성
• 태도나 의견을 측정할 수 있음 | - 인과적 결론이 불가능
• 자기 보고 를 입증하기 어려움
• 편파적이지 않은 표짐을 선정하기 어려움
• 우송하는 경우 반응률이 낮음 | | 기록 연구 | - 추가적 자료 수집이 불필요
• 진귀한 행동 연구 가능
• 조작할 수 없는 사건 연구 가능 | - 적절한 기록이 종종 없음
• 비과학자에 의해 자료가 수집됨
• 기껏해야 상관적 자료가 보통임 | | 문화 기술지 | - 익숙하지 않은 상황 기술 가능
• 복잡한 행동 기술 가능
• 개입 낮음
• 참가자를 인간적으로 다룸 | - 변인의 통제 불가능
• 엄밀한 측정 어려움
• 연구자의 편견 가능성
• 인과적 결론 불가능 | | 자연적 관찰 | - 실제적 환굥이 일반화에 도움을 줌
• 개입 낮음 | - 변인의 통제 불가능
• 자료수집의 비효율성
• 연구자의 편견 가능성
• 인과적 결론 불가능 | | 사례사 | - 진귀한 사례 연구 가능
• 복잡한 행동을 집중적으로 연구 가능 | - 변인의 통제 불가능
• 자료가 잘못된 기억에 의존될 수 있음
• 연구자 편견 가능성이 매우 높음
• 인과적 결론 불가능 |

요약

CHAPTER 2 실험하는 법

변인

독립

종속

종속 변인은 독립변인이 fix되면 같이 fix되는 값을 의미하는데, 우리가 추정하는 가설을 이에 따라 나눠보면

1. 등가설(non-directional hypothesis): 단순히 종속변인이 독립변인에 의해 변할 것이다.
2. 부등가설(directional hypothesis): 위에서 구체적인 방향성까지 제시한 경우.

통제

실험을 할 때, 통제변인을 조작하는 것이 중요하지만, 지나지게 조작할 경우, 일반성을 잃을 수 있다.

[용어]

외적 타당도 = 일반화 가능성

→ 너무 고도로 통제하면 특수한 1가지 상황을 가리킬 수 있기 때문에 우리의 목적인 일반화에서는 거리가 생긴다.

무선

random sampling(무선 표집, selection) → 외적 타당도 보장.

random assignment(무선 할당) → 무선 변인 : 한 변인에 대해서 참가자들을 나눌 때, 어떻게 나눌 것인가?

제약 내 무선화

실험을 설계하다 보면, 일부 제한이 생길 수 있다. 예를 들어, 두 level의 자극을 주어 무언가 비교를 하려고 하는데, 동전으로 결정한다고 해보자. 그러면 확률적으로 한 level의 자극 만 받는 경우도 생기는데, 이러한 경우는 우리가 원하는 것이 아니다. 우리는 두 level간 자극에 대한 노출 수가 동일한 것을 원하므로 “제약”을 걸어 무선화한다.

오염변인

코카콜라와 펩시의 맛 비교 실험 시 ‘Q’ vs ‘M’: 오염변인

내적 타당도: 종속변수의 변화가 오로지 독립 변수에 의해서만 일어난 것이 맞나? 외부 요인은?

내적 타당도에 대한 위협요인

역사

역사적 event? 적절한 표현을 말하기 힘들지만, 어쨌든 실험기간 동안 어떠한 사건이 영향을 줄 수 있다는 것이다. 대학생들을 대상으로 한 연단위 실험 같은 예시에서 같은 과목이라도, 올해의 수강생 성취 수준과 작년 수강생의 성취 수준이 다른 이유에는 여러 가지 요인이 있을 수 있다는 것이다. 대학에서 더 높은 수준의 학생들을 선발했다 던지, 올해는 유난히 재수강자들이 많다던지..

성숙

피험자가 나이를 먹으며, 혹은 경험이 많아짐에 따라,

선택

참가자를 무선적이 아닌 자원으로 배정할 때 발생.

e.g. 봄학기 vs 가을학기에 심리학을 듣는 수강생들의 구성 _> 봄학기는 아무래도 신입생들이 많지 않을까?

사망률

실험 중 중도 탈락. 전반적인 탈락이 아닌, level간 차별적 탈락이 문제.

e.g. 새로 승진한 경영자들에게 스트레스 상황에서 면역이 되도록 하는 프로그램 실행 무선 선발하여, 실험집단은 피고용자와 마찰을 받게하고, 통제는 그대로. → 스트레스 상시 노출 집단에서 불평이 줄었다고 결과!! → 진짜? → 각 집단에서 얼마나 탈락함?, 훈련이 더 민감하게 만든 것은 아닌가?

→ 이럴 경우, 오히려 사망률에 기인

검사

단순히 검사만으로도 피검사 집단에 변화를 초래.

e.g. 광고가 자회사의 상품 인지도에 영향을 주는지 2차례에 걸쳐 검사를 한다고 가정. 이 때, 1차 이후 사람들은 상품에 대한 전반적인 민감도가 올라 차후 결과가 초기 결과보다 더 높은 결과를 얻을 가능성이 높다.

통계적 회귀: 평균으로의 회귀

너무 극단적인 결과는 주의해서 볼 필요가 있다. 이후 시행에서 평균에 더 근접한 결과를 얻기 매우 쉽기 때문.(확률적으로)

선택과의 상호작용

여러 위험들이 복합적으로 작용.

e.g. 역사, 성숙이 연령별 왼손잡이 비율에 미친 영향.

• 어린 사람들 분포에서는 10%, 노년층에서는 0%

실험적 방법의 요약

CHAPTER 3 실험 아이디어 얻는 법

실험 아이디어에 관한 공포

천재공포증

💡

사람 다 똑같다.

모방공포증

💡

새로운 게 별거냐. 다 모방에서 시작하는 거지.

장치공포증과 수작업 공포증

단순성 공포증

계산공포증

불완정 공포증

비과학적인 것처럼 들리는 것에 대한 공포증

일 공포증

관찰

공공장소에서의 관찰

자신을 관찰하는 것

친구를 관찰하는 일

어린이들의 관찰

애완동물이 관찰

대리적 관찰

논문 같이 타인의 관찰이 정리된 것으로 간접 관찰

자신의 연구를 확장하는 것

아이디어를 얻기 위한 이론의 이용

구조상 반증되는 것이 훨씬 쉽기 때문에 과학자들이 할일 → 반증

💡

“아무리 많은 흰 백조를 봤다해도 모든 백조가 희다는 이론은 증명하지 못한다. 단 한마리의 검은 백조를 봤다면, 반증은 가능하겠지만.”

이론의 유형

좋은 이론의 특성

이론은 항상 자료수집에 선행하는가?

심리학적 연구의 중요성

CHAPTER 4 참가자를 올바르게 대하는 법

인간 참가자를 올바르게 대하는 법

피험자 x, 피실험자 x, 참가자o

예의의 규칙

1. 참석하라.
2. 시간을 엄수해라.
3. 준비해라.
4. 정중하라.
5. 사생활을 보장하라.
6. 전문가가 되라.

동의

IRB(기관심사회)에서 중요시 하는 부분. 참가자에게 동의 의사전달을 받았는가?

[심리학자의 윤리적 원칙과 행동 규준-동의]

심리학자의 윤리적 원칙과 행동규준- 동의 면제

요구 특성

참가자가 실험자가 주는 단서로부터 실험에 대한 내용을 파악, 기대하려는 특성. → 이게 때로는 실험 결과에 영향을 준다.

• 요구특성에 따른 참가자들의 반응

  • 협조적 참가자들

    대부분은 여기에 속한다.(자발적으로 실험에 참여하러 온거니까.)

    하지만, 보통 이러한 애들도 순수한 참여자들과 별반 다르지 않다.

    보통은 실험자에게 좋게 보이려는 방향으로 한다.

  • 방어적 참가자들

    자신을 좋게 보이도록 하는데 힘쓰는 유형.

  • 비협조적

    골타먹이는, 분탕치는 유형.

    그러나, 실험 결과에서는 배제할 수 없다.

• 요구특성을 어떻게 최소화할 것인가?

  • 자동화

    컴퓨터에게 맡긴다.

  • 은폐 및 이중 은폐

    실험자와 참가자 모두에게 독립변인 수준을 모르게 하는 것. 신약 개발 시 참가자 a에 대해서 참가자와 실험자 모두 a가 통제집단인지, 처치집단인지 모르게 하는 것.

    💡

    호손 효과: 독립변인의 영향보다는 실험자가 참가자들에게 주의를 기울인 것 만으로 나타나는 효과. → 공장 조명을 바꿨더니, 처지집단과 통제 집단 모두 능률이 올라감.

  • 복수 실험자

    해석의 편파성을 줄여줌.

• 여러분의 실험에서 요구특성이 문제인가?(요구특성을 탐지하는 절차들)

  • 실험 후 질문법

    💡

    질문을 편파적으로 하지 않도록.

    “여러분은 다른 참가자가 실제 참가자가 아니라는 것을 몰랐지요?”

  • 비실험

    실험집단과 비실험집단의 비교. 비실험 집단은 실험을 진행하지 않고, 시험 방법과 장소를 본 뒤에 어떠한 방식으로 실험을 할 것이다라고 설명.→ 독립변인 조작에 노출되지 않음.

    이때, 비실험집단의 결과와 실험집단의 응답 분포가 비슷할 경우, 요구조건을 참가자가 알아낸 것으로 판단. 그래야 분포가 비슷한게 설명되니까.

    근데, 무선표집이 잘되어서 둘 다 정규분포의 형태를 보인다고 하면, 그게 맞나?

  • 모의실험 통제집단

    위의 비실험집단을 통해 요구특성을 알아내는 방법은 완벽하지 않다. 오히려 경우에 따라서는 잘못된 결과를 알려주기도 한다.

    “최면에 걸린 사람들은 자해 혹은, 반사회적 행동을 할 수 있는가?”라는 실험.

    방울뱀을 유리로 격리시켜두고, 최면에 걸린 사람들에게 그것을 밧줄이라 하고 잡아라. → 최면에 걸리지 않은 41/42는 거부.

    1952년 반복실험에서는 최면에 걸린 7/8은 잡으려 했다.

    1965, 모의실험 통제집단이라는 개념을 만듦. 실험 상황에 노출되나, 독립면인의 조작을 받지는 않는(즉, 최면에 걸리는 정도로 구분되지 않는 → 매우 잘 걸리는 집단만 사용???)

    그러나, 최면에 걸렸다고 가정을 받는 집단 역시 대부분 지시에 따름. → 안전 보장이라는 요구특성을 알아차림.

대안적인 실험자-참가자 관계

참가자들이 순수하지 않고, 자신들의 문제해결 능력을 이용한다는 사실을 인정하고 들어가는 경우에는?

• 속임수와 역할놀이

  속임수 잘못된 단서를 주어, 참가자들이 요구특성에 대한 오해를 하도록 만든다. 요즘에는 줄고 있는 트렌드.

  

  이에 대안으로 역할놀이가 제안됨. 참가자들이 어떠한 상황에 놓여 있다고 상상하게 만든 → 일부에서는 속임수와 동일한 결과가 나오지만, 대부분의 상황에서는 그렇지 않다.

• 자연적 관찰법

  어느 정도까지 개입하는 일 없이 관찰할 수 있는지가 관건.

• 요약

  1. 실험의 윤리적 수용성을 평가하라.
  2. 참가자가 위험한지를 알아보라.
  3. 윤리적 절차에 대해 책임을 져라.
  4. 참가자에게 위험을 알리고 동의를 얻어라.
  5. 속임수가 정당하고 필요한지를 결정하라.
  6. 참가자들의 참가를 거부할 자유를 존중하라.
  7. 불편함과 손해와 위험으로부터 참가자를 보호하라.
  8. 실험이 끝난 후 사실을 알려 주어라.
  9. 실험참여로 인한 바람직하지 못한 결과들을 제거하라.
  10. 연구로 부터 얻은 개인 정보에 대해 비밀을 보장하라.

동물을 올바르게 다루는 법

왜 심리학자들은 동물에 대한 연구를 하는가?

동물 연구 비중은 통상 연구의 6-8% 정도라고 함.

• 행동의 연속성

  💡

  진화적 관점에서, 특정한 행동저거 능력은 진화의 역사 초기에 발생했기 때문에, 인간의 가장 보편적인 행동 형태들은 하등동물들에게도 있고, 이 점에서 보편적인 기초 행동들을 연구할 수 있다눈 가정에 기반!!

• 통제

  1. 거의 언제나 실험을 할 수 있다.
  2. 환경과 유전에 조작을 가해, 재생산 및 출생에 관련된 연구 가능.

• 독특성

  초파리- 번식 속도가 빠르고, 단순한 염색체를 지녀, 유전을 연구하기에 적합.

  오징어- 큰 신경세포를 가지고 있어, 연구에 용이

• 돌이킬 수 없는 결과

  사람을 대상으로 할 수는 없으니까,,(해부나 신경 연구 등)

동물 윤리

미국 심리학괴 사이트에 자세한 법규가 일부 있다.

조금 더 자세한 논의에 관련된 내용은

[Guidelines for Ethical Conduct in the Care and Use of Animals, 1986]

[Journal of the American Veterinary Medical Association, 1989]

💡

치유 불가능한 병이나 영원히 절름거려야 하는 상해를 입은 우리들에게 희망은 오직 연구를 통한 치료의 발견에 있다. 이런 실험적 연구들은 대게 동물을 사용하는 것이 필요하며 우리는 인간의 권리와 동물의 복지 사이에서 타협해야 한다. 인간의 고통을 감소시키는 것과 동물의 복지를 침해하는 것, 때로는 이것이 동물에 대한 고통과 불편을 초래하더라도 나는 망설임 없이 인간의 고통을 감소시키는 것을 선택한다.(p.535)

-Dennis Freeney[Americana Psychologist(1987)]

CHAPTER 5 과학을 올바르게 대하는 법

비열한 책략

위조하기

1. Kammerer의 획득 형질 유전 → 도룡뇽에 직접 잉크 주입
2. Lysenko의 획득 형질 유전 → 결과 조작
3. ESP

표절

주의하자. 표절은 의도와 무관하게 결과로 따진다. 즉, 옳게 인용하는 것이 매우매우 중요하다.

• 되도록 1차 출처로 인용해라.

자격 인정물의 위조

미국 심리학회 윤리기준- 5.01항 (b)

• 심리학자는 다음 사항과 관련하여 거짓되거나 속이거나 위조된 진술을 하지 않는다.
  • 교육, 경력, 능력
  • 학위
  • 자격증명
  • 소속 및 협력 기관
  • 서비스
  • 서비스의 과학이나 임상적 기반, 결과, 성공의 정도
  • 요금
  • 출판물 및 연구 성과

문제가 되는 책략

실험설계

요구특성들을 최소화하거나 혹은 발견조차 하려고 하지 않을 때

자료수집

자료를 수집하는데 있어서, 실험자의 주관이 작용할 수 있는 부분에 대해서는 민감하게 처리해야 한다. → 참가자가 집중하지 않는 시간을 측정해야하는 상황에서, 참가자가 눈을 감고 질문지를 작성한다면 이를 어떻게 해야 하는가?

편견이 작용하면 안된다.

자료 분석

통계를 사용할 때도 역시 주의해야 한다. 어떠한 통계 기법들을 사용할 때, 각각의 가정들을 잘 살필 것.(e.g. 정규분포를 따른다거나 등)

결과의 보고

그래프 같은 거 그릴 때, 척도 잘 선택하고

멋진 책략

제외하기

실험결과가 원치 않는 방향으로 나와서 삭제하는게 아니라, 혼동이나 무언가 예기치 않은 상황으로 인해 잘 정돈되지 않은 결과라면 과감히 버려라.

재조직화

실험을 하다가, 예행 시험이나, 순서 등 조금 더 정리하는 것이 더 논리적이고 바람직하다는 것을 느꼈다면 그렇게 보고해라. 별로 문제거리가 아니다. 자료를 왜곡하는 것이 아니라면.

재형식화

실험을 행하게 한 이유보다 더 나은 이유가 나중에 발견할 수도 있을 텐데, 그렇게 해라. 중요한 점은, 효율적인 방법으로 지식체계에 추가하느냐에 두어야한다.

CHAPTER 6 기존 연구를 알아내는 법

문헌을 조사하는 이유는?

💡

발견한 것은 잘 정리해두어라. 시간을 아껴줄 것이다.

정보의 출처와 그 적시성

공식적으로 접하는 자료가 3-4년 전이라는 걸 명심해라. 이것에만 의존하는 것은 트렌드에 늦춰진 일이다. 다만, 커뮤니티가 없는 신생 연구자들은 뭐..

공식적 출처

책

💡

“시대에만 약간 뒤떨어졌을 뿐”, 함축하고 있는 내용이나 체계가 잘 정립되어 있다.

개관 논문 및 책

psychological bulletin → 개관 논문들 모음집.

annual review of Psychology

학술잡지 논문(primary sources) - 가장 최신의 것

• American Journal of Psychology
• Animal Learning & Behavior
• Audiology
• Behavioral and Brain Science
• Cognition
• Cognitive Psychology
• Current Directions in Psychological Science
• Developmental Psychology
• Journal of Abnormal Psychology
• Journal of Applied Psychology
• Journal of Cognitive Neuroscience
• Journal of Comparative Psychology

회보(학회보고서)

전문보고서(technical report)

정부 지원 관련 분야에서는 중요하게 다뤄짐.

전자 출판물

PsycINFO

공식적 문헌 찾기

참고문헌에서 가지치며 문헌 앞, 뒤로 찾아가기

별쇄본 요청

저자한테 이메일로 요청하는 걸 두려워 하지 말라. 대부분은 반길 것이다. → 진짜..?

현행 연구

스미소니언 과학정보교류(Smithsonian Science Information Exchange)

비공식적 출처

전문가 모임

연구 모임

교수

CHAPTER 7 조작하고 측정할 변인을 결정하는 법

독립변인의 선택

독립변인의 정의

독립 변인이 무엇인지 정의하고 실험에서 그 정의를 사용하기 위해 심리학자들은 “조작적 정의”를 설정한다.

독립변인의 범위 선택

범위 = range, 선택한 변인의 최고, 최저 수준 차. e.g. 폭력 / 비폭력 이 변인이라 했을 때, 폭력적이다의 기준이

1. “모든” 사람들이 동의 했을 때
2. “50%” 이상의 사람들이 동의했을 때

→ 범위가 다른 것이지. 50%의 기준을 적용한 경우가 각각의 집단이 덜 극단적인 경우일테니, 이 경우가 범위가 상대적으로 좁음.

이러한 범위를 정하는 것은 기술의 영역. 그러나 유용한 point를 제공하자면,

• 1.현실적일 것

  💡

  “꽝 때림”(sledgehammer) 효과를 경계해라! → 너무나 과도한 기준을 적용하여, 비현실적으로 나뉘는 두 집단에서 도출할 수 있는 결과는 없다.

  e.g. 대부분 vs outlier 이런 식으로 집단이 분리된다면, 결과가 유의미할 가능성이 거의 없겠지.

  마리화나를 생쥐에게 인간으로치면 거의 트럭분에 해당하는 양을 주입. → 결과가 인상적일수도 있으나, 실용적이지는 못함.

• 2.효과를 보이는 범위를 선택할 것

  독립변인의 효과가 존재한다면, 현실적이어야 한다는 제한 내에서 종속변인에 미치는 효과를 보여 주기에 충분할 만큼 큰 범위를 설정해야 한다.

  e.g. 실내온도가 분류작업을 하는 데 수작업의 정교성에 영향을 주는지. → 독립 변인 수준을 23℃, 25℃로 사용했다면, 잘못된 결론을 내릴수도 있음.(정교성에 영향을 줄 온도의 변산성이 너무나 작기 때문에.)

• 3.예비실험을 실시할 것

  문헌이나, 선행연구에서 범위를 결정하는데 도움을 받을 수 있지만, 여의치 않다면, 예비실험으로 범위에 대한 아이디어를 얻자.

종속변인의 선택

다시 조작적 정의로

종속변인 역시 조작적으로 정의되어야 하며, 정의하는 일이 독립변인 못지 않게 어렵다. 또, 이러한 정의가 타당한가도 신경써야하며, 측정치가 신뢰할만한지도 고민해보아야 한다.

신뢰도와 타당도

신뢰도: 동일한 것을 측정했을 때, 얼마나 조밀한(상관이 높은) 측정치를 보장하는가.

! 신뢰도를 측정하는 방법

신뢰도 측정법	장점	단점
검사-재검사:

동일한 검사를 동일한 집단에세 나중에 한 번 더 시키는 것.

두 시행에 걸친 점수의 상관관계가 신뢰도를 결정. | - 동일한 항목을 사용한다.

• 실시하기가 간단하다. | - 첫 검사가 둘째 검사를 오염시킬 수 있다.

• 시간이 지나면서 응답자들이 변화될 수 있다. | | 동형:

첫 검사와 유사한 항목들로 구성된 두 번째 검사를 동일 대상으로 시행.

마찬가지로 두 결과의 상관값이 신뢰도 결정. | - 동일 항목의 반복에서 오는 오염효과를 최소화할 수 있다.

• 재검사 할 대까지 시간이 덜 걸린다.

• 검사-재검사 방안에 사용하기 유용하다. | - 다른 항목을 사용하는 것이 신뢰도를 저하시킨다. | | 반분:

동일한 검사를 두 부분으로 나누고(홀, 짝 등) 두 부분 간 상관 도출. | - 동일 항목의 반복에서 오는 오염효과를 최소화할 수 있다.

• 재검사 때까지 시간이 경과될 필요가 없다.

• 한 번에 끝난다. | - 다른 항목을 사용하는 것이 신뢰도를 저하시킨다.

• 검사의 길이가 길어진다. |

💡

타당도: 우리가 특정하고자 하는 것을 측정하고 있나?

e.g. 우리가 탁자가 몇인치인지 측정하고 싶다고 하자. 이 때, 만약 우리가 표준 인치 자를 사용하지 않고 이상한 자를 사용한다면, 타당하지 않은 것이다. 다만, 자가 고무처럼 늘어나지 않고 일정하다면 신뢰도는 높겠지.

💡

측정이 타당한 것임을 다른 사람에게 확신시키기 위해서는 양측 모두가 변인의 타당한 측정치라고 동의하는 어떠한 표준과 비교해야 한다.

검사 결과가 종속변인으로 사용된다면, 검사의 타당도 역시 신뢰도와 마차가지로 보다 공식적으로 설정되어야 하는 경우가 종종 있는데, 아래로 나뉜다.

• 1.안면 타당도(face validity)

  검사가 실제 무엇을 측정하려는지 검사의 내용을 보면, 알 수 있다는 것을 의미.

  너무 주관적이어서 잘 사용되지 않음.

• 2.내용 타당도(content validity)

  검사가 다루고 있는 주제를 그 검사의 내용의 측면에서 상세히 분할한다. 밝혀진 각 내용의 영역에서 대표적인 질문들을 뽑아 검사를 만든다.

• 3.예언 타당도(predictive validity)를 설정.

  검사가 특정한 기준에 대해 성공적으로 예측할 수 있는가.

  e.g. 고등학생들이 대학 입학을 위해서 치르는 시험의 가치는 그 검사가 학생들의 대학 학점을 부분적으로 예측해준다. → 높은 상관이 있다면, 가치가 있는 것이겠지.

• 4.동시 타당도(concurrent validity)

  특정 기준과 검사 결과를 비교함으로써 설정되지만, 이 경우 두 측정이 동시에 이루어진다.

  e.g. 아동 공격성 측정치로 삼기 위해서 텔레비전을 보는 아동의 부모들에게 실시할 설문지 점수와 해당 아동의 공격성에 대한 선생님들의 평가치들 간의 상관을 냄.

💡

우리가 할 수 있는 최선의 방법은 논리적인 측면에서 그 측정치가 타당하다고 주장하는 것일 때가 종종 있다.

직접 관찰이 가능한 종속 변인

관심 있는 행동을 보다 직접적으로 관찰하면, 측정치에 대한 논란이 줄긴 하지만, 우리의 관심이 인간의 마음 작용에 있다면 어떻겠는가.

e.g. 인간의 기억에 관심이 있어, 기억될 자료를 제시하는 두 방법을 비교해보고자 한다. 참가자의 기억량을 측정하고 싶다면, 일주일 뒤 무엇을 기억하냐라고 물어보면 된다. 이때 재인과제를 시키느냐, 회상: 인출 과제를 시키냐에 따라 결과가 달라질 수도 있다. → 직접 관찰한 것으로 생각되던 부분도 이러한 부분에서는 결국 간접 관찰이다.

• 단일 종속변인

  실험 결과를 측정할 때, 기록할 수 있는 대상은 매우 많다. 반응 시간을 재는 실험에서 누르는 정도, 손가락의 방향, 시간 등. 그러나 우리가 다루는 것은 그중에서 “선택한” 시간이다. → 이게 단일 종속변수로 사용됨.

  이 때, 타당도를 잘 생각하여 정해라.

• 중다 종속변인

  타당한 종속변인을 사용할 가능성을 높이기 위한 한 가지 방법으로 여러개의 측정치를 사용하는 것.

  반응을 보는 실험에서는 반응시간과 정확도 모두를 기록!

• 복합 종속변인

  여러가지의 종속변인들을 좀 더 쉽게 해석하기 위해 묶어서 하나로 처리.

  e.g. IQ = 언어성 척도 + 동작성 척도

간접 종속변인

정서, 학습, 지능 같은 분야는 직접적 관찰로 명확한 측정 대상을 잡기 힘듬.

• 생리측정치

  거짓말 탐지기 → 맥박, 혈압, 동공 크기 등

• 행동측정치

  생리 측정치와 마찬가지로, 한 개인이 행동과제를 수행하는 방법의 변화가 그 사람의 내적 상태를 반영할 수 있다.

  e.g. 특정 과제를 완성하는데 얼마나 많은 정보가 처리되는지 알고 싶다. → 인지적인 정보들을 처리하는 데 제한된 자원만을 사용할 수 있다면(총량이 일정하다), 얼마나 많은 정보를 처리되었는지 알 수 있는 방법은 반응 시간을 측정하는 것이다.

  이중과제 방법(dual-task methodology)은 과제를 수행하는 동안 그 과제 처리에 어떤 것들이 필요한지를 간접적으로 결정할 수 있다. 이 경우, 일차적으로 관심이 있는 과제가 수행될 대 두 번째 과제가 제시된다. 참가자는 일차 과제에 투입하고 남은 자원을 이차 과제에 사용한다.

  e.g. 문장을 읽다가 소리가 들리면 버튼을 눌러라.

  • perplexity

    이중 과제 방법(Dual-task paradigm)은 실험 심리학에서 사용되는 중요한 연구 기법입니다. 이 방법의 주요 특징과 적용에 대해 설명드리겠습니다.

    이중 과제 방법의 정의

    이중 과제 방법은 개인이 두 가지 과제를 동시에 수행하도록 요구하는 실험 절차입니다[1]. 이 방법을 통해 연구자들은 단일 과제 수행과 이중 과제 수행 시의 성능을 비교할 수 있습니다.

    주요 원리

    1. 자원 경쟁: 두 과제가 뇌의 동일한 정보 처리 자원을 사용할 경우, 서로 간섭을 일으킵니다[1].
    2. 수행 저하: 두 과제를 동시에 수행할 때 한 과제 또는 두 과제 모두에서 성능 저하가 나타나면, 이는 두 과제가 서로 간섭한다는 것을 의미합니다[1].
    3. 인지 자원의 한계: 이 방법은 인간의 정보 처리 자원이 제한적이며 공유 가능하다는 가정에 기반합니다[1].

    적용 분야

    이중 과제 방법은 다양한 분야에서 활용됩니다:

    • 인지 부하 측정: 학습 상황에서 인지 부하를 측정하는 데 사용됩니다[7].
    • 주의력 연구: 분할 주의력의 기본 원리를 연구하는 데 활용됩니다[4].
    • 작업 기억 연구: 작업 기억의 용량과 처리 과정을 조사하는 데 사용됩니다[6].

    실험 설계

    1. 주 과제와 부 과제: 연구자가 관찰하고자 하는 주 과제와, 이와 무관한 부 과제로 구성됩니다[7].
    2. 측정 지표: 반응 시간, 오류율 등을 통해 인지 자원의 사용을 측정합니다[7].
    3. 과제 우선순위: 주 과제와 부 과제의 중요도를 명확히 지정해야 합니다[7].

    이중 과제 방법의 장점

    4. 연속적 평가: 주관적 평가와 달리, 학습 과정 중 실시간으로 성능 변화를 모니터링할 수 있습니다[7].
    5. 인지 변화 추적: 성능 변화를 통해 지식 구조의 형성과 관련된 인지적 변화를 추적할 수 있습니다[7].

    이중 과제 방법은 인지 심리학 연구에서 중요한 도구로 사용되고 있으며, 인간의 정보 처리 능력과 한계를 이해하는 데 큰 도움을 주고 있습니다.

    Sources [1] Dual-task paradigm - Wikipedia https://en.wikipedia.org/wiki/Dual-task_paradigm [2] [PDF] DUAL TASKS FOR MEASURING COGNITIVE LOAD https://www.uni-bamberg.de/fileadmin/bildungsforschung/Publikationen/Schoor/Schoor_Bannert_Bruenken2012.pdf [3] Paradoxical benefits of dual-task contexts for visuomotor memory https://pmc.ncbi.nlm.nih.gov/articles/PMC4323941/ [4] Dual-Task Methodology - Cognition in Class https://cognitioninclass.swanpsych.com/dual-task-methodology/ [5] A Current View on Dual-Task Paradigms and Their Limitations to … https://pmc.ncbi.nlm.nih.gov/articles/PMC8173029/ [6] Dual-task interference in visual working memory: A limitation in … https://pmc.ncbi.nlm.nih.gov/articles/PMC2784651/ [7] A Current View on Dual-Task Paradigms and Their Limitations to … https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2021.648586/full [8] The dual-task practice advantage: Empirical evidence and cognitive … https://pubmed.ncbi.nlm.nih.gov/31152433/ [9] A Current View on Dual-Task Paradigms and Their Limitations to … https://pubmed.ncbi.nlm.nih.gov/34093335/ [10] Cognitive-Motor Dual Task Interference Effects on Declarative Memory https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2020.01015/full [11] Note on the Dual-Task Paradigm and its Use to Measure Listening … https://journals.sagepub.com/doi/10.1177/23312165241292215?icid=int.sj-challenge-page.citing-articles.151 [12] Dual-task effects in working memory: Interference between two … https://www.researchgate.net/publication/230673624_Dual-task_effects_in_working_memory_Interference_between_two_processing_tasks_between_two_memory_demands_and_between_storage_and_processing [13] What is Dual-Task Paradigm | Explained in 2 min - YouTube https://www.youtube.com/watch?v=BB5v0Lbz8Nw [14] Instructions for the Dual Task Experiment https://psych.hanover.edu/javatest/cle/cognition/cognition/dualtask_instructions.html [15] dual-task performance - APA Dictionary of Psychology https://dictionary.apa.org/dual-task-performance [16] An example of a dual-task trial in Experiment 1. in … - ResearchGate https://www.researchgate.net/figure/An-example-of-a-dual-task-trial-in-Experiment-1-in-the-dual-task-condition-participants_fig1_5238425 [17] Working Memory Model (Baddeley and Hitch) - Simply Psychology https://www.simplypsychology.org/working-memory.html [18] Timing and Attention: a Dual-task Experiment from Binet (1890) in https://brill.com/view/journals/time/9/3/article-p225_225.xml?language=en

요약

CHAPTER 8 피험자 간 대 피험자 내 설계를 결정하는 법

참가자를 할당하는 기본 적 두 가지 방법

1. 피험자 간 설계(between-subjects design) : 변인이 최소한 두 명의 참가자 간 조작됨. → 한 사람은 한 변인 내에만 존재.
2. 피험자 내 설계(within-subjects design) : 단일 참가자 내에서도 변인이 조작됨.

[between]

독립변인
수준 1	수준 2
참가자 1	참가자 4
참가자 2	참가자 5
참가자 3	참가자 6

[within]

독립변인
수준 1	수준 2
참가자 1	참가자 1
참가자 2	참가자 2
참가자 3	참가자 3

피험자 간 실험

장점

1. 독립변인이 한 수준에 노출된 것이 다른 수준에 노출된 참가자들의 행동에 영향을 주지 않는다.
2. 실용적인 측면에서 한 사람이 실험을 한 번만 하면 되니, 시간이 절약된다. 또, 참가자들의 집중력이 떨어질 확률이 작다.

단점

1. 독립변인의 각 수준에 할당되는 집단이 다른 수준에 할당되는 집단과 몇몇 차원에서 동등하지 않을 가능성이 있으며, 이러한 차원이 측정치를 편향시킬 수 있다. → 무선 할당이 필요한 이유.

피험자 내 실험

실용적 장점

• 참가자 수를 줄일 수 있다.

통계적 장점

• 참가자들 간의 개인차를 최소화하려는 최선의 방법이기 때문에 유용. → 7mm, 13mm 스파이크 신발 성능 비교를 위해 두 비교 집단에 어떠한 사람들이 배정되는 것이 통계적 비교를 할 때 유용하겠는가? → 피험자 내로 하면 다른 외부 요인이 최소화되겠지.

단점

• 한 수준에 노출이 되면 되돌릴 방법이 없다. → 다른 수준 결과에 영향을 줄 수 있다. (이월 효과, carry-over effect)
• 또, 독립 변인의 한 수준에서 발생하는 행동이 그 수준이 제시되었던 숫ㄴ서에 따라 달리지는 경우 → 순서 효과(order effect)

역균형법(counterbalancing)

💡

학습과 같은 순서효과를 최소화하는 방법 → 역균형법을 사용할 때에는 잔정적인 오염변인인 순서효과가 있다는 것을 반드시 인정해야 한다.

독립 변인의 순수한 효과를 알 수 있다고 가정해보자. 독립변인의 두 수준에 따른 효과는 각각 1(A), 3(B)이고 이 두 수준의 차이(3 - 1 = 2)가 독립변인의 순수한 효과이다.

그러나 실제 상황, 특히나 실험자 내 설계에서는 동일 실험자에 대한 여러 번의 실험이 있으므로, 학습과 같은 순서요과가 발생. → 이는 오염 변인이다. 따라서 이 오염변인의 수준을 파악하여 실제 순수한 효과에 가까운 결과치를 얻어내는 것이 목적.

현재 오염변인인 학습, 순서효과의 크기를 위와 같이 얻었으면, 1시행(A수준)-4시행(수준) / 2시행(B수준)-3시행(B수준)을 매칭시켜 오염변인에 의한 효과를 균형화할 수 있다.

따라서 이를 독립변인과 합치면 3면과 같이 실제 효과인 2와 같은, 혹은 근사한 효과의 크기를 얻어낼 수 있다.

💡

위와 같은 방식을 “ABBA 역균형법”이라고 한다. 그리고 이는 오염변인(e.g. 학습)이 선형이라는 가정을 포함.

이 예시처럼 오염변인의 학습곡선이 선형이 아닐 경우, 독립변인의 순수한 효과를 과대/과소 평가할 수 있다. 그리소 실제로 이러한 경향을 나타낸다.

💡

또 다른 방법으로 역균형법을 피험자 간 설계로 시행. e.g. 한 집단은 AB, 다른 집단은 BA → 오염변인이 직선이어야 할 필요가 없다.

그러나 여전히 ‘A 뒤에는 B가 오게하는 효과는 B 뒤에는 A가 오는 효과의 역이 되어야 한다.’ 는 가정이 필요하다. (대칭적 전이)

대칭적 전이가 나타나는 실험 e.g. 복잡한 수행에 소음이 미치는 영향

1. 조용한 환경 → 소음 환경: 효과의 크기 31%
2. 소음 환경 → 조용한 환경: 효과의 크기 10%

역이 아니다.

💡

근데, 변인의 수준이 너무 많아지면, 필요한 집단의 개수가 n!로 늘기 때문에 줄일 필요가 있다.(완전 역균형법, complete counterbalancing) → 부분적으로 partial counterbalancing!

Latin Square design

→ 각 수준이 동일한 순서에 동일한 횟수 들어가게

범위효과

작업에 가장 적합한 책상높이를 찾고자 하는 실험에서 범위를 조금 바꿨더니, 최적의 결과가 달랐다.

💡

학습이라는 것은 결국, 주어진 환경에서 최적의 방법을 찾는 것이기에 학습 후에 내가 얻는 것이 잘 적용되는 곳은 학습환경과 비슷한 환경에서이다.

그렇기 때문에 전체적으로 낮은 범위에서의 학습 효과는 최적의 높이가 낮은 구간에서 발견되고, 이에 비해 상대적으로 조금 높았던 집단에서는 최적의 높이가 조금 더 높은 곳에 형성되었다. 맥

짝짓기

비슷한 페어를 다른 수준에 할당.

• 피험자 간 설계의 장점을 지니면서 참가자 간 개인차 문제를 줄일 수 있는 방법.

그렇다면 어떠한 근거에서 집단들을 짝짓기 해야 하는가?

• 종속변인과 상관이 매우 높은 변인에 근거

단점 → 짝을 짓는데 시간이 오래 걸림.

[피험자 내 설계(within)]

장점	단점
- 적은 수의 참가자가 필요하다.

• 실험 시간이 짧다.
• 집단 간 변산이 작다. | - 조건 간 전이가 발생할 수 있다.
• ABBA 역균형은 선형적 오염효과를 가정한다.
• 모든 역균형은 대칭적 전이를 가정한다.
• 범위효과가 문제가 된다. |

[피험자 간 설계(between)]

장점	단점
- 조건 간 전이가 없다.

• 역균형이 필요 없다.
• 짝짓기는 집단 간 변산을 줄일 수 있다.
• 참가자의 무선적 할당으로 편파를 줄일 수 있다. | - 집단 간 차이가 존재할 수 있다.
• 보다 많은 참가자가 필요하다.
• 실험 시간이 많이 길다.
• 짝짓기에 시간과 노력이 들며, 짝짓기 과정에 의해서는 전이가 없다고 가정한다. |

CHAPTER 9 단일변인, 중다변인, 수렴계열 실험을 계획하는 법

단일변인 집단 실험

두 수준 실험

독립 변인이 두 수준인 실험 → 처치 / 통제 집단으로 나뉘는

• 장점

  1. 독립변인이 연구할 만한 가치가 있는 것인지 알아내는 수단이 된다. 독립변인이 종속변인에 영향을 주는지 안 주는지 판단하여
  2. 결과 해석에 용이 → yes or no
  3. 두 수준 실험에서 알 수 있는 것보다 더 많은 정보가 필요없는 경우가 있다. e.g.두 경쟁적 이론은 검증하는 실험 → 두 수준 실험만으로도 충분.

• 단점

  💡

  비록 직선이 두 점 사이의 가장 짧은 거리이기는 하지만, 그 직선이 두 점 사이를 연결할 수 있는 유일한 선은 아니다.

  • 1. 독립변인과 종속변인 간의 관계의 형태에 대해서 아무것도 말해주지 않는다.

    

    이러한 결과를 얻었다고 해서 12~10 포인트 사이의 결과가 직선적이라는 보장이 없다.

    

    이러한 경우들도 가능하기 때문에 → 섣부른 보간(interpolation)은 옳지 못할 수도 있다. 또한, 외삽/ 외연(extrapolation)도 옳지 못하다. → 천장, 바닥 효과가 심리학 변수들에서 종종 나타나니. e.g. 반응 확신도는 100%보다 높은 수 없다.(천장) / 반응속도는 0초 이하일 수 없다.(바닥 효과)

중다 수준 실험 = 함수적 실험

• 변인의 수준이 세 수준 이상.

• 장점

  • 결과가 실험적 관계의 성질을 추론할 수 있게 해준다. → 함수를 만들 수 있다.
  • 일반적으로 더 많은 수준들이 첨가될수록 독립변인의 범위는 덜 결정적으로 된다. → 관계가 존재할 때, 그게 관찰될 만큼 변인의 범위를 설정해야 하는데, 수준이 많아질수록 이가 잘 드러날 테니까.

  

• 단점

  • 많은 자원 소모(시간, 돈)
  • 사용하는 검증도 어렵다.

요인설계(factorial design)

실제 실험을 하면, 다루는 독립변인이 한 가지가 아닌데, 여러 가지 독립변인들을 다루면 어떻게 조합해서 실험을 진행할 것인가?

전체를 matrix, 한 칸은 cell 이라 표현함.

참가자들을 무선적으로 각 셀에 할당. 각각 2_4 / 2_3*4 설계

장점

• 상호작용을 연구할 수 있다.

• 일반화 가능성 증대.

  상황을 또 하나의 독립변인으로 만듦으로써 결과에 대한 정확성과 함께 일반화 가능성을 증가시킬 수 있다. → 더 가능한 시나리오를 많이 해보면서 일반화가 잘 된다.

• 통계적 이점.

  대부분의 추론통계적 검증들은 독립변인의 각 수준들 간의 차이를 자료의 변산성에 비교한다.

  수준들 간의 차이가 크거나, 변산성이 작으면 그 차이는 검증에 의해 의미있는 것으로 선언될 가능성이 높아진다.(t-stat의 정의에서 생각해봐라)

  더 많은 상황들이 요인으로 만들어지면 자료의 추정된 변산성은 감소하게 된다. → 더 많은 독립변수를 고려한 선형모델(interaction을 포함한)은 더 잘 피팅된다.

단점

• 시간과 비용이 많이 든다.

  특히나, 요인 설계에 하나의 요인을 추가하면, 셀의 개수가 배로 증가하므로.

  • 대안으로는 일부 상호작용이 예상되지 않는 것들은 고려하지 않는다.
  • 매우 덩치가 큰 요인실험을 다룰 수 있는 정교한 방법으로 반응표면 방법론이 존재.
    • 요인설계의 모든 칸에서 자료 점들을 구하지 않고도 요인설계ㅒ의 어느 지점에서 종속 측정치가 최소, 최대를 갖는지 결정할 수 있게 하는 방법.
    • 가정으로 “보다 복잡한 상호작용들이 발생하지 않을 것이다” → 대게 옳다.

• 해석이 어렵다.

  • 자주 사용되는 분석 → 변량분석(Analysis of Variance : ANOVA) 가정: variance가 normal distribution에 따른다.
  • 위 가정을 만족하더라도, 상호작용이 발견되면 주효과 해석이 힘들다.

수렴계열 설계

대부분 논문에 실린 실험들은 연속적인 실험의 결과를 보고한다. → 한 실험에서 하나의 특정 요인의 적절한 수준을 발견하고 나면, 후속 실험에서 그 요인을 통제 변인으로 만든다. (Greedy Approach)

수렴적 조작

위에서 나온 수렴계열 설계를 다른 곳에도 적용할 수 있다. → 관찰된 행동을 설명할 수 있는 여러 가지 가설들을 하나의 실험 가설로 수렴시켜 감으로써 이론들을 검증할 수 있다. (수렴조작 접근) → 실험을 점차 진행하면서 아닌 가설들을 쳐내는 작업.

e.g. 저속하지 않은 단어보다 저속한 단어를 지각하는 것이 더 오래 걸리는지를 연구하는 실험. → 결론: 저속한 단어를 지각하고 보고하는데 더 많은 노출시간이 필요했다. 가능한 가설들:

1. 사람들이 무의식적으로 저속한 단어를 지각하는 것을 억압한다.
2. 선정된 단어들의 특성에 의해 짧은 시간의 노출시간에서도 저속하지 않은 단어를 쉽게 읽을 가능성이 있다.
3. 참가자들은 네 단어(2개의 저속, 2개의 저속하지 않은)를 모두 똑같이 잘 지각했지만, 저속한 단어에 대한 반응을 하지 않을 수 없을 때까지 그들의 반응을 비자발적으로 억제했다.
4. 참가자들은 단어를 지각했고 어떤 반응을 해야할 지 알았지만 그들이 맞았다는 것을 확신할 때까지 반응을 미루었을 수도 있다.

이제 여기서 실제 세상을 잘 반영하는 가설을 찾아야 한다. (수렴적 조작을 통해.)

장점

• 하나의 대규모 요인실험보다 더 큰 융통성을 가진다. 대규모 요인 실험의 경우, 실험 전 요인과 요인 수준을 모두 결정해야하지만, 수렴계열 설계를 사용한다면 실험의 결과에 따라 요인이 바뀌므로 그렇지 않아도 된다.
• 수렴계열 설계에는 반복실험이 내장되어 있다. 앞 예시에서 3번의 실험을 했다면, 저속한 단어가 더 오랜 노출 시간을 필요로 한다는 것을 반복검증한 셈.

단점

실험설계	장점	단점
두 수준 실험	-변인이 효과가 이는지를 결정하는 데 효율적이다.

• 결과들의 분석과 해석이 용이하다.
• 어떤 이론들의 이론 검증에 적합하다. | - 함수의 형태를 알 수 없다.
• 보간과 외연이 위험하다.
• 복잡한 이론을 검증하기 어렵다. | | 중다 수준 실험 | - 함수의 형태를 추론할 수 있다.
• 독립변인의 수준이 덜 결정적이다. | - 보다 많은 참가자와 시간이 필요하다.
• 역균형이 매우 힘들다.
• 통계가 어렵다. | | 요인실험 | -상호작용을 연구할 수 있다.
• 요인을 추가함으로써 변산을 줄일 수 있기 때문에 통계적 민감도가 증가한다.
• 정확성의 감소없이 일반화 가능성이 증가한다. | - 여러 요인이 추가되면 실험은 굉장히 커지게 된다. -통계가 보다 어려워진다.
• 고차 상호작용을 해석하기가 종종 힘들다. | | 수렴계열 실험 | - 큰 요인실험보다 융툥성이 크다.
• 반복실험이 내제되어 있다. | -상호작용을 평가하기가 어렵다.
• 실험간 비교는 피험자 간 비교로 이 설계가 가지는 단점을 가진다.
• 다음 실험을 하기 전에 이전 실험을 분석해야 한다. |

CHAPTER 10 실험 연구가 아닌 연구를 설계하는 법

준실험법(과 비설계들)

: 독립변인의 각 수준에 참가자를 무선적으로 할당하는 것이 불가능할 때 어떻게 하겠는가? → 준실험법을 사용. 이때에는 내적 타당도를 위협할 수 있는 요인들을 최소화해야 한다!

Cook과 Campbell(1979)의 표기방법 X: 독립 변인(처치 수준), O: 종속변인, 아래 첨자는 시간 순. 실험 집단들 사이에 그어진 점선을 각 집단의 참가자들이 무선적으로 선정되지 않았음을 의미.

비실험설계들 → 내적 타당도에 위협이 되는 요인들을 평가할 방법이 없다.

• 단일집단 사후검사 설계(One-Shot Case Study, one-group posttest-only design)

  독립변인의 한 수준에만 노출된 집단의 행동을 측정할 때 사용.

  이 설계의 결과 이외의 정보가 없다면, 처치의 효과를 결정할 수 없다.

  e.g. 텔레비전에서 유태인 학살(X)에 대한 프로그램을 방영할 때, 그 프로그램이 대중들의 유태인 학살에 대한 인식(O에 얼마나 영향을 주는가를 알아보려고 한다. 설문 응답자의 76%가 유태인 학살기간 중 어떤 일이 일어났는지를 알고 있다는 것을 발견했다. 처치(방송)의 효과에 대한 얘기를 할 수 없다.

  • 사례 연구와 비슷해보이나, 사례 연구가 더 낫다. 사례 연구에서는 관찰 대상의 맥락에 대한 정보가 더 많고, 더 많은 정보를 파악하고 있기 때문.

• 비동등집단이 포함된 사후검사 실시(Intact-Group Comparison)

  비동등: 처치에 노출된 집단의 선정과는 다른 방식으로 비동등 집단이 선정되었다.

  e.g. 마이애미 주에서는 유태인 학살 프로그램이 방송되지 않았다고 해보자. 마이애미에 사는 사람을 무작위로 선정하여 이를 비동등집단으로 삼고 그들에게 설문지를 보낼 수 있다. 만약 집단 간 차이가 발견된다면, 이 차이가 방송에서 귀인한 차이라 할 수 있겠는가? 마이애미에는 유태계 인구가 많은 데 이러한 점에서 유태인이라는 점이 유태인 학살에 대해 알고 있는 것에 영향을 줄 수 있다고 생각하는가?

  • 문제점이, 집단 간 차이가 처치에 의한 것인지 아니면 선택된 집단이 원래 차이가 나기 때문에 발생한 것인지 구분이 어렵다는 것이다.

• 단일집단 사전-사후검사 설계(One-Group Pretest-Posttest Design)

  아까의 예시에서 유태인 학살 프로의 방영 전과 후 이렇게 두 시점에 동일한 대상들의 결과를 비교해본다면? → 동일 대상이라는 점에서 비동등집단이 포함된 사후 검사보다 좋다.

  within과 비슷하지만, 역균형화의 부재, 두 관찰 간 시간이 더 길다는 점에서 오염변인의 개입여지가 더 많다.

준실험설계들 → 내적 타당도에 위협이 되는 요인들을 평가할 수 있다!

• 비동등 통제집단이 포함된 사전-사후검사 설계

  

  실선 위가 처치 집단, 선 아래가 통제집단 / cook & campbell의 표기에 따르면 중간 선은 점선이 되어야 함.

  → 사회 과학 분야에서 자주 사용되는 설계. ← 내적 타당도에 위협이 되는 단순한 요인들을 평가할 수 있게 해준다.

  • 사전 점수에서 짐단 간 차가 없다면, 집단이 비교적 동등하다는 것을 보장.
  • 통제 집단의 사전-사후 결과가 동일하다면 역사, 성숙의 위협을 줄일 수 있다.
  • 만약 중도 포기자의 명수가 집단 간 다르다면, 사망률이 문제가 될 수 있지만, 평가할 수 있는 방법이 존재.
  💡

  가장 문제가 될 수 있는 상황은 선택과의 상호작용이다. → 사전 점수가 비슷해도 여전히 위협이 될 가능성은 존재한다. e.g. A학교가 처치집단이고, B학교가 통제 집단일 때, A 학교에만 특정 이벤트가 발생할 수 있다.(교장의 교체 등)

  두 집단 간의 사전검사의 점수가 매우 다른 경우에도 선택과의 상효작용에 대해 더 관심을 두어야 한다.

  e.g. 조립라인에서 일하는 근로자들에게 생산한 제품 수에 따라 봉급을 더 주는 것이 생산성을 증가시킬 것인지를 알아본다고 하자.

  근로자들 중 기본 봉급을 낮추되 제품 생산 수에 따라 추가 수당을 받으려는 지원자를 모집한다. 사전검사에서 지원자들이 더 생산적임이 나타났지만, 사전검사에서 두 집단의 차이와 사후검사에서 두 집단 간의 차이의 크기를 비교해봄으로 처치의 효과를 살펴볼 수 있다. 사후검사의 차이가 더 크게 나타났다. 즉, 두 집단 모두 생산성이 향상되었으나, 제품 수당을 받는 집단의 생산성이 더 높게 나타났다. 이 방식이 생산성을 높인다고 결론을 내린다. 옳은가?

  사전 검사에서 점수 차가 있었다. → 높은 점수쪽 집단이 더 일을 잘하고 더 빠른 속도로 성숙하고 있었을 수 있다. 근로자의 생산성이 계속 정체되어 있는 경우는 거의 없다. 또한, 기존을 유지한 근로자들의 생산성도 증가하였기에 수당을 받는 근로자의 생산성도 증가하였을 것이라 생각할 수 있다. 모든 사람의 능률이 오르고 있을 때, 능숙한 사람의 능률이 더 빨리 발전하는 것을 예상할 수 있다.

  • 변형된 설계들

    • 대리 사전 검사(proxy pretest)

      e.g. 대수학을 가르치는 새로운 방법의 효과를 시도. 이때, 전체 참가자를 반으로 나누어, 한쪽에만 처치를 가할 것이다. 그런데, 아직 배우기 전에 사전 검사에서 대수학을 물어보는 것은 별로 유의미 하지 않음. → 따라서 기본적 수학 능력을 평가할 수 있는 시험(대리 시험)으로 대체.

    • 분리된 사전검사와 사후검사(separate pretest and posttest samples)

      처치 집단과 통제 집단을 각각 둘로 나누어 실험을 진행.

      • 사전 검사 집단과 사후 검사 집단을 비교할 수 있는가?

    • 일 회 이상의 사전검사 관찰(pretest observations at more than one time interval)

      • 두 개의 사전 검사로 성숙의 추세를 파악할 수 있다.

    	Time1	Time2	Time3	Time4
    비동등 통제집단이 포함된 사전-사후검사 설계	집단 1 검사
    집단 2 검사	처치 부과
    처치 없음	집단 1 검사
    집단 2 검사
    사전 대리검사가 포함된 설계	집단 1 대리검사
    집단 2 대리검사	처치 부과
    처치 없음	집단 1 검사
    집단 2 검사
    분리된 사전-사후 검사표본	집단 1의 첫 절반만 검사
    집단 2의 첫 절반만 검사	처치 부과
    처치 없음	집단 1의 나머지 절반만 검사
    집단 2의 나머지 절반만 검사
    일회 이상의 사전검사 관찰	집단 1 검사
    집단 2 검사	집단 1 검사
    집단 2 검사	처치 부과
    처치 없음	집단 1 검사
    집단 2 검사

• 틈입 시간계열 설계

  

  • 처치 전 후로 여러 차례 관찰함.

  • 이 설계가 잘 보여주는 것은 처치가 주어지지 않았으면 평평하게 나타났을 것을 예상할 수 있지만, 처치가 주어진 후 즉각적이고 영속적인 변화를 보여주는 것이다.

  • 변형된 설계

    • 처치를 가하지 않은 비동등(무선적으로 할당되지 않은) 통제집단을 시간계열에 추가

      위에 지시한 그림에서 점선 아래 집단을 추가.

    • 처치 제거 틈입 시간계열

    • 반복 교환 틈입 시간계열

    	Time1	Time2	Time3	Time4	Time5	Time6	Time7
    기본적 틈입 시간 계열 설계	집단1	집단1	집단1	집단1	집단1	집단1	집단1
    처치를 가하지 않은 비동등 통제집단을 시간계열에 추가	집단1	집단1	집단1	처치	집단1	집단1	집단1
    	집단2	집단2	집단2	처치x	집단2	집단2	집단2
    처치의 제거가 포함된 설계	집단1	집단1	처치	집단1	집단1	처치
    제거	집단1
    반복 교환이 포함된 설계	집단1	처치	집단1	집단1	집단1	집단1	집단1
    	집단2	집단2	집단2	처치	집단2	집단2	집단2
    	집단3	집단3	집단3	집단3	집단3	처치	집단3

• 장점

  • 이전에는 할 수 없었던 연구를 가능케 해준다. 사회적 문제, 임상적 평가, 교육 프로그램 등

• 단점

  • 여전히 외적 타당도 문제
  • 여전히 복잡하며, 시간과 돈 등 자원이 많이 든다.

단일 피험자와 소집단 기저선 설계

single-subject and small-N baseline design

참가자 수가 한정되어 있거나 처치의 효과가 개별 참가자들 모두에서 확실히 나타난다는 것을 보여줄 때 사용. 이때, 통제집단 없이 혹은 피험자 내 역균형법 없이도 효과를 알아낼 수 있는 방법 존재.

개인자료 대 집단자료

Sidman 왈

집단 자료는 집단의 특성을 이야기 해준다. 그렇기 때문에 결코 개개인들에게 이 결과를 역으로 적용할 수 없다.

e.g. 유추 실험 edit: tide = recap: ? / pets : step = tool : ? → pacer & loot(단순히 순서 역전)

이러한 문제를 해결할 때 개개인들의 반응은 실무율을 따를 것으로 우리는 기대할 수 있다.(아하! 이후에는 계속 맞추겠지.)

그렇기 때문에 개개인에 대한 결과 그래프를 그려보면 아래와 같을 거다.

그러나 이를 집단 전체에 대해서만 생각하면, smooth한 그래프가 생겨날 거다. 따라서 이러한 경우에는 집단 곡선이 어떤 개인 자료도 반영하지 못한다.

기저선 절차

e.g. 처벌을 사용하여 뇌성마비가 있는 사람의 행동을 변화시킬 수 있는지를 알아보기 위한 실험.

• 뇌성마비 환자들은 종종 자신의 머리 운동을 통제하지 못해 다른 사람의 눈을 지속적으로 바라보지 못한다.
• 타인과 대화 시 시선 접촉 시간을 늘리기 위해 치료자는 다른 사람을 응시하지 못할 때마다 전기충격을 가했다.(물론, 환자의 동의 하에)

안정적인 상태인 기저선에서, 반응을 주어 변화를 관찰하고, 다시 안정기(기저선) 회복되기 까지 과정을 관찰.(안정괸 기저선 확조 → 실험 조작 → 안정된 전이 상태 를 확립 → 조작 제거 시 기저선으로 돌아가는) → 가역성(reversibility)

• 어려운 문제가 반응률 변화가 거의 없는 안정적인 것이 어느정도 인지 결정하는 것.

💡

이 방법의 주요 논리는 만약, 실험 내 오염변인이 존재한다해도, 기저선이 확보된 상황에서는 그게 이미 반영되었을 거고, 갑자기 충격을 준 후에 새로운 오염변인이 작용할 가능성이 낮을 것이다. 만약 매우 현저한 확률로 충격을 준 후에 새로운 오염변인이 작용하더라도 그 변인이 회복될 때까지 사라지는 것은 더 희박하다.

장점

• 한 개인의 행동을 살필 수 있는 강력한 방법
• 결과의 해석이 쉽다. : 통계적 검증을 필요로 하지 않는다.
• 언제 독립 변인의 수준을 부과할 것인지, 그리고 어떤 수준들을 사용할 것인지를 결정하는 데 융통성 있다.

단점

• 기저선 설계는 효과적인 역균형법을 사용할 수 없는 within design의 특별한 한 예이다. → 따라서 체계적으로 변하는 어떠한 오염변인도 원래의 기저선으로 돌아가지 못하도록 한다. 또, 실험 조작이 제거되었을 때, 행동이 기저선으로 돌아가지 않는다면, 전이 안정 상태가 오염변인에 의한 것인지 조작에 의한 것인지 판단할 수 없다.
• 작지만 중요한 효과들을 발견할 수 없다. 효과가 크지 않은 것은 전이 상태와 기저선을 구분할 수 없다.
• 발견한 어떠한 효과가 얼마나 일반적인지를 결정하기 어렵다. → 피험자가 모집단(일반 사람들)을 얼마나 일반화 할 수 있는지.

설문조사

→ 거의 상관연구에 가깝다.

설문조사의 방법들

• 우편 조사

  • 응답률이 낮다. → 그렇다면 원하는 만큼의 곱절을 보내면 되지 않은가? → 비응답 편향.(비응답도 일종의 응답이다. 무시하는 것도 우리의 선택) 응답하지 않은 사람들이 무선적이면 상관없는데, 만약 보통 바쁜 사람들이 대다수의 비응답자라면, 비응답을 무시하는 순간, 덜 바쁜 사람들의 결과만 고려하는 쪽으로 결과가 편향되는 것이므로.

• 전화 조사

• 집단 실시

  • e.g. 대학가서 한 수업에서 수업 시간동안 설문.

• 면접

• 인터넷 조사

  • 표본의 편향성을 염두에 둘 것. 인터넷을 주로 사용하는 사람들의 연령층. 등

표본 선정

일반적으로 무선 표집은 굉징히 어려우니, 이것이 불가능할 경우, 비슷하지마 다른 전략을 사용.

• 유층화 표집(stratified sampling)

  하위 집단을 만들고 그 안에서 무선적으로 추출.

설문지 작성

💡

설문지를 만들기 전에 필요한 목적에 맞는 설문지가 이미 존재하는지 찾아봐라.

• 개방형 질문 VS 폐쇄형 질문

  • 개방형: 서술형처럼 응답자가 원하는 대로 자유롭게 응답할 수 있는 질문
  • 폐쇄형: 반대로 정해진 답안들을 제공. → 분석을 하기 위해
    • e.g. 다지 선다형
  • 단어 선택에 유의하라. 특정 단어들을 특정한 신념이나 정서를 불러일으킨다.
  💡

  일반적으로 타인의 권리는 보호받아야 하며, 정부의 제한은 최소화되어야 하며, 여성은 독립적이지만, 엄마는 책임을 져야 하며, 태아는 사람이 아니지만, 뱃속에 있는 아기는 사람이며, 중절은 살인은 아니지마 생명을 빼앗는 것은 살인이라고 생각한다.

  • scale rate 사용하기 → llkert 척도

  

장점

• 싸다. 시간이 덜 든다.
• 실험으로 할 수 없는 것들을 분석 가능.

단점

• 응답률 문제 → 비응답 편향 혹은 어떻게 응답률을 확보할 것인지.
• 상관이다. → 인과 설명x
• 자기 보고 형식이라 신뢰도의 문제

CHAPTER 11 실험준비가 다 되었음을 아는 법

‘좋은 게 좋다’ 사회

• 발표를 할 때, ‘좋은 게 좋은거다‘라는 논리로 내가 질문(비판)을 안하면 상대도 안하고, 이러한 분위기가 형성되어 있는데, 별로 좋지 않다. 비판할 게 있으면 하고 피드백 주고 받아라.

연구 시작 전 제기해야 하는 질문들

내 실험이 윤리적 문제를 고려했는가?

얼마나 많은 참가자들이 필요한가?

• 통계적 접근 및 문헌조사를 해봐라.

개인실험과 집단실험 중 어느 것이 적합한가?

실험이 얼마나 걸릴 것인가?

참가 자격을 두어야 하나?

참가자를 제거하기 위해 사전 기준을 정해야 하나?

실험에 사용되는 모든 변인을 조작적으로 정의할 수 있는가?

필요한 장비나 자료들을 잘 배치했는가?

자료를 어떻게 분석하는지 알고 있는가?

실험의 결과들을 어떻게 해석할 것인가?

이제 모든 준비가 되었는가?

CHAPTER 12 실험 결과를 해석하는 법

빈도 분포의 도표화

빈도분포 → y축이 빈도

• 분포의 유형

  

  https://daily1123.tistory.com/entry/기초통계-기본개념3-빈도-중심경향-분산도-모수치와-통계치-추론통계

  • 정상(normal)

    • 흔히 우리가 아는 bell-shape, 중간에 평균 값이 위치
    • 많은 경우에, 예측하고자 하는 분포를 normal distribution으로 가정한다. → 중심 극한 정리에 의해 N이 커질수록 분포가 정상분포에 가까워짐.

    $f(x)=\frac{1}{\sigma \sqrt{2\pi }}\exp \frac{(x-\mu {)}^2}{2{\sigma }^2}$

  • 양봉(bimodal)

    • 최고점이 두 개

  • 절단(truncated)

    

    • 한 쪽이 잘려나간 것 같은 분포

  • 비대칭, 편향(skewed)

    • 비대칭적 분포

분포를 기술하기 위한 통계

통계 → 기술 통계와 추론통계로 구분

기술 통계: 자료 전체를 보지 않아도 전체를 대략적으로 파악할 수 있게 해주는 지표.(대푶값)

• 우리는 분포를 기술할 때, 집중경향치 + 분산 사용.

집중경향

자료로부터 전체 경향성을 파악할 수 있게 해주는 지표 → 집중경향치(central tendency)

1. 평균(mean)
2. 중앙(median)
3. 최빈(mode)

💡

상황에 알맞은 값을 쓰는 것이 중요!

분산

흩어진 정도(spread)

1. 범위(range)
2. 변량(variance) = 분산
3. 표준편차(standard deviation) → 평균과 표준편차 사이에 있는 점수들의 비율을 알려준다! → 95%는 z-score: 1.96

변인들 간 관계의 도표화

그래프 그리기

• 세로축(ordinate)

• 가로축(abscissa)

• 그래프 종류

  • bar
  • histogram
  • line

함수의 기술

그래프를 그렸을 때, trend 를 기준으로 분류.

관계의 강도에 관한 기술

산포도(scatterplot)

상관 계수(Pearson Correlation Coefficient)

• -1.0 ~ 1.0 사이의 값.
• 강도 = 절댓값, 부호 = 방향(정, 부)

💡

상관계수 /= 상관비율 →우하단의 경우, 직선 관계가 도출되지 않으므로, 곡선형태의 관계에서도 사용할 수 있는 상관비율.

• 결정계수(coefficient of determination): 상관계수 제곱값. → 두 변인간 공유하고 있는 변량(variance)의 비율이다.

요인실험의 결과 해석

주효과(main effect)

• 독립변인이 직접적으로 주는 효과 크기

상호작용(interaction)

• 한 변인의 효과가 다른 변인 수준에 영향을 받는 것.

[주효과]

• 글자크기에 따른 주효과는 나이를 무시하여 계산한 평균 값에서 차이가 났으므로 있다.
• 나이에 따른 주효과는 글자크기 변수를 무시하여 계산한 평균 값에서 차이가 있으므로 있다.
• 두 변수의 상호작용은 있다. 만약 없다면, 실선, 점선 그래프 기울기가 동일 했겠지.

• 정답
  1. xox
  2. oox
  3. xxo

교차상호작용 → 가장 아래의 그래프 → 교차 상호작용이 있으면서 주효과가 있다면, 전형적으로 의미가 없다고 결론.

추론통계

영가설의 유의 검증도

유의도 검증에서 결정 오류

유의도 수준

통계적 검증력

• 통계적 검증이 영가설을 정확히 기각할 확률

영향을 미치는 요인

1. 유의도 수준
2. 효과의 크기
3. 표본의 크기

모수적 검증과 비모수적 검증(추론 검증의 종류)

통계적 검증의 잘못된 해석

메타분석

비슷한 분야의 다른 연구들을 통계적으로 종합하여 결론을 내림.

컴퓨터를 사용한 결과의 해석

CHAPTER 13 실험 결과를 보고하는 법

작문에 대한 조언

💡

하나의 부정사를 분리시키지 말라. 수동태를 사용하지 말라. 진술을 부정문으로 하지 말라. 동사는 주어와 일치시켜라. 빠뜨린 낱말이 있나 주의하여 교정하라. 보고서를 다시 읽어보면, 다시 읽어보고 편집을 하는 것이 많은 반복을 피하게 해줌을 알게 된다. 필자는 관점을 옮겨서는 안된다. 접속사로 문장을 시작하지 말라. 감탄부호를 너무 많이 사용하지 말라!!! 특히 10개 이상의 단어가 있는 긴 문장에서 대명사는 가능한 선행사에 가까이 두라. 주어가 생략된 분사 구분을 쓰지 않도록 하라. 연결동사는 문장 끝에 써서는 안 된다. 혼합된 은유를 피하라. 가볍게 들리는 유행어는 피하라. 단수 면사는 단수 대명사로 쓰여야 한다. 항상 정확한 숙어를 선정하라. 부사는 항상 동사 뒤에 놓아라. 마지막으로 중요한 것은 진부한 문귀는 피하고 그것의 대안을 찾으라는 것이다.(* 각 문장은 금지하는 사항을 어기고 있다.)

-William Safire(1979)

APA 양식과 일반 작문의 차이점

언어

• 명료한 언어를 사용하라.
• 직설적이며 두드러지지 않아야 한다.

인용

• 보통 간접 인용을 한다.
• 표절을 주의하라.

하위 표제

• APA 양식에 따르면 보고서의 각 단원은 정해진 순서대로 제시되어야 한다.
• 하위 표제를 사용하면, 새로운 주제를 사용하는 단락이 필요없어져 간결해 진다.

각주

• 산만한(논지에서 벗어난) 각주를 사용하지 않는다. 각주 → 내용의 병렬적 진행 유도

의견 차이

• 의견 차에 대한 인신공격을 말라.

방어적 결론

• 심리학자들은 학술적 작문에서 애매한 단어들을 보다 많이 사용한다. e.g. ~과 일치하는 , ~을 지지하는, ~로 고려될 수 있다 → 이러한 어투는 이론에 대한 결론을 내릴 때 주로 사용된다. 실험 결과에 대해서는 사용하지 않는다. 이론은 반증되기 쉽고, 자료와 이론 간 연관성이 약할 수도 있는 심리학의 특성상.

보고서의 구성 요소

💡

• 제목 페이지
  • 제목
  • 저자
  • 소속
  • 난외 제목
• 초록페이지
• 보고서 원문
  • 서론
    • 배경
    • 문헌 개관
    • 목적
  • 방법
    • 참가자
    • 장치
    • 절차
  • 결과
    • 결과의 언어적 진술
    • 도표와 그림을 위한 진술 삽입
    • 기술 및 추론통계
  • 논의
    • 목적과 결과 간의 관계 진술
    • 이론적 또는 방법론적 공헌
    • 연구의 나아갈 방향
• 참고문헌
• 저자 주(있을 때만)
• 각주(있을 때만)
• 도표
• 그림 제목
• 그림

제목

• 독립변인과 종속변인이 언급될 것.
• 연구의 일반 영역에 대해서 구체적 명시 해줄 것.
• 보통 10-12 단어
• 우선 길게 작성하고 줄여봐라.
• 콜론(:, 동치)

e.g. “다양한 나이의 아동이 하나의 표준 절을 읽는 데 걸리는 시간과 활자 크기의 효과를 조사하는 실험.” → “글자 크기와 8세 및 12세의 독서 속도”

저자와 연구소

• 기여도와 책임의 정도에 따라 저자명 기재.

💡

매우매우 중요한 부분이니 잘 생각해라!!

난외 표제와 페이지 표제들

• 난외 표제: 해당 논문을 식별하기 위해서 제목의 첫머리에 인쇄되는 축약된 제목. 빈칸과 구두점을 포함하여 50글자 보다 길어서는 안 된다.

초록

• 논문에서 두 번째로 중요한 부분.
• 전체 보고서가 축약된 형태일 것.
• 연구문제와 변인 이름들을 제시하고, 연구 방법을 간략히 제시해야 하며, 중요한 결과와 의미를 논해야 한다. 노력해서 960철자(대략 100-120단어)로 압축

서론

• 지식 체계의 최근 동향을 기술.
• 표제가 필요 x
• 적절한 실험 몇 가지 언급으로 이해 돕기
• 본인 연구를 지지해주는 문헌을 개괄 한 뒤 실험 목적에 대해 언급.

💡

좋은 서론이란 독자들이 어떤 실험이 행해졌는지를 알 수 있도록 해 주는 짧은 개괄 논문이다.

방법

• 반복이 가능하도록 자세히
• 참가자(participants)
  • 누구였는지
  • 몇 명이었는지
  • 동물일 경우, 나이, 성별고 더불어 속, 종을 보고해야 한다.
• 장치/재료(apparatus/materials)
  • 표준 심리학 장치를 사용했다면, 일반적인 이름, 제조업자, 모델 번호만 기술.
  • 맞춤 → 세부설명 역시 기술.

절차

• 실험에 대해 알지 못하는 순수한 참가자가 실험실로 걸어들어오는 상상을 하라.

결과

• 자료를 기술하는 것으로 시작.
• 일반적인 결과를 예시하거나 사례수가 적은 실험의 결과를 나타낼 때에만 원 자료를 제시.
• 기술통계치 먼저 보고되어야 한다.
• 집중 경향치는 분산과 같이 보고.
• 표는 독립된 페이지에
• 그림을 그리는데 필요한 일반적 규칙들
  1. x,y 축의 이름을 붙이고 단위 표기
  2. 세로축은 가로축의 2/3정도 길이가 되게
  3. 세로축의 최소점에 0을 기록. 절단이 필요하면 이중 사선 표기 필수.
  4. x축에 표시되지 않은 독립변인을 나타내기 위해 점이나 선으로 된 기호를 사용하라. 이들 기호는 보고서에서 일관성 있게 사용한다. 색깔 사용하지 마라.
  5. 한 그림에 너무 많은 곡선을 그리지 말라. 셋이나 넷 이상을 그리지 말라.
  6. 본문과 독립된 페이지에 그림을 그려라.

글자 크기를 되도록 4포인트 보다 많이 차이 나게 사용하지 말라.

추론 통계를 보고하고 유의수준을 보고할 때, 효과 크기(effect size)도 보고한다. → 그 차이가 중요한 것일 만큼 큰 차이인지도 알 수 있게 해준다.

💡

결과 부분에서 해석을 하지 말라. 결과에 대한 해석은 논의 부분에서. 다만, 둘을 묶어서 하는 것이 결과를 설명하는데 효율적이고 명확하다면, 두 섹션을 합쳐 결과 및 논의(Results & Discussion)로 표제를 달라.

논의

논의 부분은 연구 결과로 지식체계를 갱신하는 곳.

기존의 연구들과 이번 연구가 어떻게 합쳐질 수 있는지.

대부분의 경우, 서론 부분에 실험 결과를 예측 혹은 대립하고 있는 가설들이 설명해 놓는데, 논의 부분에서 우리의 실험 결과가 이들을 논의한다.

특히, 응용 분야에서는 연구의 실용적 가치를 언급.

향후 연구 방향에 대한 제시도 여기에 포함.

참고문헌

저자 이름 순으로 나열.

글 쓰는 방식

• 전통적으로는 3인칭 수동형.
• 그러나 현재는 점점 능동형도 사용.
• 간결하게 작성해라.
• 게으름을 피우지 말고 초고 쓰는데도 많은 노력이 들어간 다는 것을 알아라.

빈번히 발생하는 열 가지 오류 목록

APA 양식을 가장 빈번하게 어기는 학생들의 실수들

10b. 시간을 언급하지 않을 때에도 because나 as를 사용하지 않고 Since를 사용함.

10a. 괄호 속에 ‘and’ 를 사용하거나 문장 속에 ‘&’를 사용함.

9.인용에서 “et al.”을 사용 할 때 et 다음에 점을 찍는 것.

8.참가자를 피험자로 부르는 것.

7.페이지가 권(Volume) 단위로 붙여짐에도 참고문헌에서 호(issue number)를 붙이는 것.

6.통계적 결과를 본문에 표시할 때 ‘<’ 또는 ‘>’부호를 반대로 표시하는 것.

5.표제의 수준을 잘못 사용 하는 것.

4.참고문헌란에 본문에 인용된 연구들이 모두 포함되지 않는 것.

3. “data is” 라고 기술하는 것.(data는 복수)

2.”male”과 “female”을 명사로 사용하는 것.

1.이미 수행된 것을 과거 시제로 표현하지 않고, 이론을 현재 시제로 표현하지 않는 것.

보고서 표본

학술 대회에서 발표

구두 발표

학회 논문에는 어떠한 것들을 포함시켜야 하나? 일반적으로 20~100명 청중 앞에서 10-20분 정도의 시간이 주어지며 질문 받을 시간을 조금 남겨야 한다.

• 이상적으로는 대화하는 형식으로 발표하는 것이 좋다.
• 20%의 오버헤드를 고려.
• 청중의 수준을 고려.
• 절차 역시 결과만큼 중요하다
• 결론을 마지막에 정리해서 보여주자.

💡

준비는 할 수 있는한 고되게.

포스터

• 자신의 연구를 정당화하기 위해 설명할 시간이 적다.
• 전략 → 소 발표를 준비.(대상에 따라 다른 발표) / 긴 발표 / 개관 발표

요약

부록 - 통계

기초통계를 하는 법

명명척도(nominal scale)

• 단지 무언가에 이름을 붙이기 위해 사용되는 숫자들
• 양적 속성을 지니지 않는다.
• 유일하게 할 수 있는 것들은 빈도수 파악

e.g. 사과 = 1, 배 = 2

서열척도(ordinal scale)

• 순서 또는 등위 지어진 숫자들

e.g. 1등 / 2등 /3등

등간척도

• 숫자들 간의 간격이 의미 있을 경우 사용.

e.g. 섭씨, 화씨 등

비율척도

• 40℃ 가 20℃보다 2배 뜨겁진 않지만, 40m 가 20m 보다 2배 길다.

기술통계

집중경향의 측정치

• mean
• median
• mode

분산의 측정치

• range
• variance
• standard deviation

연합도의 측정치

• 유관계수(contingency coefficient)
  • 명명척도가 사용되었을 때, 두 조의 숫자들 사이의 관계의 강도에 대한 측정치
• Spearman 순위 상관계수(rho)
  • 두 개의 서열척도들 간의 관계의 강도를 측정하기 위해 사용.
• Pearson 적률상관계수
  • 두 개의 등간 또는 비율척도 사이의 관계의 강도를 측정하기 위하여 사용.

추론통계

카이 자승

• 관찰된 점수의 발생빈도가 기대된 빈도와 통계적으로 다른지 결정 여부를 판단.

비상관측정치를 위한 t 검증

💡

t-test는 두 가지 형태가 있다. 하나는 상관되지 않은 자료를 위한 것이고, 나머지는 상관된 자료를 위한 것이다.

• 두 독립 집단의 참가자들에서 관찰된 차이가 우연에 의해 발생했을 확률을 결정하기 위해 사용.
• 분포가 정상분포를 따른다는 가정.

상관측정치를 위한 t 검증

• 동일하나, 짝지어진 참가자들 간에 관찰된 차이가 우연에 의해 일어났을 확률을 결정하기 ㅜ이해 사용됨.

Mann-Whitney U 검증

• 비상관 t-test와 동일한 일반적 상황이지만, 정상분포나 등간척도에 대한 가정이 충족될 수 없을 때 사용한다.

Wilcoxon 짝진 쌍 부호 순위 검증

변량분석(ANOVA)

Kruskal-Wallis 순위에 대한 원방향 변량분석