심리학 - 학문인가, 지적 사기인가?

https://youtu.be/FXIFtWH0GQM?si=HYixMDaOeEJc50fL

 

1. 무엇이 문제인가? 

• 심리학의 많은 실험 결과가 다른 연구자들에 의해 재현되지 않는다
• 즉, “다시 해보면 똑같이 나오지 않는” 연구들이 많다

2. 충격적 통계

• Reproducibility Project: 저명 학술지에 실린 100개 연구 중
  • 오직 39%만 재현
  • 효과 크기도 절반 수준으로 감소

3. 왜 이런 일이 생겼나?

• 낮은 검정력(statistical power): 작은 표본, 큰 효과 찾기 어려움
• p-hacking*등 부정확한 연구 관행
• 출판 편향(publication bias): 눈에 띄는 결과만 발표 → 잘못된 이미지 확산

* p-hacking
p-value(유의확률)를 0.05 이하로 만들기 위해 통계적으로 유의미한 결과가 나올 때까지 데이터를 조작하거나 선택적으로 분석하는 행위.
연구자가 어떤 가설을 실험했는데 처음 분석 결과가 유의미하지 않았을 경우(p > 0.05), 다음과 같은 식으로 "데이터를 조물딱조물딱" 하기 시작한다.

잘못된 관행에 대한 설명

데이터 일부 제거	특정 피험자 데이터만 제거해 다시 분석함 (예: 이상치 제거)
변수 추가/삭제	독립변수를 바꾸거나 새로운 통제변수를 넣어봄
분석 방식 변경	ANOVA → t 검정, 회귀분석 등 여러 방법으로 돌려봄
측정 시점 선택	데이터 수집을 중간에 멈추고 유의미할 때 발표
여러 가설 중 선택 발표	여러 분석 중 유의미한 결과만 보고하고 나머지는 묵음

 

이런 행위들은 의도적으로 데이터를 조작한다기보다는, “유의미한 결과를 보고해야 한다”는 출판 압박 때문에 무의식적으로도 일어난다.
 
[그래도 서양에는 가끔 용기있는 학자들이 있다는 게 부럽다.]