심리학 분야에서 연구재현성 위기를 극복하기 위한 미국의 자정작용

심리학 분야에서 연구재현성 위기를 극복하기 위한 미국의 자정작용

 

사회과학, 특히 심리학 분야에서 지난 10여 년 간 연구재현성 위기 (reproducibility crisis)를 극복하기 위해 미국 학계에서 어떠한 자정작용이 벌어지고 있는지 요약한 시리즈 글이다. 흥미진진하면서 동시에 위기의식이 느껴진다.

 

재현성 위기는 사실 학문의 분야를 가리지 않는 산불의 불씨가 되고 있다. 자연과학이나 공학 분야라고 해서 사회과학보다 훨씬 낫다고 장담할 수 없다. 그나마 생명이 관여되지 않는 시스템이나 소재, 소자, 시뮬레이션 등이라면 불확실성이 덜하니까 그나마 재현율이 높긴 한데, 생명과학 분야는 연구자의 의도와 상관없이 생명 현상 자체의 intrinsic uncertainty가 있다는 것을 감안해야 한다.

 

자연과학이나 공학 분야에서의 재현성도 점점 위기라고 보이는데, 여전히 설익은 데이터를 급하게 정리하여 빨리 publish & forget 하려는 페이퍼들이 점점 많아지고 있기 때문이다. 아마 이런 류의 페이퍼는 1-2년 후에 다시 해보라고 하면 안 될 가능성이 높다. 한 연구실에서 지나치게 많은 페이퍼가 나오는 것이 사실 별로 좋게 보이지 않는 이유도 이들이 과연 충분히 내부 검토를 했을까에 대해 확신이 없기 때문이다.

 

모델링이나 시뮬레이션은 요즘에는 상위저널의 경우, 퍼블리쉬 전 요구 사항으로 코드 공유도 되고 (github 등으로), 하다못해 SI에서 pseudo-code라도 공유할 수 있기 때문에 어느 정도는 잘 재현되는데, 실험 데이터의 경우 논문에 적힌 methods를 그대로 따른다고 해도 잘 재현이 안 되는 경우가 꽤 많다. 이는 아마 두 가지 원인 때문일 텐데, 일단 실험 방법론에 적힌 정보가 100% 다는 아니라는 것 (즉 특허든, 기술 핵심 아이디어 보호든, 일부만 적어 놓은 것), 그리고 다른 하나는 문서로는 다 전달되기 어려운 애매한 부분 (예를 들어 손기술이나 특이한 노하우 등)이 있다는 것 때문일 것이다.

 

반응형

어떤 분야든 재현성을 논하기 위해서는 반복 실험과 그 결과물을 보여주는 통계 분석은 반드시 있어야 한다. 예를 들어 불과 몇 년 전까지만 해도 ABX3 계열 유무기 복합 페로브스카이트 소재 기반 태양전지 연구에서는 오로지 top PCE 기록을 찍는 경쟁이 이른바 high impact factor 저널에 페이퍼를 쓰기 위한 주요 전장이 되었는데, 사실 이 소재의 특징 중 하나는 놀라울 정도로 광전변환 효율이 잘 나오지만 또 동시에 놀라울 정도로 그 편차가 크다는 것이다.

 

심지어 같은 합성장비, 원료, 실험자, 측정 장비를 사용해도 그렇다. 그래서 최근의 페로브스카이트 소재 기반 태양전지 연구 추세는 아마도 상용화를 타깃으로, 가급적 다량의 샘플에서 얻은 데이터의 분포 자체를 보여주고, 이들의 경향 원본데이터를 웹에 공유하는 방향으로 가는 것 같다. top 효율을 찍는 것보다는, 꽤 괜찮은 효율이나 수명 등의 성능이 얼마나 안정적이고 예측 가능한 범위에서 통제되는지를 보여주는 것이 더 중요하다는 쪽으로 커뮤니티의 의견이 모아지는 것 같다.

 

그렇지만 다른 분야에서는 여전히 기본적인 통계 분석도 안 하고 가장 잘 나온 데이터나 그냥 평균, 표준편차만 넣는 경우도 허다하다. 점 네 개 정도 찍어 놓고 regression 돌려서 R^2 값이 0.9를 넘으니까 linear라고 우기는 경우도 정말 흔하다 (애초에 왜 linear여야 하는지도 별로 진지하게 논의조차 잘 안 됨..). 사실 이러한 연구들은 출판 전에 통계 컨설팅을 제대로 받거나, 그 분야를 잘 아는 사람과 협업을 하든지 해야 하는데, 대부분의 연구실은 그냥 알음알음 평균, 표준편차만 계산하여 논문에 적어 놓는다. 간혹 절대 음수가 나올 수 없는 값인데 예를 들어 5.2 +-6.8 이렇게 적어 놓는 경우도 있다.

 

728x90

한국 이공계 대학원생들의 교육에서 놀라운 점 중 하나는 이들이 논문, 기술서, 특허, 커버레터, 실라부스, 제안서, 평가서 등 학계에서 주로 활용되는 글에 대해 전문적인 글쓰기 훈련을 제대로 받아 본 경우가 거의 없다는 것과 더불어 (영문이든 국문이든...), 통계분석 방법론을 제대로 수강한 적도 거의 없다는 것이다. 말 그대로 고등학교 수준의 통계확률 수준만도 못 한 지식을 가지고 있는 대학원생 천지다.

 

심지어 최상위권 연구중심대학에서도 이런 대학원생을 찾는 것은 어렵지 않다. 글쓰기가 훈련 안 된 대학원생들은 학위 후에도 자신의 결과를 논리적으로 기술하고 커뮤니케이션에 능통한 프로가 되기 어렵고, 통계가 훈련 안 된 대학원생들은 학위 후에는 실무 데이터를 다루고 실제 회사에서나 기관에서 중요한 분석/개선 과정에 참여하는 과정에서 의도치 않은 실수를 저지를 가능성이 높다. 학위 과정에서 이 두 부분만큼은 전공 상관없이 철저하게 체계적으로 교육시켰으면 좋겠다.

 

많은 이공계 대학원생들은 어떤 프로젝트에 투입되기 전, 그 프로젝트의 핵심 가설이나 목표가 무엇이고, 그래서 어떤 종류의 데이터가 수집되어야 하며 어떻게 분석되고 그래서 가설을 어떻게 증명하고 혹은 목표에 어떻게 근접해야 하는지에 대한 상세한 안내를 받기도 전에 그냥 빠르게 scv처럼 투입되곤 한다. 이러면 대학원생들은 scholar가 되기 위한 후보자가 아니라, 그냥 프로젝트의 일꾼으로만 일하게 된다. 프로젝트 전후 맥락을 잘 파악하지 못한 상태에서 선배 혹은 사수의 일을 도와주는 것에 투입되다 보니 실험을 설계하고 수행하고 데이터를 분석하여 하나의 논리를 가진 스토리로 구성하는 것을 훈련하는 것이 처음부터 어려워진다. 이 점도 개선되어야 한다.

1편: https://phdkim.net/board/free/40393

지난 10년간 국제 심리학계를 뒤흔든 재현위기 (reproductibility crisis) 요약 (1편) - 김박사넷 커뮤니

 

2편: https://phdkim.net/board/free/40412

지난 10년간 국제 심리학계를 뒤흔든 재현위기 (reproducibility crisis) 요약 (2편) - 김박사넷 커뮤니티

 

3편: https://phdkim.net/board/free/40430

심리학계 재현위기의 근황, 시사점 및 대응방법 (심리학계 재현위기 3편) - 김박사넷 커뮤니티

---

 

재미로 보는 나이를 먹는다는 것에 대한 의미 (feat. 당신의 나이는?)

 

재미있는 남녀 관계 (feat. 사랑의 방정식, 로맨스와 결혼)

 

우리나라에서 최고 명의로 소문난 명의 총집합 (feat. 질환별 의사 선생님 리스트)