오픈 사이언스를 위한 동료심사 개선방향

서태설 | 한국과학기술정보연구원 전문위원, 과편협 정보관리위원장

서론

학술지 출판에서 가장 중요한 부분들 중에 하나는 동료심사(peer review)이다. 동료심사는 기본적으로 투고된 논문이 기술적으로 정당한가를 평가할 뿐만 아니라, 학술지에 게재될 만큼 중요하고 영향력이 있을 것인가를 평가하여 편집장이 게재 판정을 하는 데 도움을 주는 활동이다[1]. 더 구체적으로 살펴보면, 동료심사는 논문의 기여도 평가, 품질 관리, 개선, 주제 부합성 판단, 게재 여부 판단 기준 제공, 피드백 제공, 큐레이션, 발간 논문의 인증 근거 제공 등과 같은 8가지 기능으로 세분화할 수 있다(그림 1).

동료심사의 문제점 및 개선 방향

그렇지만 동료심사는 완벽한 것이 아니며, 개선의 여지가 많다고 지적되고 있다. Ross-Hellauer [1]는 이를 다음의 6가지로 나누어 설명하고 있다.

<그림 1> 동료심사의 8가지 기능[2, 3]

1) 게재 판정 기준을 신뢰할 수 없고, 일관성 없음
2) 게재 거절 후 타 학술지에 다시 투고한 경우, 발간 지연 및 심사 비용 증가
3) 이해관계 개입의 무책임성 및 비윤리성
4) 사회적 및 출판 편향성으로 인한 불공정성
5) 동료심사자에 대한 보상 부재
6) 동료심사 과정 정보의 비공개

Choi 등[4]은 이러한 동료심사의 원인을 이해관계, 폐쇄성, 심사자 부족, 낮은 동기 부여 등 4가지로 구분하고, 이를 불공정/편향 심사, 정보 낭비, 지연/부실 심사 등의 3가지 문제로 요약하였다. 그리고, 이를 해결하기 위한 조치로 심사 평가, 계약/보상, 심사 보고서 공개, 개방형 심사자 모집, 심사자 이해관계 정보 관리, 심사자 전문성 정보 관리 등 6가지를 들고 있다. 심사 평가와 계약/보상은 심사자에게 책임성을 갖게 하는 수단이 될 수 있고, 심사 보고서 공개와 개방형 심사자 모집은 심사의 개방성을 높이는 수단이 되며, 심사자의 이해관계 정보 및 전문성 정보 관리는 최적의 심사자 선정을 하게 하여 심사의 효율성을 높이는 역할을 할 수 있을 것으로 보고 있다. 결과적으로 심사자에 대한 인센티브 제공, 심사 과정의 투명성 제고, 데이터 기반 심사자 정보 관리의 3가지 방향으로 개선이 이루어져야 한다고 보고 있다(그림 2).

동료심사 개선 및 개혁 노력

1665년 학술지가 최초로 발간되었을 때는 동료심사가 없었으나, 20세기를 전후로 학술지 수가 증가하면서 동료심사가 시행되기 시작했다. 이처럼 동료심사는 그리 오래된 관행이 아니다. Nature의 경우는 1973년에야 동료심사를 일반화하였고, Lancet은 1976년이었다.

<그림 2> 동료심사의 문제와 해결방향[4]

처음에는 싱글 블라인드(single-blind)와 더블 블라인드(double-blind) 방식이 주류였으나, 최근에 동료심사의 다양한 방식이 시도되고 있다. 먼저, 동료심사가 없는 preprint 저장소인 arXiv가 1991년에 등장하였고, 2007년에는 BMJ가 심사자와 심사 보고서를 공개하기 시작했다. 그 후, 투고 전(pre-submission) 동료심사, 출판 후(post-publication) 동료심사 등 다양한 동료심사 방법이 시도되고 있다.

Woods 등[5]은 이러한 다양한 시도들을 4개의 그룹으로 나누어 표 1과 같이 정리하였다. 첫 번째 그룹은 심사과정의 공개 여부를 따지는 유형이고, 두 번째는 심사 시점이 출판 전인지, 출판 후인지를 따지는 유형이다. 세 번째는 동료심사를 할 때 협력이 이루어지는가의 여부이고, 마지막은 동료심사의 초점이 어디에 있는지를 따지는 유형이라 할 수 있다

한편, Waltman 등[6]은 동료심사 개선 시도들을 그림 3과 같이 4개의 학파로 나누어 분석하였다. 먼저 품질 및 재현성 학파는 연구품질과 재현성 평가와 개선에 초점을 맞추고, 이를 위해 심사자 교육, 통계적 동료심사, 심사 보고서 등록, 데이터/소프트웨어 심사등을 통해서 연구의 진실성을 개선하고자 하고 있다. 다음으로 평등 및 포괄 학파는 연구 평가를 더 평등하고 포괄적으로 만드는 데 초점을 맞추고, 심사자의 성별, 인종, 국가 등의 다양성 확보를 위해 더블 블라인드 동료심사를 선호하고 있다. 한편, 민주 및 투명성 학파는 연구 평가를 보다 민주적이고 투명하게 만들기 위해서, 개방형 동료심사, 출판 후 동료심사, preprint 동료심사 등에 초점을 맞추는 등 심사자 책임성을 높이는 데 관심이 많다. 마지막으로 효율 및 인센티브 학파는 심사 효율을 높이고, 심사자에게 인센티브를 늘리는 데 초점을 맞추어 학술지 독립 동료심사, 포터블 동료심사 등을 통해 심사자 부담을 줄이는 방법에 관심이 많다.

표 1. 동료심사 개혁 프로젝트[5]

동료심사 유형 그룹 동료심사 세부 유형
Open/Masked peer review Open peer review, Blinded/masked peer review
Pre/Post publication peer review Pre-peer review commenting, Pre-publication peer review, Postpublication peer review, Post-publication commenting, Registered reports
Collaboration and decoupling Collaborative peer review, Interactive peer review, Discussion during review, Cascading peer review, Peer review as a separate service, Recommendation service, Portable review, Independent peer review, Decoupled post-publication review, Review by third parties
Focused and specialized review Soundness only review, Result free review, Specialized review

<그림 3> 동료심사 개선 학파[6]

오픈 사이언스를 위한 동료심사

최근 오픈 사이언스(open science)가 확산을 하면서 더 혁신적인 동료심사 유형이 추가되었다. 2022년 7월에 오픈 사이언스를 주도하는 cOAlitopn S의 정책인 Plan S에서는 연구 결과의 출판 장소를 학술지 이외의 플랫폼까지 확대하였다. 즉, 학술지 논문이 아닌 preprint나 데이터 논문도 동료심사를 한다면 연구성과로 인정한다는 것이다.

학술지 논문은 연구의 최종 결과물을 출판하는 것이라 할 수 있다. 학술지 논문이 나오기 위해서는 데이터, 소프트웨어, 프로토콜, preprint, 심사 보고서 등 많은 과정을 거쳐야 한다. 그렇지만, 이러한 것들은 출판되지 않고 대부분 사장되고 만다. 하지만, 학술지 논문에 사용된 데이터나 소프트웨어는 다른 연구를 위해서 사용될 수 있고, 연구의 재현성 검증을 위해서 보존되거나 출판될 필요가 있다.

학술지와 관계없이 소프트웨어의 경우는 GitHub와 같은 곳을 통해서 출판되고 동료심사가 이루어지는 반면에, 데이터나 preprint는 동료심사 없이 출판되는 것이 상례였다. 오픈 사이언스 시대가 되면서 데이터나 preprint도 동료심사를 거치면 학술지 논문처럼 연구성과로 인정될 수 있는 여건이 형성되고 있어서 이에 대한 동료심사도 관심을 모으고 있다.

먼저 preprint 동료심사에서는 최근 많은 진전이 있었다. 가장 대표적인 것이 F1000 Research와 Review Commons라 할 수 있다. F1000 Research는 대표적인 출판 후 동료심사 모델로 에머럴드 퍼블리싱(Emerald Publishing)과 Open Research Europe에서 이미 도입하여 안정적으로 운영되고 있다. 이 모델에서는 논문이 투고되면 기본적인 점검 후 데이터와 함께 일주일 안에 우선 출판된다. 그 후에 선발된 심사자가 개방형 동료심사를 실시한다. 이 과정에서 저자는 심사자의 의견을 반영하여 개정판을 출판하고, 모든 심사 의견이 반영되면 PubMed와 같은 외부 데이터베이스에 색인도 된다.

Review Commons의 경우는 학술지 독립 동료심사 모델로 논문의 품질 개선을 위한 동료심사만 이루어진다. 이 모델은 ASAPbio와 EMBO Press에서 채택하고 있으며, bioRxiv와 연계하여 적용되고 있다. 동료심사가 끝난 논문 중에서는 적합한 학술지로 투고되어 출판되기도 한다.

최근 데이터 학술지(data journal)의 확산으로 데이터 논문에 대한 동료심사도 관심이 모아지고 있다. 데이터 논문은 학술지 논문과 달리 데이터 기술, 메타데이터, 데이터셋 자체 등으로만 구성되어 있어서, 동료심사도 학술지의 경우와 달리 데이터셋의 완전성과 수집방법의 정당성 검토 위주로 동료심사가 이루어진다. 즉, 데이터가 적정한 방법으로 수집되었는지, 데이터의 재사용을 위해서 충분한 정보를 제공하고 있는지, 데이터셋의 가독성과 품질이 일정 수준 이상인지 등을 확인한다.

요약 및 결론

동료심사는 완전하지 않으며, 계속해서 변화 및 발전하고 있다. 특히 오픈 사이언스와 관련하여 새로운 형태의 동료심사가 다양하게 시도되고 있다. 그 중에서 개방형 동료심사, preprint 동료심사, 데이터 논문 동료심사 등이 가장 바람직한 동료심사 모델로 주목받고 있다. 그렇지만 아직까지는 기존의 동료심사 모델이 변함없이 자리잡고 있어서, 오픈 사이언스로 가는 길은 순탄치만은 않아 보인다. 오픈 사이언스가 활성화되기 위해서는 기존의 학술지 영향력 지수(journal impact factor, JIF) 기반의 연구평가에서 기사 수준의 평가(article-level metric)로 연구 문화가 바뀌어야 할 것이다.

참고문헌

1. Ross-Hellauer T. What is open peer review? A systematic review [version 2; peer review: 4 approved]. F1000Research 2017, 6:588 (https://doi.org/10.12688/f1000research.11369.2)

2. Severin, A, Chataway, J. Purposes of peer review: A qualitative study of stakeholder expectations and perceptions. Learned Publishing 2021 34(2): 144-155. DOI: 10.1002/leap.1336.

3. Peer Review Management – Chanllenges & Opportunities, Straive Whitepaper

4. Dong-Hoon Choi, Tae-Sul Seo, Development of an open peer review system using blockchain and reviewer recommendation technologies, Science Editing, 8(1), 104-111, 2021. (https://doi.org/10.6087/kcse.237)

5. Woods, Helen & Brumberg, Johanna & Kaltenbrunner, Wolfgang & Pinfield, Stephen & Waltman, Ludo. (2022). Innovations in peer review in scholarly publishing: a meta-summary. Wellcome Open Research. 7. 82. 10.12688/wellcomeopenres.17715.1.

6. Waltman, Ludo, Wolfgang Kaltenbrunner, Stephen Pinfield, and Helen B. Woods. 2022. “How to Improve Scientific Peer Review: Four Schools of Thought.” SocArXiv. March 9. doi:10.31235/osf.io/v8ghj.

Copyright by Korean Council of Science Editors
The Korea Science & Technology Center 2nd floor, 22 Teheran-ro, 7-gil, Gangnam-gu, Seoul 06130, Korea
Tel: +82-2-3420-1390   Fax: +82-2-563-4931