CWN(CHANGE WITH NEWS) - 캔자스대학교 연구팀 “챗GPT가 작성한 논문 99% 잡아낼 수 있어“...AI 콘텐츠 탐지 소프트웨어 공개

오픈AI의 인공지능(AI) 기반 챗봇 챗GPT가 인간이 작성한 듯한 자연스러운 대화와 스크립트, 시, 논문 등 다양한 글을 작성할 수 있는 능력을 선보이면서 생성형 AI 열풍을 불러일으켰다. 그러나 일각에서는 자연스럽고, 거짓이 진실인 것처럼 보이는 글을 작성한다는 점과 표절 논란 등 챗GPT의 텍스트 생성 능력에 우려의 목소리를 냈다.

이에, 테크익스플로어, 더레지스터 등 복수 외신은 챗GPT와 같은 AI 툴로 작성한 글을 찾아낼 소프트웨어가 공개된 사실을 보도했다.

히더 디자이어(Heather Desaire) 캔자스대학교 교수가 이끈 연구팀은 최근, 학술지 셀 리포트 피지컬 사이언스(Cell Reports Physical Science)에 게재한 논문을 통해 AI가 작성한 글과 인간이 작성한 글을 구분할 수 있는 소프트웨어를 소개했다.

연구팀은 과학자와 챗GPT가 작성한 논문을 분류하도록 알고리즘 훈련과 테스트를 진행할 데이터세트를 압축했다. 연구팀은 알고리즘 훈련을 위해 생물학 분야부터 물리학 분야까지 여러 주제를 다룬 논문 64편을 엄선하여 같은 주제를 다룬 가짜 논문 128편을 챗GPT로 생성했다. 연구팀은 AI로 총 1,276문단을 생성하고, 인간이 작성한 논문과 AI가 작성한 논문을 분류하도록 훈련했다.

이후 알고리즘을 테스트하기 위해 각각 30개의 실제 관점 논문과 챗GPT로 작성한 논문 60편, 총 1,210개의 단락이 포함된 두 개의 데이터 세트를 추가로 수집했다.

연구팀은 초기 실험 결과, 소프트웨어가 인간이 작성한 논문과 AI로 작성한 논문을 100% 정확하게 구분할 수 있다는 사실을 확인했다. 다만, 개별 단락 수준에서의 정확도는 92%로 줄어들었다.

연구팀은 소프트웨어가 인간과 AI가 작성한 글의 다양한 문체적 차이에 초점을 맞추어 분석한다는 점에서 AI 논문을 잡아내는 데 효과적이라고 판단했다. 일례로, 인간 과학자는 기계보다 더 풍부한 어휘력과 다양한 단어를 포함하는 긴 문단을 작성할 확률이 높다. 또, 인간은 따옴표에 사용되는 음성 부호를 제외하고 물음표, 괄호, 세미콜론과 같은 문장 부호를 더 많이 사용한다.

게다가 챗GPT로 작성한 연구 논문의 정확도가 비교적 더 낮고, 논문 작성 시 인용한 다른 논문의 저자나 과학자 이름을 구체적으로 제공하지 않는 것으로 드러났다.

한편, 영국 IT 전문 매체 더레지스터는 연구팀의 논문이 제시한 AI 논문 구분 정확도 결과를 더 신중하게 받아들여야 한다고 주장했다. 또, 연구팀이 연구 과정에서 생성한 AI 논문 대부분 챗GPT로 작성했다는 점도 지적했다.

[ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]