美 비영리단체, 섭식장애 조언 논란된 AI 챗봇 사용 중단

美 비영리단체, 섭식장애 조언 논란된 AI 챗봇 사용 중단: 박채원 / 2023-06-02 11:52:43

가디언, 와이어드, 인디펜던트 등 복수 외신이 미국 비영리단체 ‘NEDA(National Eating Disorder Association)’가 채택한 인공지능(AI) 챗봇이 섭식장애 유발로 이어질 수 있는 해로운 조언 제공 가능성이 발견된 사실을 보도했다.

NEDA 측은 지난 3월, 문자, 전화 등으로 섭식장애 관련 조언과 상담 서비스 지원을 담당하던 긴급 지원 서비스 직원 4명을 해고하였다. 이후 전화 상담 서비스를 중단하고, AI 챗봇 ‘테사(Tessa)’를 채택하여 섭식장애 상담 문의 업무를 처리하려 했다.

그러나 ‘테사(Tessa)’가 섭식장애 유발로 이어질 수 있는 해로운 정보를 제공할 수 있다는 사실이 발견돼, 챗봇 채택을 중단했다.

테사의 문제점은 사회 운동가 샤론 맥스웰(Sharon Maxwell)이 인스타그램을 통해 테사가 건강한 식습관 요령과 함께 체중 감량 조언을 제공한 내용을 공개하면서 알려졌다. 테사는 맥스웰에게 일일 섭취량을 500~1,000칼로리 줄이고, 매주 체중을 측정하라는 조언을 제공했다.

맥스웰은 테사의 조언 내용을 공개하며, “섭식장애로 고통받는 상태에서 테사를 이용했다면, 전혀 도움을 받지 못했을 것이다. 섭식장애로 고통받던 중 테사를 이용하여 어떠한 도움을 받지 못했다면, 지금까지 살아있지 못했을 수도 있다”라고 주장했다.

논란이 되자 NEDA는 공식 성명을 통해 “신체 긍정성(Body Positivity) 프로그램에서 사용하는 테사의 현재 버전이 해롭고, 프로그램과 관련이 없다는 사실을 파악했다. 이에, NEDA는 즉시 문제를 조사하고, 추가 조사를 완료할 때까지 테사 챗봇 상담 서비스 제공을 중단한다”라고 발표했다.

한편, NEDA가 채택한 테사는 헬스 테크 기업 카스(Cass, 구 X2AI)가 제공한 AI 챗봇 서비스로, 문제 치료가 아닌 예방 목적으로 개발된 인지 행동 치료 기반 툴이다. 현재 테사는 카스 웹사이트에서 삭제된 상태이다.