인공지능, 사람보다 “피싱 메일“도 더 잘 쓴다?

인공지능, 사람보다 "피싱 메일"도 더 잘 쓴다?: 이진영 / 2021-08-09 19:22:37

최근 인공지능(AI)이 사람보다 피싱 메일을 더 잘 작성했다는 연구 결과가 나왔다고 와이어드가 보도했다.

인공지능을 활용한 자연어 처리(NLP)는 다양한 분야에 활용되고 있다. 자연어 처리를 활용한 AI 대화형 금융 플랫폼, 인공지능 콜센터 또는 챗봇, 교육 사업 등 긍정적으로 활용되는 사례가 있는 반면 가짜 뉴스(fake news)를 생성하는 악용 사례도 있다. 그런데 최근 인공지능의 자연어 처리가 '피싱 메일(phishing email)'을 만드는 데에도 효과적이라는 연구 결과가 나왔다.

연구진은 소규모 연구에서 딥러닝 언어 모델인 OpenAI GPT-3을 통해 대규모 스피어 피싱 캠페인을 쉽게 제작할 수 있다는 사실을 발견했다. 연구진은 GPT-3과 같은 도구가 스피어 피싱(spear phishing, 특정 개인이나 회사를 대상으로 한 피싱 공격) 메시지를 효과적으로 생성했다고 밝혔다.

지난주 미국 라스베이거스에서 열린 블랙햇(Black Hat)과 데프콘(Defcon) 보안 컨퍼런스에서 싱가포르 정부기술청(GTA) 팀은 최근 팀이 직접 조작한 표적 피싱 메일을 동료 200여 명에게 전송한 실험을 공개했다. 두 메시지 모두 실제로 악의적인 메일은 아니었으며 단순히 연구진에게 백 클릭을 보고하는 링크를 포함하고 있었다. 실험 결과 놀랍게도 사람이 작성한 메일보다 인공지능이 만든 메시지의 링크를 클릭하는 사람이 훨씬 많은 것으로 드러났다.

해당 실험에서 GPT-3 플랫폼과 다른 AI의 AIaaS(AI-as-a-Service) 플랫폼을 연계해 동료의 배경과 특성에 맞게 성격 분석에 집중한 맞춤형 피싱 메일을 생성했다. 성격 분석에 초점을 둔 기계 학습은 행동 입력에 근거해 사람의 성향과 사고방식을 예측하는 것을 목표로 한다. 연구진은 여러 서비스로 아웃풋을 실행하며 이메일을 발송하기 전 다듬고 정제하는 파이프라인을 개발할 수 있었다. 그들은 결과가 "이상하게 인간적인" 것처럼 들렸고, 플랫폼이 싱가포르에 사는 사람들을 위한 콘텐츠를 만들라고 지시를 받았을 때 싱가포르 법을 언급하는 등 놀라울 정도로 세부 사항을 자동으로 제공했다고 밝혔다.

한편 연구원은 실험을 통해 합성 메시지의 품질과 클릭률은 인상 깊었지만, 첫 번째 단계에 불과하다고 말했다. 해당 실험은 표본의 크기가 상대적으로 작았고 고용 및 지리적 측면에서 대상 풀이 상당히 균일했다. 또 인간이 만든 메시지와 AIaaS 파이프라인에 의해 생성된 메시지 모두 멀리서 올바른 톤을 공격하려는 외부 공격자들이 아닌 사무실 내부자들에 의해 생성되었기 때문이다.

정부 기술청 사이버 보안 전문가 유진 임(Eugene Lim)은 "연구진은 AI에 어느 정도 전문가가 필요하다고 지적했다"며 "정말 좋은 모델을 교육하려면 수백만 달러가 필요하다."고 말했다. 하지만 "일단 AIaaS를 적용하면 비용이 몇 센트밖에 들지 않으며 사용이 매우 간편하다. 텍스트를 작성하고 보내기만 하면 된다. 코드를 실행할 필요도 없고, 프롬프트만 주면 결과가 나온다."며 AI를 사용했을 때 대규모 피싱 메일을 작성하기 위한 진입 장벽이 낮아지고 잠재적인 타겟 목표치를 높인다고 설명했다. 대규모의 전자 메일을 순식간에 각 수신자에게 맞게 개인화할 수 있는 것이다.

한편 연구진들은 스캐머(scammer)들이 강력한 피싱 메시지를 생성할 수 있는 기계 학습(ML) 알고리즘을 교육할 가치가 있는지 여부를 논의해왔다. 대량의 피싱 메시지는 간단하고 공식적이며, 매우 효과적이다. 고도로 타깃화되고 맞춤화된 '스피어 피싱 메시지는 구성하기에 더 많이 노동 집약적이다. 즉 NLP가 굉장히 유용할 수 있다.

그동안 OpenAI는 오랫동안 자체 서비스나 이와 유사한 서비스의 오남용 가능성이 우려되어왔다. 이에 Open AI는 성명을 통해 남용 방지 조치에 대한 자체 연구를 하고 있으며, 정부 기술청 연구원들이 회사에 그들의 작업을 통보하고 있다고 밝혔다.

기업은 "언어 모델의 오용은 AI의 안전하고 책임 있는 배치를 위한 우리의 약속의 일환으로, 매우 심각하게 받아드리고 있는 산업 전반의 문제"라며 오용을 방지하기 위해 GPT-3 접근 권한을 부여하고 모든 상품 사용을 라이브에 앞서 검토한다고 설명했다. 또 악성 이용 가능성 및 영향을 줄이기 위해 요금 제한 등의 기술적 조치와 NAT 등 능동 모니터링 시스템과 감사를 활용한다고 밝혔다.

그러나 연구진은 이러한 서비스가 악용될 가능성을 모니터링하는 것과 합법적인 플랫폼 사용자에 대한 침습적 감시 사이의 긴장이 존재한다고 강조했다. 또 모든 AIaaS 제공업체들이 플랫폼 남용을 줄이는 것에 신경 쓰지 않는다는 점이다.

사이버 보안 전문가 유진 임은 "정말 놀라운 것은 이러한 AI API에 쉽게 접근할 수 있는 것이다."며 OpenAI와 같은 몇몇 업체는 매우 엄격하지만, 다른 제공업체들은 무료 평가판을 제공하고, 이메일 주소를 확인하지 않고, 신용카드를 요구하지 않는 등 사용 장벽이 매우 낮다고 설명했다.

한편 연구진은 싱가포르 정부와 유럽연합(EU)이 개발하고 있는 AI 거버넌스 프레임워크가 악용을 다루는 데 있어 기업에 도움이 될 수 있다고 말했다. 또 이들은 합성 또는 AI에서 생성된 피싱 메일을 잠재적으로 탐지할 수 있는 도구를 함께 연구했는데, 이는 딥페이크와 AI에서 생성된 가짜 뉴스과 확산하며 주목받는 어려운 주제이기도 하다. 연구원은 OpenAI의 GPT-3과 같은 딥러닝 언어 모델을 사용해 인공지능이 생성한 텍스트와 인간이 구성한 텍스트를 차별화할 수 있는 프레임워크를 개발한다. AI가 생성한 피싱 메시지를 쉽게 잡을 수 있도록 이메일에 합성 매체를 플래그로 표시할 수 있는 매커니즘을 구축하겠다는 구상이다.

그러나 연구진은 고객 서비스 통신이나 마케팅 등 점점 합법적인 기능에 합성 미디어가 사용되면서, 피싱 메시지만 플래그로 표시하는 선별 도구 개발이 더욱 어려워질 것으로 보고 있다.

이에 정부 기술청 사이버 보안 전문가 글레니스 탄(Glenice Tan )은 "피싱 이메일 탐지도 중요하지만, 일반적으로 매우 매력적이고 설득력 있는 메시지에 대비해야 한다."며 "보안 교육의 역할은 여전히 존재한다. 조심하고 회의적인 태도를 유지하라."고 강조했다.