AI 챗봇의 뉴스 브리핑을 믿지 말아야 하는 이유

AI 챗봇을 이용해 간단한 뉴스 요약을 제공하기 전에는 꼭 두 번 생각해 보세요. BBC의 새로운 보고서에 따르면, 인기 있는 챗봇이 요약 결과에서 심각한 오류를 범하는 것으로 나타났습니다.

Google Gemini는 문제가 있는 요약 비율이 가장 높습니다.

테스트에는 ChatGPT , Google Gemini , Microsoft Copilot , Perplexity AI가 포함됩니다 . BBC는 우선 각 챗봇에게 100개의 뉴스 질문을 던지고, 가능한 경우 BBC 뉴스 소스를 사용하도록 요구했습니다.

그런 다음 BBC의 전문가들은 이러한 요약의 질을 평가했습니다. 요약 중 51%는 사실적 부정확성, 잘못된 인용 또는 오래된 정보 등 어떤 유형의 오류를 포함하고 있었습니다.

그 중 19%는 날짜가 잘못 기재되는 등 사실과 관련된 오류가 있었습니다. 그리고 BBC에 인용된 내용 중 13%는 요약본에서 변경되었거나 챗봇에 제공된 기사에는 존재하지 않는 내용이었습니다.

챗봇을 통해 분석한 결과, 구글의 제미니가 가장 문제가 있는 것으로 나타났으며, 요약의 60% 이상에 문제가 있는 정보가 포함되었습니다. Microsoft Copilot은 50%로 2위를 차지했고, ChatGPT와 Perplexity는 약 40%의 문제가 있는 응답을 받았습니다.

BBC는 결론에서 많은 문제가 단순히 잘못된 정보 때문만은 아니라고 밝혔습니다.

이 연구에서는 AI 조수가 저지르는 오류의 범위가 사실적 부정확성을 넘어서는 것으로 나타났습니다. 우리가 테스트한 AI 보조원들은 의견과 사실을 구분하는 데 어려움을 겪었고, 종종 필요한 맥락을 포함하지 못하고 편집만 했습니다. 피드백의 모든 진술이 정확하더라도, 이런 유형의 문제는 오해의 소지가 있거나 편향된 피드백으로 이어질 수 있습니다.

많은 사람들이 기술의 신뢰성을 믿지 못해서 AI 챗봇을 이용해 뉴스를 요약해 본 적이 없습니다. 하지만 연구 결과는 문제가 있는 결과가 많았음에도 불구하고 여전히 놀라운 수준이었습니다. AI가 뉴스에 대해 더 많이 알아볼 수 있는 신뢰할 만한 수단이 되기까지는 아직 갈 길이 멉니다.

AI 기능은 아직 진행 중입니다.

AI 기술, 특히 챗봇은 계속해서 급속히 발전하고 있습니다. 하지만 BBC 조사에 따르면, 뉴스에 대한 정확한 정보를 기대하는 것은 엄청나게 문제가 있는 분야입니다.

BBC는 또 다른 AI 기반 기능인 Apple Intelligence Notification Summary에 대해 불만을 제기했습니다. 2024년 12월, 해당 채널의 뉴스 요약에서 루이지 만조네가 자살했다고 잘못 기재했습니다. 그는 의료 회사 CEO인 브라이언 톰슨을 총으로 쏴 죽인 혐의를 받고 있는 남자입니다.

BBC 등의 불만에 따라 Apple은 iOS 18.3부터 뉴스 및 엔터테인먼트 앱의 요약 기능을 일시적으로 비활성화했습니다 .

따라서 뉴스를 따라가고 싶을 때는 간단하게 진행하세요. AI 요약은 건너뛰고 직접 읽어보세요.