Microsoft, AI 출력에서 ​​환각적 콘텐츠를 감지하고 수정하는 새로운 도구 발표

Azure AI 콘텐츠 안전은 앱, 서비스 및 플랫폼 전반에서 AI가 생성한 유해한 콘텐츠를 감지하는 데 도움이 되는 Microsoft의 AI 서비스입니다. 이 유틸리티는 텍스트와 이미지 API를 모두 제공하므로 개발자는 원치 않는 콘텐츠를 식별할 수 있습니다.

Azure AI Content Safety의 Groundedness API는 대규모 언어 모델의 응답이 사용자가 선택한 소스 문서를 기반으로 하는지 여부를 식별할 수 있습니다. 현재의 대규모 언어 모델은 부정확하거나 잘못된 정보(환상적인 정보)를 생성할 수 있으므로, 이 API는 개발자가 AI 출력 데이터에서 그러한 내용을 식별하는 데 도움이 됩니다.

오늘 Microsoft는 해당 수정 사항의 미리보기를 발표했습니다. 결과적으로 개발자는 이제 AI 출력 데이터에서 "환상적인" 콘텐츠를 실시간으로 감지하고 수정하여 최종 사용자에게 항상 사실상 정확한 AI 생성 콘텐츠를 제공할 수 있습니다. 이 기능은 다음과 같이 작동합니다.

• 앱 개발자는 편집 기능을 활성화합니다.
• 근거 없는 데이터가 감지되면 AI 모델에 새로운 요청을 보내 오류를 수정합니다.
• LLM 알고리즘은 권위 있는 문서를 기반으로 전반적인 점수를 평가합니다.
• 기초가 되는 인증된 문서와 관련이 없는 문장은 전부 걸러질 수 있습니다.
• 콘텐츠가 기본 문서에서 파생된 경우, 기본 모델은 근거 없는 문장을 문서와 일치하도록 다시 작성합니다.

Microsoft는 편집 기능과 함께 Hybrid Azure AI Content Safety(AACS)의 공개 미리 보기도 발표했습니다. 이 기능을 사용하면 개발자는 클라우드와 장치에서 콘텐츠 보안 메커니즘을 구현할 수 있습니다. AACS의 내장 SDK를 사용하면 인터넷에 연결하지 않아도 장치에서 직접 실시간 콘텐츠 보안 검사를 수행할 수 있습니다.

마지막으로 Microsoft는 LLM이 보호된 코드를 생성하는지 감지하기 위해 코드 생성 AI 애플리케이션과 함께 사용할 수 있는 코드용 보호 자료 감지 기능의 미리보기를 발표했습니다. 이 기능은 이전에는 Azure OpenAI 서비스를 통해서만 제공되었습니다. Microsoft는 이제 고객이 다른 코드 생성 AI 모델과 함께 사용할 수 있는 코드에 대한 보호된 자료 감지 기능을 제공하고 있습니다.