AI 레드 티밍의 필요성

안전불감증, 위험을 충분히 인지하지 못하거나 대수롭지 않게 여겨 안전 규정, 수칙을 무시하는 태도, 즉 안전의식이 낮은 상태를 뜻한다. AI 생태계에서도 동일하게 안전불감증 문화를 엿볼 수 있다.

Scale AI의 데이비드 캠벨은 강연에서 AI 레드 티밍의 중요성에 대해 역설했다. 우선, AI의 도입은 기존 사이버 보안의 공격 표면을 뒤바꾸었고, 이러한 위협을 방어하기 위해서 4가지 계층을 이해해야 한다고 말한다.

✅입력(Input): 유저, 시스템 프롬프트, 에이전트 및 RAG 애플리케이션에서 주입되는 컨텍스트