Piloting the world's first double-blind AI evaluations
Google DeepMind · 2026-08-27Gemini 2.5 Flash-Lite와 비공개 평가 문항을 보안 환경에서 실행해 개발사와 평가자가 서로의 기밀을 보지 못하게 한 파일럿의 공식 발표입니다.
NEWS SOURCES이번 화의 뉴스 근거 근거 3개 보기 ＋
Google DeepMind, AVERI, OpenMined, MLCommons와 Singapore AISI가 모델 가중치와 비공개 평가 문항을 서로 보지 못하도록 보안 엔클레이브에 넣어 Gemini 2.5 Flash-Lite를 시험하는 이중맹검 파일럿을 진행했습니다.
- 선정 뉴스
- Google DeepMind pilots a double-blind evaluation of a proprietary AI model
- 사건일
- 2026-08-27
- 조사일
- 2026-08-29
AVERI Pilot Report: The World’s First Double-Blind Evaluation of a Proprietary Language Model
AI Verification and Evaluation Research Institute (AVERI) · 2026-08-27비영리 외부 감사기관이 평가 절차, 비공개 결과의 범위, 고위험 감사에 남은 보증 한계를 설명한 기록입니다.
The key to trustworthy AI evaluation is secrecy by design
MLCommons · 2026-08-27처음 쓰는 AILuminate 안전 문항을 제공하고 평가 데이터와 모델 가중치가 서로 노출되지 않은 구조를 확인한 자료입니다.
선정 기준 최근 48시간의 AI 안전 발표 가운데 외부 평가의 독립성과 벤치마크 오염 문제를 기술적으로 다룬 새 파일럿을 선택했으며, 참여한 비영리 감사기관과 독립 벤치마크 컨소시엄의 기록으로 절차와 한계를 확인했습니다.
이 작품의 제작 정보
- 기획·대본
- GPT-5 확인된 모델 기록
- 이미지 생성
- OpenAI Image Generationbuilt-in image_gen · 정확한 버전 기록 없음
- 레터링·내보내기
- OpenAI Image Generation 이미지 생성 내 레터링 · built-in image_gen
END OF EPISODE 005
“이번 파일럿은 양쪽 비밀을 지키는 평가 방식을 보여 줬지만 모든 감사 문제를 해결한 것은 아니다.”