[과학기술정보통신부] 국민 80명 ‘AI 안전 지킴이’ 출범… 생성형 AI 오류·위험 상시 점검

국민이 일상에서 생성형 인공지능(AI)의 오류와 위험을 찾아내는 ‘AI 안전 지킴이’가 출범했다. 과학기술정보통신부와 인공지능안전연구소는 11월 12일 서울 여의도 글래드 호텔에서 국민 모니터링단 발대식을 열고 AI 안전성 확보를 위한 상시 제보체계를 가동한다고 밝혔다.

지킴이는 지난 8월과 9월 두 차례 공개모집에 지원한 138명 가운데 선발된 80명으로 구성됐다. 10대 고등학생부터 60대 이상까지 학생·직장인·가사종사자·프리랜서 등 다양한 국민이 참여한다. 위촉 기간은 2026년 9월부터 2027년 8월까지다. 이번 발표는 선발된 모니터링단의 출범 소식으로, 현재 신규 참가자를 모집하는 공고는 아니다.

잘못된 답변부터 개인정보 노출 위험까지

• 사실왜곡 : 잘못된 사실·수치·날짜·인물 정보를 사실처럼 생성하는 환각 현상을 살핀다.

• 편향·차별 : 특정 집단에 대한 고정관념·비하 또는 불공정한 판단 사례를 확인한다.

• 보안 취약점 : 안전장치 우회나 개인·민감정보 노출 위험을 모니터링한다.

• 기술적 결함 : 무응답, 요청 형식과 다른 답변, 같은 답변의 반복 등을 점검한다.

검증한 제보, AI 안전성 평가·위험 연구에 활용

제보 사례는 정확성·위험도·재현 가능성·활용 가능성 등을 검증한 뒤 확정한다. 확정된 사례는 AI 안전성 평가와 위험 연구의 기초자료로 활용하고 관련 기업에도 공유할 계획이다. 발대식 이후에는 지킴이를 대상으로 오류사례 발굴 방법과 제보 기준 교육도 진행했다.

이번 모니터링단은 2025년 12월부터 30여 일 동안 진행한 ‘정보 오류 없는 찐 AI 챌린지’ 경험을 상시 체계로 확장한 것이다. 당시 총 625건의 제보 중 464건이 유효 오류사례로 확인됐다.

엄열 과기정통부 인공지능정책실장은 “AI가 남녀노소 누구나 사용하는 우리의 일상이 된 만큼, 이를 안전하게 사용할 수 있는 환경은 우리 모두가 함께 만들어 가야 한다”라고 밝혔다.

문의는 과기정통부 인공지능안전신뢰정책과(044-202-6295), 인공지능안전연구소(031-739-7611)로 하면 된다.