사단법인 국제인공지능윤리협회(이사장 전창배)가 국내 최초로 '감정 교류 AI 윤리 가이드라인'을 제정·발표했다고 밝혔다.
최근 전 세계적으로 AI 챗봇과 감정을 교류하고 정서적으로 의존하는 사례가 급증하면서 관련 윤리 기준 마련의 필요성이 제기돼 왔다. 국내외에서 청소년들의 감정 교류 전문 AI 챗봇의 사용시간이 ChatGPT를 넘어서는 등 이용이 급증하고 있다.
이번 가이드라인은 총 5장(총칙, 윤리적 기반, 국내외 동향 및 기준, 실천 지침, 행동강령과 확산 체계)과 부록으로 구성됐다. 감정 교류 AI의 개발·제공·이용 전 과정에서 모든 이해관계자가 준수해야 할 핵심 윤리 원칙과 실천 지침을 제시한다.
가이드라인은 먼저 감정 교류 AI의 확산 경향과 그에 따른 위험성을 지적했다. OpenAI와 MIT 미디어랩의 공동 연구에 따르면 400만 건 이상의 실제 대화를 분석한 결과, 사용 시간 상위 10% 이용자 대화의 절반 이상에서 정서적 신호가 확인됐다. 일부 이용자는 하루 평균 30분 이상 AI와 감정적 대화를 지속하는 것으로 나타났다.
글로벌 감정 교류 AI 시장도 2024년 29억 달러에서 2034년까지 연평균 21.7% 성장이 전망되며, 음성 기반 감정 AI 부문은 22% 이상의 성장률을 보일 것으로 예측된다. 가이드라인은 이러한 확산이 감정적 조작, 심리적 의존, 알고리즘 편향과 차별, 프라이버시 침해 등 복합적인 위험을 내포한다고 경고했다.
가이드라인은 '인간 존엄성과 정서적 안전'을 가장 본질적인 과제로 제시했다. AI가 사용자의 감정적 취약성을 이용하거나 존엄성을 훼손할 경우 신체적 피해 이상의 깊은 심리적 손상이 발생할 수 있다는 것이다.
또한 '감정 설계와 윤리의 경계'를 명확히 했다. AI가 감정을 '표현'할 수는 있어도 '경험'하지는 못함에도 불구하고 사용자가 이를 실제 감정으로 인식할 경우 자율성 침해와 의존성이 발생할 수 있다고 지적했다.
주요 위험 요소로는 ▲심리·정서적 위험(과도한 의존, 판단 왜곡) ▲정보·신뢰성 위험(개인정보 유출, 허위 정보) ▲사회·문화적 위험(편향 고착화, 차별 재생산) ▲기술·운영상 위험(환각 현상, 책임 전가) 등을 제시했다.
가이드라인은 사용자·소비자, 서비스 제공자, 정책기관 및 입안자 등 주체별 역할과 책임을 구체적으로 명시했다.
사용자는 ▲AI가 인간이 아닌 기술적 모의임을 명확히 인식 ▲과도한 의존 경계 ▲개인정보 자기결정권 행사 ▲공정성·접근성 요구 ▲올바른 활용과 사회적 책임 등을 지켜야 한다.
서비스 제공자는 'LAMP' 원칙을 제시했다. ▲L(Limit·줄여라): 데이터 최소 수집 ▲A(Announce·알려라): AI임을 명확히 고지 ▲M(Monitor·살펴라): 지속적 점검과 검증 ▲P(Protect·지켜라): 개인정보와 취약 계층 보호가 그것이다.
특히 서비스 제공자는 장시간 사용 시 휴식을 유도하고, 위험 키워드 감지 시 전문 기관으로 연결하며, 정서 의존 완화를 위한 기술적 조치를 도입해야 한다고 명시했다.
정책기관은 ▲인간의 정신적 건강 보호 명시 ▲감정 교류 AI를 '고영향 인공지능' 범위에 포함 ▲영향평가 및 인증시스템 구축 ▲사업자 책무 강화 ▲고위험 분야 관리 기준 마련 ▲사용자 피해 구제 체계 마련 등의 역할을 수행해야 한다.
마지막 제 5장 행동 강령과 확산 체계에서는 사용자, 서비스 제공자, 정책기관이 각각 지켜야 할 구체적 행동강령을 16개 조항으로 제시했으며, 확산 방안으로 ▲'설계 기반 윤리(Ethics by Design)' 도입 ▲산업별 자율규제 행동강령 채택 ▲윤리적 AI 인증제도 도입 ▲다학제적 거버넌스 위원회 운영 ▲생애주기별 맞춤형 교육 ▲국내 법제도 연계 ▲글로벌 규범 형성 참여 등을 제안했다.
전창배 국제인공지능윤리협회 이사장은 "본 가이드라인의 가장 큰 특징은 선언적 원칙에 그치지 않고 사용자, 서비스 제공자, 정책기관 등 주체별로 구체적인 실천 지침과 행동강령을 제시했다는 점"이라며 "특히 서비스 제공자를 위한 자가점검 체크리스트를 부록으로 제공해 현장에서 바로 활용할 수 있도록 했다"고 설명했다.
또한 전 이사장은 “기술 발전 속도에 비해 사회적 규범과 제도 정비가 뒤처져 있는 상황”이라며, 이번 가이드라인이 산업계의 책임 있는 혁신과 정책의 합리적 수립을 위한 기반을 제공할 것"이라고 강조했다.
이번 가이드라인 연구와 제정에는 박미애 경북대 계약교수(집필 총괄)를 비롯해 서문길 ㈜단비아이엔씨 대표, 양진영 법무법인민후 대표변호사, 이인재 서울교대 교수, 임소연 우리은행 대화금융센터장, 조대근 부석고 교사 등 총 9명의 전문가가 참여했다.
가이드라인은 협회 홈페이지에서 확인할 수 있으며, 단체와 개인 누구나 출처를 밝히고 자유롭게 인용·활용할 수 있다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
