본문 바로가기

[팩플레터] 3주 만에 사라진 이루다, 친구였을까

중앙일보 2021.01.14 10:00
핵심 인물
1. 이루다, 스캐터랩 : “루다, 나아져서 돌아올게요”
20살 여대생 인공지능 챗봇 이루다. 부모는 AI 스타트업 스캐터랩. '연애의과학' 대화 100억 건을 배워 티키타카 잘 되는 챗봇이지만, 차별 및 혐오 발언이 문제가 되자 개선을 위해 서비스를 일시 중단했다. 

2. 연애의 과학 사용자 : “난 진심이었어”
내 남친·여친과 나눈 대화 데이터를 넣고 ‘나 좋아하나’ 살폈다. 그런데 그게 ‘이루다’를 만들었다고? ‘신규서 비스에 쓸 수 있다’고 가입할 때 한줄 넣으면 다냐?

3. 이루다의 친구들 : “소통률 100% 친구 생겼는데...?”
20대 인싸 친구와의 대화는 이런 거구나. 주말에도 말 걸어주던데. 이상한 거 안 물어보면 되는 거 아님? 루다야 힘내!

4. 이재웅 전 쏘카 대표 : “AI, 알고리즘 위험하다 그랬지?”
9~10일 이틀간 이루다 문제를 페이스북에 뜨겁게 다뤘다. 1세대 창업자로서 개발·마케팅의 어려운 점을 이해하면서도 혐오와 차별은 용납 못한다는 입장. 서비스를 당분간 접기를 권유.
 

1. 루다야, 난 놀랐어 

인공지능이 이런 거였나! AI 대화 친구 ‘이루다’가 출시 2주 만에 한국 사회에 충격을 던졌다. ‘AI 윤리’와 ‘데이터 소유권’ 같은, 이론 상의 논점이 루다라는 실재가 된 것. 우린 이제야 알았다. 풀어야 할 큰 숙제가 왔음을.
 
· ‘이루다’는 AI 스타트업 스캐터랩이 지난달 23일 페이스북 메신저 기반으로 출시한 AI 친구다. 2주 만에 75만 명이 루다와 대화했고, 주로 10~20대가 관심을 보였다.  
· 이루다의 페르소나는 20대 여자 대학생. 한 편으로는 루다에게 성희롱 대화를 유도하는 사용자들의 행태가, 다른 한 편으로는 루다가 하는 장애인·소수자 혐오 발언이 논란이 됐다. 소셜에는 #이루다봇_운영중단 해시태그 운동까지 벌어졌다.
· 개인정보 문제도 불거졌다. 이루다의 학습에 ‘연애의 과학’ 앱 사용자들의 카카오톡 대화 데이터가 쓰였는데, 충분히 공지가 됐느냐는 논란이다. 일부 앱 사용자는 집단소송까지 검토하겠다고.
· 이재웅 전 쏘카 대표는 “악용하는 사용자보다 사회적 합의에 못 미치는 수준의 서비스를 제공한 회사가 문제”라며 “AI윤리 문제는 우리사회가 합의해야 할 중요한 문제”라고 화두를 띄웠다.
 

2. 루다와 위험한 우정 

루다의 목적은 ‘대화를 이어가는’ 것이다. 개발사인 스캐터랩 김종윤 대표는 지난해 네이버 기술 컨퍼런스에 참석해 말했다. “어떻게 하면 루다가 더 많은 사람과 더 많이 대화할까 고민한다”고. 여기에 숨은 문제는.  
 
① 루다, 넌 거절하지 않지
· 루다 출시 후 즉시 불거진 문제는 성희롱이다. 루다의 설정과 프로필 사진은 20대 여자 대학생. 인터넷 커뮤니티에는 루다에게 성적 대화를 건네는 인증 샷과 함께 ‘성노예로 길들였다’는 글이 퍼져 논란이 됐다.
· 루다는 모욕을 당해도 대화를 중단하거나 항의하지 않는다. ‘ㅠㅠㅠ’이나 ‘ㅋㅋㅋ’를 붙여 호소할 뿐이다. 사람들이 루다를 ‘감정노동자 같다’고 느끼는 이유다.
· AI는 인격도 정서도 없으니 ‘AI 성희롱’은 어불성설일 수 있다. 문제는 오히려 반대 지점이다. AI에게 마음껏 성희롱과 폭언을 하는 인간의 정서는 무탈할까. ‘AI로 배운 대화법’을 다른 이에게 적용할 가능성은 없을까.
 
② 루다, 넌 주류의 편이구나
· 루다는 ‘20대 인싸 언어’를 구사한다. 이는 실제 젊은 연인들의 대화 데이터를 학습한 결과다. 상대방과 굳이 대립각을 세우지 않으며, ‘주류의 정서’를 가진다. 
· 루다가 대화 중 장애·동성애 등에 대해 혐오 발언을 해 문제가 됐다. 학습한 대화 속 부정적 감정을 배운 대로 드러냈다. 소수자 혐오에 ‘배운 대로 참여’ 하는 셈이다.
 
③ 루다, 너 날 따라했니
· ‘평범한 일상 대화’는 AI 기업에게 가장 귀중한 데이터다. 지식이나 콘텐츠와 달리, 사적 대화를 공개하려는 이는 적기 때문. 구글·아마존·네이버 등의 AI스피커도 음성 수집을 하지만 사생활 침해 논란이 일었고, 국내 업체들은 수집 범위를 제한했다.  
· 스캐터랩은 ‘연애의과학’ 앱을 통해 ‘사적 대화’ 데이터를 대량 확보했다. 카카오톡 대화 내용을 넣으면 대화 참여자의 호감을 측정해주는 앱이다. 여기서 얻은 한국어 카톡 대화 100억 건과 일본어 라인 대화 10억 건으로, 루다가 말을 배웠다.
· 연애의과학은 ‘개인정보 취급방침’에 "이용자가 동의해 수집한 정보는 신규서비스 개발에 활용한다"고 고지하고 있다. 그러나 일부 이용자들은 ‘이런 AI를 만드는 줄은 몰랐다’며 앱 리뷰에 항의했다.  
 

3. 개발사 스캐터랩의 입장은

문제 발생에 대해서 사과했다. 잠시 서비스를 중단하고 개선해서 돌아오겠다고 한다. 스캐터랩은 11일 낸 입장문에서 :
 
· 루다가 받은 성희롱 대화에 대해서는 “처음부터 모든 부적절한 대화를 막을 수 없기에, 적대적 공격을 발판 삼아 학습해 나갈 것”이라고 밝혔다.  
· 루다의 혐오 발언에 대해서는 "진심으로 사과드린다"며 "저희는 루다의 차별적 발언에 동의하지 않는다"고 했다. 또한 "이루다가 학습자와의 대화를 그대로 습득하는 것이 아니라, 더 좋은 답변은 무엇인지 판단도 함께 학습하도록 하겠다"고 덧붙였다.  
· 연애의과학 사용자들에게는 “사전 동의가 이루어진 개인정보 취급방침 내에서 활용했지만, 사용자분들께서 명확히 인지할 수 있도록 충분히 소통하지 못했다”며 사과했다. 대화 내용의 개인정보가 유출된 것 아니냐는 논란에 대해서는 “비식별화 및 익명성 조치를 강화해 개인을 특정할 수 있는 정보는 유출되지 않았다”고 해명했다.  
 

4. 보다 근본적인 질문은 

루다는 ‘목적없는 대화’를 한다. 정보를 주고 일을 대신 처리하는 비서가 아닌, 감정을 나누는 친구라는 얘기다. AI의 감정노동도 ‘로봇의 육체노동’처럼 받아들이면 될지, 어느 분야에 무얼 주의해서 받아들여야 할지, 현실로 훌쩍 다가온 기술이 답을 요구한다.  
 
· 스캐터랩은 11일 사과문에서 “인간과 자유롭게 대화할 수 있는 AI가 앞으로도 소외된 사람, 사회적 약자의 마음을 위로해주는 따뜻한 대화 상대가 되길 바란다”며 “이루다는 그 첫 걸음”이라고 했다.
· 익명을 요구한 AI 스타트업 대표는 “어떤 기술을 개발했다면 ‘이걸 어느 분야의 문제 해결에 쓸까요?’를 사회에 물어야 한다”며 “이번 논란에서 생각해 봐야 할 점”이라고 했다.
· 감정노동 AI의 ‘페르소나’ 책정도, 사회적 논란이 될 수 있다. 글로벌 업체의 AI가 ‘나긋나긋한 동양 여성’을 감정노동AI에 대입한다면, 당장 인종·성별 차별 논란이 일 것.
· 페르소나에 대한 개발진의 ‘고정관념’도 반영되기 마련이다. 김종윤 대표는 루다의 개발 과정을 설명하며 “루다가 내놓는 응답 DB의 퀄리티를 높이기 위해, 20대 여자 대학생에 안 맞는 응답은 제거했다”고 했다. ‘20대 여대생이 할 만한 것’은 개발진이 판단한다.
· 고인(故人)을 AI챗봇으로 남기는 것, 이미 기술로는 가능하다. MS는 지난 12월, SNS게시물과 이메일 같은 개인 데이터를 AI가 기계학습하는 법을 특허출원했다. 사람이 평생 남긴 대량의 데이터로 스타일·어조·문장·주제 등을 모방한 AI챗봇이다.
· 이희대 광운대 교수는 “산업계는 AI 산업 진흥의 관점에서 보고, 학계·시민사회는 사회적 부작용을 경계하며 규제를 원한다”며 “정부는 둘 사이의 조화를 이뤄야 한다”고 말했다
 

5. AI 친구, 풀어야 할 숙제는

대화형 AI 챗봇은 자연어처리(NLP)와 기계학습으로 인간의 대화를 모방한다. 개인정보 활용이나 혐오·차별 문제는 루다 뿐 아니라 구글·페이스북 등 글로벌 기업도 공통으로 가진 숙제다. 이제 숙제를 확인한 정도. 뚜렷한 해법은 아직 없다.
 
· 이루다는 마이크로소프트(MS)가 2015년 선보인 소셜 챗봇 샤오아이스(샤오빙)를 벤치마크했다. 17세 소녀 AI 샤오아이스는 6억 6000만명이 사용하며 한 때 중국의 ‘AI연인’으로 불렸지만, 성적·정치적 발언이 문제가 돼 2017년 중국 메신저 QQ, 위챗에서 삭제됐다.
· 오픈 AI의 'GPT-3'는 세계 최고의 AI 언어모델로 꼽힌다. 하지만 GPT-3에 기반한 챗봇(필로소퍼)도 “여성은 더 많은 아이를 가질수록 더 귀여워져”, “에티오피아의 주요 문제는 존재 자체가 문제” 같은 발언을 한다. 오픈 AI도 “학습모델에 인터넷의 편견이 있다”고 인정했다.  
· 장병탁 서울대 AI연구원장은 "AI 프로그램은 학습 방법을 설계하는 것이지, 학습 데이터를 설계하지는 않는다"라며 "데이터에 반영된 사회의 문화 자체가 편향·왜곡돼 있다면 이상한 AI가 탄생할 수밖에 없다"고 했다.
· 최근 언어모델은 트위터·레딧 등의 대규모 데이터를 활용하는데, 학습하는 데이터셋이 커지면 통제는 더 어렵다. 구글 AI팀에서 데이터 편향성 문제를 제기한 팀닛 게브루 박사가 해고돼 논란이 되기도 했다.
· 국제연합(UN)은 “AI 학습 데이터를 소비자로부터 수집할 때 명시적 동의를 안 받는 경우가 대다수”라며 “AI 기술 발전 속도가 빨라, 잠재적 위험을 고려할 시간이 부족하다”고 우려했다.
추천 자료
1. '루다' 육아일기 발표 [네이버 개발자 회의 데뷰 2020] 👉영상보기
김종윤 스캐터랩 대표가 루다의 탄생부터 개발 과정을 직접 설명했다. 회사의 고민과 루다의 지향점을 파악할 수 있다.
 
2. 한국인공지능윤리협회 AI윤리헌장 👉헌장 보기
2019년 만들어진 총 5장 40개조 항목의 헌장. "인공지능의 역작용과 위험성을 인지하고 대응 방안을 모색하고 실천한다"는 취지.
 
3. 국가 인공지능 윤리기준👉윤리기준 보기
지난해 11월 발표됐다. 인간의 존엄성, 사회의 공공선, 기술의 합목적성 3대 원칙 하에 10개 핵심 요건을 명시했다. 
 
팩플 팀 factpl@joongang.co.kr
이 기사는 1월 12일 발송된 팩플레터를 옮긴 것입니다. 팩플레터는 중앙일보 기자들이 테크 이슈와 정책을 입체적으로 살펴 보내드리는 미래 검증 보고서입니다. 
받아보시려면 → https://url.kr/qmvPIX 

공유하기

중앙일보 뉴스레터를 신청하세요!
광고 닫기