김광석·김현식이 되살아온 듯…감쪽같은 AI 가수 등장

김현식·김광석·신해철 등 세상을 떠난 전설적인 가수들의 무대를 다시 볼 수 있을까. 지난 9일 방송된 Mnet 2부작 AI음악프로젝트 ‘다시 한번’은 이런 질문에서 시작한 프로그램이다. 제작진은 2008년 심근경색으로 숨진 터틀맨(임성훈)의 생전 자료를 토대로 목소리를 복원하고 페이스 에디팅 기술로 얼굴을 재현해 3인조 혼성그룹 거북이의 완전체 무대를 만드는 데 성공했다. 넉넉한 미소를 띤 터틀맨은 “다시 시작해(…)인생이라는 건 각자 주인공인 거야”라는 랩 가사를 읊조리며 등장해 안무까지 완벽하게 소화했다. 거북이 멤버 지이와 금비는 터틀맨과 함께 드라마 ‘이태원클라쓰’ OST ‘시작’의 편곡 버전 ‘새로운 시작’을 부르며 감격했다.
  미국 래퍼 투팍이 2012년 코첼라 페스티벌 무대에 오르고 팝의 황제 마이클 잭슨이 2014년 빌보드 뮤직 어워드에 등장하는 등 홀로그램을 이용한 무대 연출은 종종 있었지만 최근 화두는 단연 AI다. 3차원 영상으로 된 입체 사진인 홀로그램과 달리 AI는 학습을 토대로 자유자재로 응용이 가능해서다. CJ ENM 콘텐츠R&D센터 김동규 프로듀서는 “터틀맨의 일상과 무대 위 사진, 동영상 자료를 취합하고 GAN(생성적 적대 신경망) 기술을 사용해 자연스럽고 생동감 있는 표정을 만들어냈다”며 “기술과 스토리의 결합으로 감동과 위로를 전하고자 했다”고 설명했다. 16일 방송되는 2회에서는 올해 30주기를 맞은 김현식 편을 준비 중이다.
 
SBS가 내년 1월 방송을 앞둔 신년특집 4부작 ‘세기의 대결! AI vs 인간’ 첫 편으로 모창 AI를 내세운 것도 같은 맥락이다. 1996년 세상을 떠난 김광석의 목소리로 2002년 발표된 김범수의 ‘보고싶다’를 부르는 티저 영상이 1일 공개되면서 화제를 모았다. SBS 시사교양본부 남상문 국장은 “2016년 알파고에 이어 2019년 한돌과 이세돌 9단의 대국을 중계하면서 지난 3년간 AI의 발전 속도에 깜짝 놀랐다”며 “박세리와 AI 골퍼 엘드릭이 대결하는 롱드라이브와 퍼팅 등 수치가 명확히 나오는 분야부터 작곡·심리인식·오디오 몽타주 등 총 6가지 종목을 준비했다”고 말했다.
 
‘다시 한번’과 ‘AI vs 인간’에 참여한 오디오 전문 AI 업체 수퍼톤은 음성 복원 과정을 악기 만드는 것에 비유했다. 글자를 음성으로 옮기는 TTS(텍스트 투 스피치) 기술에 악보 정보를 같이 집어넣어 훈련한 모창 AI에 각 가수의 목소리 데이터를 입력하면 어떤 노래든 그 가수처럼 부를 수 있단 얘기다. 수퍼톤 최희두 운영이사는 “AI 스피커로 뉴스 같은 평서문을 읽는 것은 가능하지만 감정 표현은 어려움이 있었다. 3년간 연구해 지난해 국제음성처리신호학회 인터스피치에서 최우수 논문상을 받고 세계 최초로 가창 합성 기술을 상용화하게 됐다”며 “노래뿐 물론 연기도 가능해 버추얼 인플루언서 등으로 확대하고 있다”고 밝혔다.
 
여러 사정으로 무대에 직접 못 오르는 연예인을 대신할 수도 있다. 지난 6일 ‘엠넷 아시안 뮤직 어워드(MAMA)’에서 어깨 수술로 활동을 중단한 방탄소년단(BTS) 슈가의 자리는 볼류매트릭 기술로 구현한 ‘가상 슈가’가 채웠다. ‘라이프 고스 온’ 무대 중간에 걸어 나온 그의 모습은 카메라 여러 대로 동시에 촬영한 실사 기반 입체 영상으로 만들어졌다. 비브스튜디오스 박유진 PM은 “슈가를 직접 촬영해 3D 데이터를 추출한 후 노이즈를 제거하고 다른 멤버들과 이질감을 없애려 다시 클린업 작업을 했다. 조명이 매우 중요해서 수 차례 리허설해 얻은 결과물”이라고 설명했다. 비브스튜디오스는 지난 2월 MBC 스페셜 VR 휴먼 다큐멘터리 ‘너를 만났다’에서 디지털 휴먼을 선보였다.
 
코로나19 장기화로 대세가 된 온라인 콘서트가 다양한 기술을 선보이는 각축장이 되기도 했다. 지난 10월 온라인 콘서트에서 증강현실(AR)과 확장현실(XR)을 접목한 콘텐트를 선보인 방탄소년단은 오는 31일 빅히트 레이블즈 합동공연 ‘뉴 이어스 이브 라이브’를 앞두고 있다. 신해철 헌정 무대가 어떻게 꾸며질지 기대를 모은다. 2013년 소녀시대 V(가상) 콘서트, 2015년 홀로그램 뮤지컬 ‘스쿨 오즈’를 선보이는 등 컬처테크놀로지(CT)에 주목해온 SM엔터테인먼트는 지난 4월 온라인 전용 콘서트 ‘비욘드 라이브’를 론칭했다. 지난달엔 가상 세계의 아바타와 현실 세계 멤버가 공존하는 걸그룹 에스파(aespa)를 선보였다.
 
이로 인한 부작용 및 오남용 가능성은 극복 과제다. 수퍼톤 최희두 이사는 “실존 사람의 목소리를 학습하는 것이어서 당사자나 유족의 동의가 있어야만 가능하다. 유출, 악용을 막기 위해 개인이 아닌 기업 간 거래만 하고 있다”고 밝혔다. CJ ENM 김동규 프로듀서는 “이번 프로젝트는 상업적 요소를 철저하게 배제했다. 방송에서 선보인 음원을 발매하지 않는 것도 그 때문”이라고 했다. SBS 남상문 국장은 “기술을 만드는 것은 과학자의 몫이지만 어떻게 사용될 것인지 사회적 합의를 끌어내는 것은 인문학자가 할 일”이라며 “안면 인식 기술만 해도 초상권·저작권·인권 등 다양한 이슈가 맞물려 있어 더 많은 논의가 필요하다”고 말했다.
 
민경원 기자 storymin@joongang.co.kr