밈 원정대: AI 커버 vs 인간 대격돌
Essay
이슈에 대한 다양한 오피니언을 엿봅니다
요새 유행하는 노래를 꼽으라면 비비의 ‘밤양갱’을 빼놓을 수 없습니다. 가수 장기하가 작사, 작곡한 곡으로 ‘어둠의 아이유’라 불리는 비비의 달달한 음색과 서정적인 가사가 인상적인데요. 오리지널 곡이 끝이 아닙니다. AI 커버 기술을 활용해 아이유, 오혁, 박명수, 故 김광석 버전까지 나오며 신드롬이 되고 있어요. 그중 가장 화제가 되는 버전은 바로 배우 황정민의 ‘밤양갱’입니다. 특정 인물의 목소리를 AI가 분석해 뚝딱 만들지 않고, 황정민이 출연한 영상물에서 가사에 상응하는 음절을 찾고 해당 장면과 음성을 하나하나 채집해 몽타주했어요. ‘밈 원정대’를 연재하는 인터넷 밈 연구자 김경수 님은 해당 영상을 가리켜 초인적인 노력이 담긴 인간 악기 작품이라고 평합니다. 날이 갈수록 자연스러워지는 AI 커버, 매끄럽지 않더라도 한땀 한땀 자르고 기우며 손맛을 극도로 살리는 인간. 이 격돌에서 승자는 과연 누구일까요? 아티클에서 확인해 보세요.
섬네일에서 짐작할 수 있듯, AI 커버도 감상용 AI 커버와 유머용 AI 커버로 나뉜다. 밈을 보는 듯한 박명수와 케이셉 라마K$AP Rama 커버에 더해진 섬네일과는 달리 혁오 커버의 섬네일은 왠지 모르게 감성적이다. 그러나 둘 중 어느 쪽도 얼굴을 찌푸린 황정민이 주는 임팩트를 넘지 못한다. AI 커버의 섬네일이 가짜 광기라면 황정민 커버의 섬네일은 진짜 광기랄까. 고인물만이 만들 수 있는 미감이다.
망했다. 나는 망했다. 내가 심사숙고 끝에 내린 결론이다. 최근 마감을 망치러 온 나의 구원자가 둘이나 생겼다. 그들은 마감이 코앞일 때마다 스멀스멀 등장해서 나를 한두 시간 가까이 유튜브에 가두어버린다. 유튜브에서 겨우 탈출하면 마감 기한이 촉박한 미완성 원고가 기다리고 있다. 거기에 홀리라고 ‘누가 칼 들고 협박했냐’며 따지더라도 할 말이 없다. 그저 “으악 안 돼!” 비명을 지르고 싶은 심정이다. ‘뒤로 가기’ 버튼을 누르는 독자가 생기기 전에 자기연민은 그만두겠다. (여러분도 나와 비슷한 신세로 만드는 게 진짜 목적이니) 요즘 마감을 망치는 두 주인공을 소개한다.
(글 제목에서 보이듯) 하나는 인공지능(AI) 커버다. 보통 AI 커버는 원곡에 AI가 딥러닝으로 학습한 다른 가수의 목소리를 덧입히는 방식으로 제작한다. 그 후 웃긴 짤방을 섬네일thumbnail로 정한 후 업로드한다. AI 커버는 원곡자의 창법에 맞춰 다른 목소리를 덧입히는 터라 완벽한 재현은 불가능하다. 특히 오혁 등 창법이 독보적인 경우에는 다른 가수의 목소리를 덧입힐 때 어색한 티가 확 난다. 고음이 뭉개지기도 하고, 프레디 머큐리나 브루노 마스 등 외국 가수가 커버할 땐 (당연하게도) 한국어 발음이 제법 어눌해진다. 원곡이 아니라 다른 사람이 커버한 걸 재가공하기도 한다. 여튼, 중요한 건 그 재미가 꽤나 쏠쏠하다는 거다. 심지어 중독적이다.
프레디 머큐리 ‘사건의 지평선’
얼마 전에도 마감을 코앞에 두고 AI 커버에 붙들렸다. 알 수 없는 알고리즘이 나를 프랭크 시나트라가 부르는 ‘잔혹한 천사의 테제’ AI 커버 영상으로 안내한 탓이다. 에반게리온 초호기와 시나트라가 함께 있는 우스꽝스러운 섬네일의 유혹을 뿌리치지 못했다. ‘이 무슨 끔찍한 혼종인가…’ 생각보다 퀄리티가 괜찮았다. 크리스마스에 틀어도 괜찮을 정도로 감미로웠다. 무엇보다 프랭크 시나트라의 목소리가 전혀 어색하지 않아서 어안이 벙벙했다. 하나만 보고 마감에 집중할 계획이었으나, 프레디 머큐리가 부르는 ‘잔혹한 천사의 테제’ AI 커버 영상이 추천 영상으로 떴다. 아스카 랑그레이 얼굴에 프레디 머큐리를 합성한 섬네일의 유혹을 이기지 못해 영상을 클릭하고야 말았다. 그렇게 한 시간이 훌쩍 흘렀다. 끝내고 나니 자괴감이 들고 괴로웠다. 댓글에 나와 비슷한 사람이 제법 보이는 상황이 그나마 위안거리였다.
프랭크 시나트라 ‘잔혹한 천사의 테제’
프레디 머큐리 ‘잔혹한 천사의 테제’
AI 커버의 유행은 재작년 즈음부터다. AI 커버를 제작하는 툴이 급속도로 대중화되면서 조금만 검색하면 누구나 할 수 있을 정도로 난도가 낮아졌다. 지난 2020년 Mnet에서 ‹AI음악프로젝트 다시 한번›을 기획할 때에는 상상조차 할 수 없던 풍경이다. 고인이 된 뮤지션 두 명의 무대를 AI로 재현한다는 목적 아래, 故 김현식이 부르는 박진영의 ‘너의 뒤에서’와 故 터틀맨이 부르는 ‹이태원 클라쓰›의 OST ‘시작’을 AI 커버로 제작하고, 딥페이크 기술을 활용해 고인의 무대를 생생히 재현했다. 해당 프로그램은 상영 당시 큰 화제를 모았다. 나 또한 의심 반 기대 반 유튜브에서 방송 클립을 재생했다. AI 기술이 죽은 사람을 되살려 무대에 올린다는 사실에 SF 소설이 현실화되는 느낌이었는데. 지금 들어도 어색하지 않을 정도로 잘 제작한 AI 커버의 자연스러움이 주는 충격은 덤이었다. 영화를 발명한 뤼미에르 형제의 초기작 ‹열차의 도착(L’Arrivée d’un train en gare de La Ciotat›(1895)을 처음 본 관객이 기차가 진짜로 다가오는 줄 알고 지레 겁먹었다는 루머가 있는데, 그 심정을 이해할 수 있을 것만 같았다. 이처럼 AI 커버는 놀라운 구경거리에 가까웠다.
김현식 ‘너의 뒤에서’
추가로 편성해 달라는 목소리에도 불구하고 해당 프로그램은 아쉽게 계속 제작되지 못했다. AI 음성 합성 기술이 충분히 발전하지 않은 탓이었다. AI가 학습할 원본 자료를 수집하고, 목소리를 제작하는 데 오랜 시간이 걸렸다. 노래 한 곡이 탄생하는 데 무려 100일가량이 소요됐다. 유족의 허락 등 여러 윤리적인 문제도 생겼다. 이듬해 SBS와 TVING에서 AI 커버를 다루는 프로그램을 방영했다. 임윤택과 유재하, 프레디 머큐리 등 고인의 목소리를 되살린 AI 커버가 제작됐는데 큰 인기는 끌지 못했다. 기계음 특유의 부자연스러운 느낌은 사라졌지만, 처음 공개할 때만큼 충격을 주는 데 실패했다. 방영 직후 일반인도 AI 커버를 제작할 수 있을 정도로 기술이 발전한 까닭이다.
이제 AI 커버는 장난감에 가깝다. 독일의 철학자 발터 벤야민은 영화의 탄생을 두고 “지금까지 예상할 수 없던 엄청난 유희 공간을 우리에게 약속하는 매체”라고 평했다. 카메라로 대상을 클로즈업한다든지, 슬로우 모션으로 촬영한다든지 하는 기법을 통해 우리가 세상을 다르게 볼 수 있고, 기법 자체도 놀잇감이 되었다는 이야기다. 사실 모든 기술이 그렇다. (지금은 사라졌지만) AI 커버가 생기기 전에 AI를 이용한 인터넷 밈 하나가 유행했다. ‘다메다네’라고 불린 그것은 콘솔 게임 ‹용과 같이 5: 꿈을 이루는 자›의 OST인 ‘바보 같이’가 원본이다. 야쿠자 두목이 술 한잔 걸치고 부른 듯한 느끼하고 애절한 노래는 서양인 오타쿠가 립싱크한 영상이 발굴되면서 인터넷 밈으로 가공됐다. 영상 속 양덕후는 본인 딴에는 진지하지만 남이 보기에 우스꽝스러운 과잉 표정 연기를 선보인다. 보기만 해도 웃겨서인지 밈 창작자는 딥페이크 기술로 그의 표정만 빌려다가 빅맥, 궁예 등 다른 오브제에 합성하는 기상천외한 상상력을 선보였다. 남성 코미디 그룹 나몰라패밀리의 김경욱은 이런 제작 방식을 빌려와 ‘나 일론 머스크Na Elon Musk’ 밈을 제작해 공전의 히트를 쳤다. 그는 전라도 사투리를 쓰는 나 일론 머스크라는 캐릭터를 더욱 우스꽝스럽게 전달하기 위해 일론 머스크를 딥페이크했다. 아마 이 같은 인터넷 밈이 AI 기술에 대한 반감을 덜어주었을 테다.
다메다네 ‘빅맥’
다메다네 원본
대중은 AI 커버에 왜 끌리는 걸까? 뻔한 이야기지만 아마 예기치 못한 조합에 대한 호기심이 클 것이다. 간혹 우리는 어떤 노래를 들을 때 자기가 원하는 다른 가수가 해당 노래를 부르는 엉뚱한 상상을 한다. AI 커버는 이를 실제로 구현한다. AI 커버가 생기기 전에는 곡을 녹음한 가수의 목소리를 다른 목소리로 대체한다는 게 불가능했다. 우리는 만족스럽지 않더라도 기존에 나온 노래를 들어야 했다. 하지만 AI 커버 덕분에 이제 상상에서만 흐르던 노래를 직접 들을 수 있다. 지금이야 딘Dean이 3년이라는 오랜 공백 끝에 컴백했지만, 그가 잠수를 타고 있을 때는 딘의 AI 커버가 열풍이었다. 딘 AI 커버 곡만 모은 플레이리스트가 따로 있을 정도였다. 딘의 세련된 목소리가 거의 모든 여자 아이돌 노래에 찰떡같이 달라붙어 가능한 일이었다. AI가 딘으로 빙의한 뉴진스의 ‘New Jeans’는 조회수가 361만에 달한다. ‘Hype Boy’를 커버한 영상 조회수도 207만이다. 자매품으로 프레디 머큐리, 김광석, 브루노 마스, 아이유, 임재범 등이 ‘인간 악기’로 쓰이고 있다. AI 커버가 가짜라는 사실을 알아도 즐기는 데에는 전혀 문제없다. 오히려 가짜라서 더 재미있다. 어색한 구절이 있어도 웃어넘기면 되니까. 최초의 AI 커버로 볼 수 있는 보컬로이드 아이돌 하츠네 미쿠(初音ミク)도 기계음으로 노래를 불렀기에 오타쿠의 전폭적인 사랑을 얻는 데 성공했다. 어설픈 목소리가 오히려 모에(萌え·일본 애니메이션 캐릭터의 사랑스러운 포인트를 지칭하는 서브컬처 용어)를 만든 것이다. 만약 AI 커버와 사람이 부르는 음원을 구별할 수 없다면 되려 불쾌한 골짜기나 이질감을 느끼지 않을까?
딘 ‘Hype Boy’
하츠네 미쿠
이보다 한 발짝 더 나간 AI 커버도 있다. 최근 어떤 AI 커버 영상을 보고 울었다. 분명 AI 커버는 가짜에다 장난감이라고 생각하는데도 울음이 터졌다. 바로 애니메이션 ‹짱구는 못말려› 한국판에서 짱구 아빠 신형만 역을 맡은 故 오세홍 성우 목소리로 생성한 노라조의 ‘형’ 영상이다. 오세홍 성우의 목소리 데이터를 성실히 모아다 제작한 노래는 짱구 아빠가 직접 노라조의 노래 속 위로의 메시지를 건네는 듯했다. 이처럼 신형만이나 ‹심슨 가족›의 호머 심슨 등 유명 애니메이션 캐릭터의 목소리를 AI 커버로 돌리는 영상도 유행하고 있다. 우리는 캐릭터의 목소리가 실은 성우의 목소리라는 사실을 당연히 알고 있다. 그럼에도 불구하고 성우의 탁월한 연기력 때문에 마치 캐릭터가 생생히 살아 움직인다고 생각한다. AI 커버는 목소리를 학습하고 재현하는 기술의 산물이다. 우리가 감동하는 까닭은 순전히 그 캐릭터가 지닌 힘 때문이다. AI 커버라는 매체를 빌려 우리는 애니메이션 속 캐릭터를 현실에서 잠시 만나는 마법 같은 경험을 누린다. 물론 AI 커버는 목소리의 악의적인 도용 등 윤리적인 문제를 지니고 있고, 이를 외면하고 싶지는 않다. 다만 AI 커버가 창출하는 긍정적인 영향에 대해서도 공유하고 싶은 마음이다. 인터넷 밈이 된 AI 커버는 우리의 동심을 되살린다. 기상천외한 조합을 원하는 호기심, 서툴러도 웃어넘길 수 있는 여유, 픽션 속 캐릭터가 살아있다고 생각하는 순진무구함 등 AI 커버를 활용해 우리가 되찾을 수 있는 감정은 지금 이 시대에 소중하다.
신형만 ‘형’
AI 커버만큼이나 내가 주목하는 또 다른 구원자(?)는 ‘제프프’다. 3년 전부터 활동하기 시작한 그의 매력적인 리믹스 영상은 하나도 빠짐없이 볼 정도로 애청자다. 좋아요, 구독, 알람은 물론 틈이 날 때마다 주변 사람에게 영업할 정도로 미쳐 있다. 그의 손을 거치면 배우 황정민, 축구 선수 크리스티아누 호날두도 인간 악기로 변한다. 얼마 전 그의 신작이 업로드됐다. 황정민이 부르는 비비의 ’밤양갱’이다. ‘밤양갱’은 발매되자마자 수능 금지곡 반열에 오를 정도로 중독성이 강한 곡이다. 그래서 온갖 AI 커버의 표적이 되었는데 노래를 만든 장기하의 AI 커버가 화제를 끌었다. 비비의 별명이 ‘어둠의 아이유’인 만큼, 아이유의 AI 커버도 인기다. 오혁, 박명수, 故 김광석의 AI 커버도 소셜 미디어를 통해 활발히 공유되고 있다. 하지만 그 어느 버전도 황정민이 부르는 ‘밤양갱’의 조회수를 넘어서지 못했다. 하루에 서너 번 보게 하는 마력을 지녔다.
황정민 ‘밤양갱’
제프프의 영상은 지난 에세이에서 소개한 ‘조교’에 기반한다. 정확히는 ‘음MAD’라고 부르는 독립적인 장르다. 보통 캐릭터의 발음과 그 발음을 하는 순간의 영상을 하나하나 따서 손수 몽타주하는 방식으로 제작한다. 황정민이 “무궁화꽃이 피었습니다”라고 말하는 영상을 만든다고 치자. 이를 위해 황정민이 지금까지 출연한 영화나 예능을 쭉 검토하면서 ‘무’, ‘궁’, ‘화’, ‘꽃’, ‘이’, ‘피’, ‘었’, ‘습’, ‘니’, ‘다’라는 음절 10개 모두 다 따로 떼어낸 뒤 한 문장으로 합성하는 식이다. 모든 음절의 조가 다른 데다가, 음절마다 대응하는 영상 속 캐릭터가 달라지니 매우 혼란스럽게 보인다. 그래서 처음에는 우스꽝스럽지만, 이내 경이로움이 생긴다. 조교를 제작하는 과정에 들이는 초인적인 노력이 훤히 보여서다.
제프프는 손수 비트를 제작하고, 최대한 인위적인 조작을 배제하면서 그 인물이 실제 발화한 어절만 편집해서 노래에 활용한다. 상상할 수 없는 노동력이 동원되는 것이다. 음MAD를 제작하는 심영물 유튜버인 ‘차커’와 만난 적이 있다. 그는 조교를 일컬어 “노가다이자 개고생”이라고 말했다. 더욱 자연스러운 음절을 발굴하기 위해서 평소에도 다양한 콘텐츠를 보고 음절을 추출해야 한다. 0.n초 짜리 영상을 오리고 붙이는 일을 수천 번 반복하는 과정을 거친다. 마치 영화 제작을 방불케 하는 정성이 깃든 행위는 그야말로 인간판 AI 딥러닝이라고 할 수 있는데, 그 지난한 과정을 들은 후에야 나는 비로소 밈 창작자의 꿈을 접었다.
수리남 리믹스
내게는 AI 커버 영상보다 제프프의 영상이 더 사랑스럽다. 음MAD에 담긴 정신이 내 마음을 울린다. 음 MAD는 일본에서 건너와 디시인사이드를 중심으로 유행하기 시작했다. 국내에 본격적으로 퍼진 계기는 ‹데스노트›에 출연하는 캐릭터들의 목소리를 합성한 음MAD 바카야로이드(주인공 야가미 라이토가 자주 외치는 대사인 “바카야로”와 보컬로이드의 합성어) 덕분이다. 이처럼 특정 캐릭터나 인물을 조교의 소재로 삼는 것을 밈 제작자의 용어로 ‘인간 악기’라고 칭하는데, 심영물, 고길동, 타짜 등 한국의 전통적인 인터넷 밈이 자리 잡는 데 핵심적인 역할을 했다. 참고로 미국에서는 도널드 트럼프가 인간 악기로 자주 쓰인다. 당시 한국 인터넷 밈의 기반은 ‘잉여력’이었다. 잉여는 “비정규직을 전전하며 (요즘 말로) ‘갓반인’이 되지 못한” 존재다. 인터넷 밈은 잉여들의 드러나지 않은 목소리가 만들어 낸 성취다. 사회적으로 인정받지 못한 잉여는 인터넷에서나마 존재감을 획득하고자 인터넷 밈을 제작했고, 이렇게 밈을 제작하는 데 들인 열정과 노동을 속칭 잉여력이라고 불렀다.
바카야로이드
바카야로이드 (영원히 고통받는 라이토)
지금의 잉여력은 예전과 조금 차이가 있다. 초등학생부터 장래 희망을 유튜버로 꼽는 세상에서 밈 제작자는 관심이 곧 돈벌이가 되는 시대정신을 정면으로 거스르는 존재다. 인터넷 밈 자체가 저작권을 침해하므로 유튜브에 올린다고 한들 아무런 수익을 창출할 수 없기 때문이다. 수백만의 조회수가 터지더라도 수중에 떨어지는 돈은 원칙적으로 0원이다. 그러면 그들은 이토록 가성비 떨어지는 행동에 시간과 노력을 쏟아붓나? 인터넷 밈은 기어이 즐거운 경험을 타인에게 선물하겠다는 친절한 마음에서 비롯한다. AI 커버 영상은 프로그램에 입력하면 알아서 나오지만, 음MAD는 제작자 본인의 창작 취향에 충실하며 기어이 중노동을 감수한다. 나는 여기서 AI가 결코 따라잡을 수 없는 고전적인 예술가의 열정을 마주한다. 후대에 음MAD는 인간의 중요한 예술 행위 중 하나로 기록될지도 모른다. 오직 사람에게만 기대할 수 있는 종류의 창작이기 때문이다.
Writer
김경수(@vivre_wasavie)는 영화평론가이자 인터넷 밈meme 연구자다. 학부에서 문예 창작을 전공하고 연세대학교 비교문학협동과정에서 석사 학위를 취득했다. 화제를 모은 졸업논문 「한국 인터넷 밈의 계보학」은 단행본으로 나올 채비를 마치고 있다. 영화와 인터넷 밈을 동시에 연구하는데 커다란 매력을 느끼고 있으며, 현재 «코아르»에 영화 비평, «여성동아»에 인터넷 밈 비평을 연재하고, «씨네21» 객원기자로 활동 중이다. 국제영화비평가연맹(FIPRESCI) 한국 지부 정회원이자 인문학 스탠드업 코미디 페이지 ‘인문학적 개소리’의 운영자이기도 하다.
