비주얼 인공지능(AI) 기반 메타버스 콘텐츠 제작 전문 기업 비브스튜디오스(VIVE STUDIOS, 대표 김세규)가 최첨단 기술들을 총망라하며 버추얼 콘텐츠 방송 프로그램의 새로운 가능성을 제시했다.

비브스튜디오스는 3월 9일 제20대 대선 개표 방송을 위해 구현했던 전직 대통령, 대선 후보들의 버추얼 휴먼을 포함한 버추얼 콘텐츠 제작 과정을 23일 공개했다.

대선 개표 방송 기획 단계에서부터 최종 방송일까지 주어진 시간은 단 60일. 이 짧은 기간 4명의 전직 대통령과 2명의 대선 후보에 대한 버추얼 휴먼 제작은 물론 증강 현실(AR)·확장 현실(XR) 기술을 통한 과거 역사 속 현장을 복원, 실시간 대선 개표 방송 내 버추얼 콘텐츠로 완벽하게 구현해내 앞으로 방송 프로그램의 패러다임을 새롭게 바꾸는 계기를 마련했다.

AI 버추얼 휴먼, 볼륨매트릭스 기술로 전직 대통령·대선 후보 완벽 재현

비브스튜디오스는 전직 대통령들과 유사한 체형·표정의 모델들을 촬영, 이후 전직 대통령들 얼굴로 합성하는 ‘AI 버추얼 휴먼’ 기술을 활용했다. 특정 연도의 모습을 모아 AI가 딥러닝으로 구현해내는 방식인데, 이 과정에서 얼굴 합성에 필요한 고화질 자료가 부족해 어려움을 겪기도 했다. 대선 후보들 경우 다양한 고화질 영상 자료와 함께 360°로 촬영한 영상을 통해 3D 콘텐츠로 구현해내는 볼륨매트릭스 기술을 활용, 한층 완성도를 높였다.

AR, XR 기술과 함께 역사적 현장으로 순간 이동

비브스튜디오스의 AR과 XR 기술을 통해 구현된 가상 현실 공간 역시 개표 방송 속 생동감을 더했다.

버추얼 휴먼으로 복원된 전직 대통령들의 깜작 등장과 함께 당시 시대정신, 비전을 상징적으로 보여주고자 AR 기술을 활용, 경부고속도로 개통식 현장을 비롯해 △선거 유세장 △북한 순안공항 △봉하마을 등 역사적 현장들을 그래픽으로 자연스럽게 합성하며 현장감을 극대화했다. 이렇게 제작된 버추얼 콘텐츠들은 이후 합성 솔루션을 통해 카메라 데이터와 연결, 공간적 매치 점검 등 수차례의 리허설을 거쳐 발생할 수 있는 문제점들을 사전 보완·차단함으로써 완벽한 AI 대선 개표 방송을 만들어냈다.

김세규 비브스튜디오스 대표는 “방송 콘텐츠로서 AI 버추얼 휴먼, AR, XR, 볼륨매트릭스 등의 첨단 기술이 총망라된 사례는 세계 최초일 듯싶다”며 “앞으로 이런 선거 방송은 물론 더 다양하고 창의적 형태의 방송 프로그램 제작 등 영상 콘텐츠들의 패러다임 변화에 긍정적 계기가 마련될 수 있을 것으로 기대한다”고 말했다.

한편 비브스튜디오스는 버추얼 프로덕션 통합 운영 솔루션 ‘VIT’를 활용해 AR, MR(혼합 현실), XR과 리얼타임 3D 기술 기반의 초실감 버추얼 콘텐츠 제작은 물론 메타버스 가상 공간 구현 및 AI 버추얼 휴먼 기술 개발에도 박차를 가하고 있다.

비브스튜디오스는 2020년 공개한 VR 다큐멘터리 ‘너를 만났다’를 통해 먼저 세상을 떠난 딸을 가상으로 제작해 화제를 모았으며, 영국 BBC 방송에도 소개될 정도로 전 세계의 주목을 받았다. 최근에는 버추얼 콘텐츠 프로덕션에 특화한 기술을 바탕으로 하이브의 방탄소년단(BTS) 오리지널 스토리 영상 제작에 함께하며 하이브 소속 아티스트들의 다양한 세계관 영상을 버추얼 프로덕션으로 구현하는 협업을 진행했다.

출처 : 비브스튜디오스