유경환, Co-Founder & COO @ HyprSense

온라인 소셜 네트워킹 플랫폼의 진화와 함께 누구나 쉽게 꾸미고 편집할 수 있는 사진 및 영상 기술 또한 무서운 속도로 발전했다. 이제는 인스타그램을 필두로 수많은 사진/영상 앱에서 제공되는 다양한 필터와 효과를 이용하면 원래의 이미지가 어떤 것인지 상상할 수 없는 수준의 품질의 콘텐츠를 만들어 올릴 수 있는 시대가 되었다. 

그렇다면 얼굴 기반의 기술은 어떻게 발전하고 있는가?  2015년 중반까지만 해도 모바일 사진 및 영상 앱은 업로드된 사진을 기반으로 편집을 할 수 있는 여러 가지 기능을 제공했다. 이용자들은 셀카 사진을 찍어 앱에 올린 후 다양한 보정(beautification) 필터를 적용해 얼굴을 보정하고 분위기 있는 배경 필터를 삽입하는 것이 전부였다.

실시간 2d 얼굴 요소 검출 및 추적 기술

2015년 말 출시된 Face Swap Live라는 iOS 앱이 기존의 사진 앱들과 차별화한 점은 실시간 기반의 얼굴 트래킹 기술을 구현했다는 점이다. 특히 당시 미국에서 대선 운동에 한창이던 시점에 사용자의 얼굴을 도널드 트럼프, 버락 오바마 또는 힐러리 클린턴 등 유명 인사의 얼굴로 바꾸어 재미있는 영상을 찍게 하여 큰 센세이션을 몰고 왔다.

이와 비슷한 시기에 출시된 MSQRD라는 모바일 서비스는 실시간 얼굴 바꾸기(Face Swap) 기능 뿐만 아니라, 사용자의 얼굴 위치에 재미있는 AR(Augmented Reality) 기반의 얼굴 마스크를 씌우거나 얼굴 주변에 재미있는 AR 효과를 구현하여 엄청난 인기를 끌었다. 그 결과 2016년 초반 페이스북에 바로 인수가 되었다. 이후 스냅챗(Snapchat), SNOW 등 동일한 기능을 제공하는 모바일 서비스들이 우후죽순으로 생겨났으며, 이제 AR 마스크 필터(mask filter) 기능은 Facebook Messenger, Google ARCore 등에도 포함되어 사진, 영상 기반의 모든 서비스에는 기본적인 기능이 되고 있다.

얼굴 인식 기술을 사용한 모바일 앱(좌: Face Swap Live & 우: MSQRD)

자료: Apple App Store

위에 언급된 기능은 실시간 2d 얼굴 요소 검출 및 추적(real-time 2d face landmark tracking) 기술을 기반으로 한다. 이 기술은 2d RGB 카메라에 입력되는 사람의 얼굴 이미지에서 2d 얼굴 요소(눈썹, 눈, 눈동자, 코, 입술, 턱 라인 등)를 추출해주는 것으로 각각의 요소를 정확하게 찾아주는 것은 기본이고 움직이는 영상을 딜레이 없이 빠르게 계속 따라갈 수 있어서 실시간 얼굴 추적을 가능하게 한다.

수많은 얼굴 데이터를 수집하고 이를 머신러닝 기법을 사용하여 학습을 진행할 뿐만 아니라, 모바일 서비스에 적용하려면 계산 능력, 파일 크기, 등 모든 부분을 고려하여 알고리즘을 최적화해야 한다. 스타트업 회사가 구현하기에는 필요한 데이터를 포함해서 부족한 점들이 많았음에도 Face Swap Live를 개발한 Laan Labs와 MSQRD는 관련 업계에 큰 혁신을 가져왔다.

3D 심도 센서기반 얼굴 인식 기술

이로부터 약 1 년 반이 지난 2017년 11월, 애플의 iPhoneX는 실시간 모바일 얼굴 인식 기술 혁신에 한 단계 업그레이드를 가져왔다. 모바일 기기 중 최초로 3d 심도 센서(depth sensor) 기반의 안면 인식 카메라로 사용자의 2d 얼굴 요소(face landmark points) 뿐만 아니라 얼굴 전체의 심도 데이터(depth data)를 3d로 정확하게 측정할 수 있게 되어 얼굴을 기반으로 한 사용자 인증(Face ID)이 가능해졌다.

3d 심도 센서기반 얼굴 인식기술(3d depth sensor based face tracking technology)이라고 정의할 수 있는 이 기술은 실시간 얼굴 트래킹에도 새로운 혁신을 불러왔는데, 바로 애플에서 FaceID와 함께 소개한 애니모지(Animoji)라는 기능이다. 기존 2d 얼굴 요소 추출 및 추적(2d face landmark tracking) 기술에서 제공하는 기능이 가면 형태(2d AR mask filter)라면, 애니모지에서는 3d 기반의 캐릭터(full avatar mask)로 변신하는 것이 가능하다.

실시간 얼굴 표정 및 추적 기술(real-time facial expression tracking technology)을 사용하면, 카메라에서 사용자의 얼굴 표정을 실시간으로 인식하고 강아지, 토끼, 원숭이 등 애플에서 제공하는 다양한 동물 캐릭터에 얼굴 표정이 복사돼 재미있는 영상을 만들 수 있으며, 이를 iMessenger를 통해 다른 사람들에게 공유할 수 있다.

iPhoneX 에 소개된 애니모지(Animoji)

자료: Apple(좌) & Think Marketing(우)

애플이 ARKit을 통해서 개발자들에게 제공한 얼굴 인식 기술은 다양한 애플리케이션에서 활용되기 시작했다. 2019년 2월, 안경업체의 선두주자인 Warby Parker는 가상의 형태로 자사의 안경을 마음껏 써보고 원하는 제품을 구매할 수 있는 가상안경 착용(Virtual Glasses Try-On) 기능을 출시했고, Bebylon Project을 비롯해서 애니모지에서 제공되는 캐릭터보다 한층 사실적이고 높은 퀄러티의 아바타를 기반으로 영상 콘텐츠를 만드는 사례가 계속해서 늘어나고 있다.

가상 유튜버 & 가상 인플루언서

현재 260만 명의 유튜브 구독자를 보유하고 있는 키즈나 아이(Kizuna AI)는 일본에서 TV 토크쇼에도 출연하고, CF 촬영뿐만 아니라 라이브 콘서트까지 진행을 했으며, 최근에는 일본 정부로부터 관광 홍보대사로까지 위촉될 정도로 큰 인기를 누리고 있다. 키즈나 아이(Kizuna AI)를 필두로 일본에서는 VTuber들이 계속 생겨나면서 현재 활동하고 있는 VTuber는 7,000~10,000명 정도로 추산하고 있다. 최근 한국에서도 세아, 초이 등의 VTuber가 생겨나며 관련 트렌드가 주목받기 시작하고 있다.

가상 유튜버, 키즈나 아이(좌: 유튜브 프로필 & 우: 라이브 콘서트 상황)

자료: Kizuna AI 웹사이트 & bbc.com

일본, 한국 및 아시아에서 가상 유튜버(Virtual Youtuber) 트렌드가 형성되고 있다면, 미국에서는 인스타그램을 무대로 가상 인플루언서(Virtual Influencer)의 활약상이 두드러진다.

2016년 LA 지역의 Brud라는 스타트업은 Lil Miquela라는 가상의 캐릭터를 만들어 인스타그램을 운영하기 시작했다. Lil Miquela는 특별히 이쁘지도 않고 얼굴에 주근깨도 많은 캐릭터임에도 불구하고 2019년 5월 현재 인스타그램에서 150만 명 이상의 팔로워를 보유하고 있으며, 최근에는 Club404라는 의류 브랜드도 출시하고, 코첼라(Coachella) 페스티벌*에도 등장해 실제 인물과 인터뷰도 진행하는 등 미국 내에서 큰 인기를 끌며 활동하고 있다.

Lil Miquela 를 만들어낸 Brud라는 회사는 Founders Fund, Sequoia Capital, Spark Capital 등 유명한 VC로부터 펀딩을 끌어오기도 했다. 그만큼 미국의 투자업계에서는 가상 인플루언서(Virtual Influencer) 산업 전망에 큰 관심을 가지고 있다는 뜻이며, Brud 이외에 Shadows, SuperPlastic, Toonstar 등 인스타그램 기반으로 가상 인플루언서(Virtual Influencer)를 만들어 제공하는 스타트업들이 뒤를 잇고 있다.

  * 코첼라(Coachella) 페스티벌은 미국 캘리포니아주 인디오에서 매년 봄에 열리며 미국 내에서도 가장 크고 인기 있는 음악 축제로 유명함.

가상 인플루언서 Lil Miquela(좌: 코첼라 인터뷰 & 우: 인스타그램 프로필 사진)

자료: Lil Miquela 인스타그램

가상 유튜버(Virtual Youtuber) 또는 가상 인플루언서(Virtual Influencer)를 제작하여 운영하는 회사들의 가장 큰 고민은 바로 콘텐츠 생산 속도이다. 유튜브, 트위치 등의 동영상 콘텐츠에 익숙한 젊은 세대들은 해당 플랫폼에서 제공되는 방대한 콘텐츠 덕분에 매우 빠른 소비 속도 형태를 보이고 있다. 따라서, 며칠이라도 새로운 콘텐츠가 올라오지 않으면 바로 다른 콘텐츠로 옮겨갈 수 있을 정도로 콘텐츠 충성도도 낮은 편이다. 이에 비해 그래픽 기반의 콘텐츠는 실사 기반의 유튜브 콘텐츠에 비해 하나의 콘텐츠를 만드는데 더 많은 리소스 (시간과 인력)가 투입되기 때문에 시청자들의 소비 속도를 따라가는데 부침이 있다.

바로 이러한 문제를 해결해준 것이 iphoneX의 얼굴 표정 인식 및 추적 기술(facial expression tracking technology)이다. 여기에 최근 등장한 다양한 손과 몸통 트래킹 등의 솔루션을 결합하면 기존에 아티스트들이 한땀 한땀 정성스레 제작하던 콘텐츠를 손쉽게 만들어낼 수 있다. 물론 아직 그래픽 퀄러티는 영화, 애니메이션에 비교하면 많이 떨어지지만 최근 컴퓨터 비전/컴퓨터 그래픽 기술의 비약적 발전으로 유튜브, 트위치 시청자들에게는 제공할 수 있는 성능이 충분히 나오고 있다.

2d 카메라 기반 얼굴 표정 인식 및 추적 기술

iPhoneX 기반 얼굴 표정 인식 및 추적 기술의 가장 큰 한계는 우선 기기 자체의 가격에 대한 부담이다. 해당 기술을 쓰기 위해서는 $1,000에 달하는 비용을 지불하고 기기를 구입해야 한다. 캐릭터를 제작하고 콘텐츠를 만들어내는 스튜디오라면 몰라도 일반 사용자들이 이 기술을 이용하기 위한 투자로는 부담되는 가격이다.

또한 모든 사용자들을 대상으로 서비스를 제공해야 하는 모바일 애플리케이션 개발사들에게 이보다 더 큰 제약조건은 해당 기술이 3d 심도 센서(depth sensor)가 들어가 있는 기기에서만 사용 가능하다는 것이다. iphoneX 기종과 Huawei, Oppo 신규 프리미엄 기종 등 일부 기기에만 심도 센서 카메라(depth sensing camera)가 들어가 있어서 아바타 애니메이션을 활용한 재미있는 모바일 서비스를 만들기에는 조금 더 시간이 필요해 보인다.

2D 카메라 기반 가상 아바타 구현(MWC2019 컨퍼런스)

주: 실리콘밸리에 위치한 Hypersense는 얼굴 표정을 인식하는 기술로 가상 아바타 기반의 얼굴 표정 애니메이션을 구현하고 있다

자료: Hyprsense 촬영

2d RGB 카메라 기반의 얼굴 표정 인식이 가능해지면서 모바일 기반의 아바타 애니메이션 플랫폼 서비스가 가능해진다. 조만간 더 많은 가상 인플루언서(Virtual Influencer), 가상 유튜버(Virtual Youtuber)들이 등장할 것이며, 일반인들이 복면가왕이 되고, 평범한 사람이 온라인 세상의 또 다른 나로 스타가 되는 것도 시간문제이다.

앞으로의 전망

2019년 4월 말에 열린 페이스북의 F8 컨퍼런스에서 마크 주커버그는 “미래는 개인적인 것이다. 우리의 삶에서 개인화된 소셜 플랫폼이 디지털 타운보다 더 중요하다고 믿는다.(The future is private. I believe a private-social platform will be more important in our lives than our digital town squares).”이라고 말했다.

최근 페이스북에서 개인 정보 유출 등과 관련된 다양한 문제가 발생한 것을 염두에 둔 메시지인 점도 있겠지만, 디지털 세대들이 점점 더 자기 자신을 온라인에 노출하는 것을 원하지 않는다는 의미도 함께 전달하고 있다. 온라인 세상에 또 다른 나(Virtual Beings)를 만들어 보여준다는 것은 실제 세상의 나와 분리하여 내가 보여주고 싶은 다른 부분을 마음껏 표출할 수 있는 기회를 제공해준다. 나의 외모가 부끄러워서 또는 온라인 세상에 나의 본 모습을 보여주는 것이 싫어서 가지고 있는 재능을 나누지 못했던 수많은 사람들을 상상해본다.

조만간 딥러닝 기반으로 구현될 AI, 컴퓨터 비전, 컴퓨터 그래픽 기술의 새로운 진화, 카메라·칩셋·디스플레이·그래픽 카드 등 하드웨어 기술의 발전, 5G 기술의 상용화 등 관련 인프라 기술이 빠르게 진화하면서 앞으로의 세대는 지금과 완전히 다른 온라인 세상을 경험하게 될 것이다.

자료: Apple App Store, Apple 웹사이트, Think Marketing, Kizuna AI 웹사이트, bbc.com, Lil Miquela 인스타그램, 및 Hyprsense 제공

※ 해당 원고는 외부 전문가가 작성한 정보로, KOTRA 공식의견이 아님을 알려드립니다.