서울대학교 공과대학(학장 이병호) 자율로봇지능 연구실(김성우 교수)과 아트센터 나비(관장 노소영)는 공동으로 연구하고 개발한 AI ‘젠이’와 AI 프로젝트 ‘#젠이챌린지’를 공개했다.
AI ‘젠이’는 작가들이 그린 4컷 만화에서 한 칸이 사라졌다는 가상의 상황을 설정해, 딱딱하고 엄격할 것이라는 AI 창작에 대한 고정관념을 벗어나 친근한 AI ‘젠이’와 함께 스케치를 완성해 나간다는 스토리텔링을 선보인다.
웹사이트에 접속한 사용자가 입력하는 방대한 정보를 활용해 밑그림을 추천한다. 데이터를 구축하고자 1만여편의 영화에서 AI로 20만장에 달하는 주요 장면 정보를 추출해 주요 구도, 인물 배치, 배경을 스케치화 했다. 웹사이트에 접속한 사용자가 줄거리나 만화 대사 등의 문장을 입력하면 AI 창작 도우미 ‘젠이’가 적절한 스케치를 제안한다.
이 과정에 딥러닝 모델을 활용한 멀티모달 임베딩(Multimodal Embedding) 인공지능 기술이 사용됐다. 이 기술은 문장과 영상을 같은 벡터 공간에 매핑해 문장과 영상 사이에 변환·번역을 가능하게 하는 것으로, 사용자가 입력한 문장에 가장 관련도가 높은 영상에 접근할 수 있게 해준다.
▲ 서울대 공대 자율로봇지능 연구실과 아트센터 나비가 공동으로 연구 개발한 AI 프로젝트 ‘#젠이챌린지’ (사진출처=서울대학교 공과대학)
AI 프로젝트 ‘#젠이챌린지’는 19일부터 온라인 웹사이트를 통해 상시 오픈됐으며, 아트센터 나비의 ‘Party in a Box’ 페스티벌에서 대중에게 최초로 소개됐다. 웹사이트에서 유명 일러스트레이터 25일, ooo, 리루가 참여한 작품과 AI ‘젠이’ 도움으로 만든 결과물을 해시태그와 함께 소셜 미디어로 공유해 다른 참여자와 나눌 수도 있다. 아트센터 나비는 앞으로 참여 일러스트레이터의 작품과 챌린지 참여작 가운데 우수 작품을 담은 소책자를 제작해 배포할 계획이다.
이번 프로젝트는 문화체육관광부 및 한국콘텐츠진흥원의 2020년 문화기술연구개발지원사업 ‘문화콘텐츠 R&D 전문인력 양성-예술·과학 융합프로젝트’의 지원으로 진행됐다. 문화 예술이 기술에 목표를 제공하고 신기술이 영감을 제시하는 선순환 구조 아래, 아트센터 나비와 서울대학교 공과대학의 연구원들이 시작부터 모든 과정에서 긴밀히 협업했다.
▲ #젠이챌린지에 참여할 수 있는 'AI 젠이를 도와줘' 웹사이트 (사진출처='AI 젠이를 도와줘' 홈페이지)
일반적으로 창작자가 영감을 얻고 첫 스케치를 그리기까지 많은 시간이 걸린다는 점에 착안해, 이를 도울 수 있는 AI 기반 창작 스케폴딩을 제안하고 시연하게 됐다. 아트센터 나비와 서울대학교 공과대학 공동 연구팀은 웹툰, 영화, 웹소설 제작 시나리오 등 다양한 콘텐츠 영역으로 쓰임을 확장할 수 있도록 꾸준히 공동 연구를 지속할 예정이다.
서울대학교 공학전문대학원 객원교수를 겸하고 있는 아트센터 나비 노소영 관장은 “한국콘텐츠진흥원 도움으로 공학도와 예술학도가 만나 놀라운 결과물을 만들어냈다”며 “각자의 영역을 배우고 서로 의견을 교환하며 진정한 의미의 융복합 전문 인력이 탄생할 수 있었던 기회였다”고 협업 프로젝트 소감을 밝혔다.
서울대학교 공과대학 자율로봇지능 연구실 김성우 교수는 “앞으로도 협업을 이어갈 예정”이라며 “AI 기술이 창작의 다양한 영역으로 확장되기를 기대한다”고 말했다.
한편, 공동 연구팀은 개발한 기술에 관한 13편 이상의 논문을 세계 최고 수준의 국제 학술지와 주요 학술 대회에 발표했으며, ‘문장 기반 스케치 추천 시스템 및 방법’과 ‘그래픽 유사도를 활용한 연속 이미지 검색 시스템’ 등의 관련 기술을 다수 특허화 했다.
*AI 프로젝트 ‘#젠이챌린지’ 참여하기(https://www.helpgennie.com/)
글. 김효정 기자 needhj@naver.com | 사진 및 자료출처 = 서울대학교 공과대학