인텔 랩은 블록케이드 랩과 협력해 생성형 인공지능(AI)을 사용해 사실적인 3D 시각 콘텐츠를 제작하는 새로운 확산 모델 ‘LDM3D’를 23일 공개했다.

LDM3D는 업계 최초로 확산 프로세스를 사용해 뎁스 맵을 생성하며, 선명하고 몰입감 있는 360˚ 3D 이미지를 생성한다.

일반적으로 텍스트 프롬프트에서 2D RGB 이미지만 생성하는 기존 확산 모델과 달리, LDM3D를 사용하면 주어진 텍스트 프롬프트에서 이미지와 뎁스 맵 모두 생성할 수 있다. 잠재 안정 확산 모델과 거의 동일한 수의 파라미터를 사용하는 LDM3D는 깊이 추정을 위한 표준 포스트 프로세싱 방법 대비 각 픽셀에 대한 더욱 정확한 상대적 깊이를 제공한다.

LDM3D로 생성된 이미지와 뎁스 맵을 통해 사용자는 텍스트 묘사를 고요한 열대 해변, 현대적인 고층 빌딩 또는 공상 과학 세계의 설명을 360˚ 디테일한 파노라마로 전환할 수 있다.

방대한 정보를 포착하는 이 기능은 전반적인 사실감과 몰입감을 즉각적으로 향상시켜 엔터테인먼트, 게임, 인테리어 디자인, 부동산 목록은 물론, 가상 박물관부터 몰입형 가상현실(VR) 경험까지 다양한 산업 분야에서 혁신적인 애플리케이션 구현이 가능하다.

LDM3D는 4억개 이상의 이미지 및 캡션을 포함한 LAION-400M 데이터 베이스의 1만개 샘플 하위 집합으로 구성된 데이터 세트 기반으로 학습됐다. 팀은 학습 말뭉치에 주석을 달기 위해 과거 인텔 랩에서 개발한 고밀도 예측 트랜스포머(DPT) 대규모 추정 모델을 사용했다.

DPT 모델은 이미지의 각 픽셀에 대해 정확한 상대적 깊이를 제공한다. LAION-400M 데이터세트는 연구진은 물론 해당 분야에 관심을 가진 커뮤니티가 대규모로 모델 학습을 테스트하도록 연구 목적으로 구축됐다.

LDM3D 모델은 인텔 제온 프로세서와 인텔 하바나 가우디 AI 가속기로 구동되는 인텔 AI 슈퍼컴퓨터에서 학습됐다. 결과 모델 및 파이프라인은 생성된 RGB 이미지와 뎁스 맵을 결합해 몰입감 넘치는 360˚ 뷰를 생성한다.

인텔과 블로케이드 연구진은 LDM3D의 잠재력을 선보이기 위해 표준 2D RGB 사진과 뎁스 맵을 활용, 몰입감 높은 상호활동적인 360˚ 뷰 경험을 제작하는 뎁스퓨전을 개발했다.

뎁스퓨전은 실시간 멀티미디어 콘텐츠를 위한 노드 기반 시각적 프로그래밍 언어인 터치 디자이너를 활용, 텍스트 프롬프트를 상호활동적이고 몰입감 있는 디지털 경험으로 전환한다. LDM3D 모델은 RGB 이미지와 뎁스 맵을 모두 생성하는 단일 모델로서 메모리 공간을 절약하고 지연 시간을 개선한다.

LDM3D와 뎁스퓨전은 다각적 생성형 AI 및 컴퓨터 비전 분야가 더욱 발전할 수 있는 토대를 마련한다. 인텔은 인간의 역량을 높이고 강력한 오픈소스 AI 연구 개발 생태계를 구축해 더 많은 사람들이 기술을 활용하도록 생성형 AI 활용에 대한 연구를 지속할 것이다.

LMD3D는 허깅페이스를 통해 오픈소스로 제공되며, 이는 AI 분야의 개방형 생태계를 강력히 지원하기 위한 인텔의 노력의 일환이다. AI 연구진들은 이 시스템을 더욱 개선하고 애플리케이션에 따라 조정할 수 있다.

인텔은 오는 18일부터 22일까지 개최하는 IEEE/CVF 컴퓨터 비전 및 패턴 인식 콘퍼런스(CVPR)에서 해당 연구 결과에 대해 발표할 예정이다.

바스데브 라르 인텔 랩 인공지능·머신러닝 담당 과학자는 “기존의 잠재 안정 확산 모델과 달리 LDM3D를 사용하면 거의 동일한 수의 파라미터를 사용해 주어진 텍스트 프롬프트에서 이미지와 뎁스 맵을 생성할 수 있다”며 “깊이 추정을 위한 표준 후처리 방법에 비해 이미지의 각 픽셀에 대해 더 정확한 상대적 깊이를 제공하며 개발자는 상당한 시간을 절약할 수 있다”고 말했다.

박준영 기자 pjy60@viva100.com