3D 주석이 있는 일반 객체 범주의 실제 비디오로 구성된 대규모 데이터 세트

CO3D에는 널리 사용되는 MS-COCO 데이터 세트의 50개 범주에서 객체를

캡처하는 약 19,000개의 비디오에서 총 150만 개의 프레임이 포함

 

 

 대규모 데이터 세트 'CO3D(Common Objects in 3D)' 샘플 이미지(사진:페이스북)
대규모 데이터 세트 'CO3D(Common Objects in 3D)' 샘플 이미지(사진:페이스북)

 


3D로 객체를 재구성하는 것은 인공지능(AI) 뿐만 아니라 텔레프레즌스(Telepresence)에서부터 게임용 3D 모델 생성과 가상 및 증강현실(AR/VR) 응용 프로그램 등까지 중요한 컴퓨터 비전 문제다.

이는 매우 사실적이며, 다재다능한 3D 재구성을 통해 기존 스마트폰 및 노트북 화면은 물론 미래 경험을 뒷받침할 AR 안경에서 실제와 가상 물체를 매끄럽게 결합할 수 있다.

그러나, 현재의 3D 재구성 방법은 다양한 객체 범주(자동차, 도넛, 사과 등)에 대한 학습 모델에 의존하고 실제 세계의 두 이미지를 모두 포함하는 데이터 세트의 부족으로 작업 진행이 지연된다. 이러한 객체는 일반적으로 실제 이미지 특성과 거의 일치하는 합성 객체의 데이터 세트를 사용한다.

이러한 문제를 해소하고 이 분야의 발전을 가속하기 위해 페이스북 AI는 3D 주석이 있는 일반적인 객체 범주의 실제 비디오로 구성된 대규모 데이터 세트인 'CO3D(Common Objects in 3D)'를 2일(현지시간) 오픈 소스로 공개했다.

이 CO3D에는 널리 사용되는 MS-COCO 데이터 세트의 50개 범주에서 객체를 캡처하는 거의 19,000개 비디오의 총 150만 프레임이 포함되어 있다. 이는 CO3D는 범주와 객체의 수면에서 기존 방법을 능가하는 것이다. 또, 페이스북AI는 CO3D 데이터 세트의 영상을 통해 새로운 관점에서 물체의 이미지를 합성하는 방법을 학습하는 새로운 방법인 NeRFormer에 대한 연구도 공유했다.  [기사 더보기]

 


[출처 : 인공지능신문(http://www.aitimes.kr)]

[기자 : 최창현 기자(aitimes@naver.com)]