구글 DeepStereo에 의한 3D 모델

Sean Higgins

UAV 등을 이용하여, 사진측량 기법에 의한 도심의 3D 모델링이 인기있다.
그러나 가상현실 수준의 고정밀 화상을 얻고자 하면 필요한 이미지의 개수는 엄청난 숫자가 될 것이다.

구글은 이러한 요구에 부응하기 위해 기계 학습 기능을 이용하여 누락된 화면을 생성하는 DeepStereo을 개발했다.

Google Street View에서 얻은 단편적인 이미지 시퀀스(영상 단락 구분)로부터 컴퓨터에서 중간 이미지를 생성하여 놀라울 정도로 리얼하고 부드러운 이미지를 볼 수 있는 것이다.

공개 자료 : paper the team published 참조

동영상 ： https://youtu.be/cizgVZ8rjKA

위 사진은 한쪽이 정상적인 사진, 한쪽이 DeepStereo에 의해 생성된 사진이다. 전혀 구별이 되지 않을 정도로 리얼하다.

물론 원본 이미지에 존재하지 않는 것이, 각도에 따라 보이는 것은 아니다. 어디까지나 인접한 이미지로부터 자동 생성할 뿐이지만, 실제 가능성이 있다.
보고에 따르면, 깊이 방향으로 96장의 이미지를 가지고 있고, 모든 점이 그 한 장의 이미지에 매핑된다. 따라서 임의의 두 점 사이의 거리를 요구 할 수 없다. 또한 연산시간도 상당히 소요되며, 512x512 pixel의 프레임에서 멀티 코어 워크 스테이션의 렌더링에 12분 걸렸다고 보고되고 있다.

제약이 있지만 그 놀라운 표현력 때문에 어딘가에서 사용되고 있는 것은 아닐까.

<원문>　Google's DeepStereo Fills in the Blanks Between Images