가상현실 헤드셋은 게임용으로 인기가 있지만 아직 TV 시청, 쇼핑 또는 디자인 및 모델링을 위한 소프트웨어 도구 사용을 위한 기기가 되지는 않았다.

그 이유 중 하나는 VR이 사용자를 메스꺼움, 불균형, 눈의 피로, 두통으로 아프게 할 수 있기 때문이다. 이것은 VR이 3D보기의 환상을 생성하기 때문에 발생하지만 사용자는 실제로 고정 거리 2D 디스플레이를 응시하고 있다. 더 나은 3D 시각화를 위한 솔루션은 디지털 세계를 위해 업데이트되는 60년 된 기술인 홀로그램에 존재한다.

텐서 홀로그래피라는 새로운 방법을 사용하면 가상현실, 3D프린팅, 의료 영상 등을 위한 홀로그램을 만들 수 있으며 스마트 폰에서 실행할 수 있다.

홀로그램은 우리 주변 세계의 뛰어난 3D표현을 제공하며 아름답다. 홀로그램은 시청자의 위치에 따라 변화하는 시각적 관점을 제공한다. 육안으로 초점 깊이를 조정할 수 있으므로 초점을 전경에서 배경으로 쉽게 이동할 수 있다. 시각적 홀로그램 디스플레이는 마치 터치할 수 있는 것처럼 실제 3D 개체처럼 나타난다.

연구원들은 컴퓨터 생성 홀로그램을 만들려고 노력해 왔다. 그러나 이 프로세스는 전통적으로 실제와 같은 효과를 내기 위해 수많은 물리 시뮬레이션을 거치는 슈퍼컴퓨터가 필요했다. 시간이 많이 걸리며 사실적인 결과에 미치지 못할 수 있다.

눈 깜짝 할 사이의 홀로그램.

이를 해결하기 위해 MIT (Massachusetts Institute of Technology)의 연구자들은 거의 즉각적으로 홀로그램을 생성하는 새로운 방법을 설계했다. 그들이 사용하는 소프트웨어는 스스로 학습할 수 있기 때문에 딥 러닝 인공지능 프로그램이라고 한다. 그들은 눈 깜짝할 사이에 노트북에서 홀로그램을 만들 수 있을 정도로 매우 효율적이라고 Liang Shi는 MIT의 박사 과정 학생이며 프로젝트의 수석 연구원이 말했다.

사람들은 이전에 기존의 소비자 용 하드웨어로는 실시간 3D 홀로그래피 계산이 불가능하다고 생각했다. 상용 홀로그램 디스플레이는 약 10년 후에 출시될 것이라고 종종 말하지만 이 성명은 수십 년 동안 존재해 왔다.

이 새로운 접근 방식 (텐서 홀로그래피)은 마침내 그 어려운 10년 목표를 달성할 것이다. 이러한 발전으로 인해 홀로그래피가 VR 및 3D 프린팅과 같은 분야로 확산될 수 있다.

더 나은 3D를 위한 탐구.

일반적인 렌즈 기반 사진은 접촉하는 각 광파의 밝기를 인코딩한다. 따라서 사진은 장면의 색상을 충실하게 재현할 수 있지만 궁극적으로 평평한 이미지를 만든다.

그러나 홀로그램은 각 광파의 밝기와 위상을 모두 인코딩한다. 이 조합은 장면의 시차와 깊이를 보다 사실적으로 묘사한다. 예를 들어 유명한 유화 수련의 전형적인 사진은 예술의 색채를 강조할 수 있다. 그러나 홀로그램은 작업에 생명을 불어넣어 각 브러시 스트로크의 독특한 3D 텍스처를 렌더링한다. 인기에도 불구하고 홀로그램은 만들고 공유하기위한 도전이었다.

1900년대 중반에 처음 개발된 초기 홀로그램은 광학적으로 기록되었다. 이를 위해서는 레이저 빔을 분할해야 했다. 절반은 피사체를 비추는 데 사용되고 나머지 절반은 광파 위상에 대한 참조로 사용되었다. 이 참조는 홀로그램 고유의 깊이 감을 생성한다. 결과 이미지는 정적이어서 모션을 캡처 할 수 없었다. 그리고 그것들은 하드 카피로만 되어있어서 복제와 공유가 어려웠다.

컴퓨터 생성 홀로그래피는 광학 설정을 시뮬레이션 하여 이러한 문제를 피한다. 그러나 그 과정은 계산상의 문제가 될 수 있다. Shi는 "장면의 각 지점은 깊이가 다르기 때문에 모든 지점에 동일한 작업을 적용할 수 없다."고 말한다. "이는 복잡성을 크게 증가시킨다." 이러한 물리 기반 시뮬레이션을 실행하도록 클러스터 된 슈퍼컴퓨터에 지시하는 것은 단일 홀로그램 이미지에 대해 몇 초 또는 몇 분이 걸릴 수 있다. 또한 기존 알고리즘은 사실적인 정밀도로 폐색을 모델링하지 않는다. 그래서 Shi의 팀은 컴퓨터가 물리학을 스스로 가르치도록 하는 다른 접근 방식을 취했다.

그들은 딥 러닝을 사용하여 컴퓨터 생성 홀로그래피를 가속화하여 실시간 홀로그램 생성을 허용했다. 팀은 훈련 가능한 텐서 체인을 사용하여 인간이 시각 정보를 처리하는 방식을 대략적으로 모방하는 처리 기술인 컨볼루션 신경망을 설계했다. 신경망을 훈련하려면 일반적으로 3D 홀로그램 용으로 존재하지 않았던 대용량 고품질 데이터 세트가 필요하다.

팀은 4,000쌍의 컴퓨터 생성 이미지로 구성된 맞춤형 데이터베이스를 구축했다. 각 쌍은 각 픽셀에 대한 색상 및 깊이 정보를 포함한 그림을 해당 홀로그램과 일치시켰다. 새로운 데이터베이스에서 홀로그램을 만들기 위해 연구원들은 복잡하고 다양한 모양과 색상의 장면을 사용했으며, 픽셀 깊이는 배경에서 전경까지 고르게 분포되어 있으며 새로운 물리 기반 계산 세트를 사용하여 폐색을 처리했다. 이러한 접근 방식은 사실적인 교육 데이터를 제공했다. 다음으로 알고리즘이 작동한다.

각 이미지 쌍에서 학습함으로써 텐서 네트워크는 자체 계산의 매개 변수를 조정하여 홀로그램 생성 능력을 연속적으로 향상시켰다. 완전히 최적화된 네트워크는 물리 기반 계산보다 훨씬 빠르게 작동했다. 그 효율성은 팀 자체를 놀라게 했다.

"우리는 그것이 얼마나 잘 수행되는지에 놀랐다."고 Matusik은 말한다. 몇 밀리 초 만에 텐서 홀로그래피는 깊이 정보가 포함된 이미지에서 홀로그램을 만들 수 있다. 이는 일반적인 컴퓨터 생성 이미지에서 제공되며 멀티 카메라 설정 또는 LiDAR 센서에서 계산할 수 있다 (둘 다 일부 새 스마트 폰에서 표준 임). 이러한 발전은 실시간 3D 홀로그래피의 길을 열었다. 또한 소형 텐서 네트워크에는 1MB 미만의 메모리가 필요하다. "최신 휴대폰에서 사용할 수 있는 수십, 수백 기가 바이트를 고려하면 무시할 만한다."고 그는 말한다.

능력의 상당한 도약.

실시간 3D 홀로그래피는 VR에서 3D프린팅에 이르기까지 다양한 시스템을 향상시킨다. 팀은 새로운 시스템이 VR 뷰어를 보다 사실적인 풍경에 몰입시키는 동시에 눈의 피로와 장기적인 VR 사용의 기타 부작용을 제거하는 데 도움이 될 수 있다고 말한다. 이 기술은 광파의 위상을 변조하는 디스플레이에 쉽게 적용할 수 있다. 현재 가장 저렴한 소비자용 디스플레이는 밝기만 조절하지만, 널리 채택되면 위상 변조 디스플레이의 비용이 떨어질 것이다.

3차원 홀로그래피는 또한 체적 3D프린팅의 발전을 촉진할 수 있다고 연구원들은 말한다. 이 기술은 체적 3D프린팅을 통해 전체 3D패턴을 동시에 투영할 수 있기 때문에 기존의 레이어 별 3D프린팅보다 더 빠르고 정확할 수 있다. 다른 응용 분야로는 현미경, 의료 데이터 시각화, 고유한 광학 특성을 가진 표면 설계 등이 있다.

연구팀은 “홀로그래피에 대한 사람들의 태도를 완전히 바꿀 수 있는 상당한 도약이다. 이 작업을 위해 신경망이 탄생한 것 같다.”고 말했다.