據technologyreview網站2016年12月9日刊文，人工智能(AI)研究人員一直致力于超越2D圖像和像素的AI技術，他們現正在構造繪制3D畫面和3D操作的系統能力，這可能對機器人和無人駕駛汽車產生重要的影響——幫助機器學習如何在現實世界中更高智能化地作業。

麻省理工學院大腦和認知科學系教授Josh Tenenbaum稱，在AI領域內，一個令人興奮和重要的趨勢是向基于學習的視覺系統方向轉變：從僅從事包含平面圖像的事情到從事包含3D物體的事情。這僅僅是認知物質世界的一個技術，認知科學的研究表明，人們正利用某種3D模型來感知和操作。

使機器理解3D世界在近期應該會有相當重要的實際應用。許多神經信息處理系統(NIPS)領域的研究人員正在開展于現有產品中引入簡單3D能力機器學習系統的試驗，為AI研究人員創造的一系列新3D環境也應該會推動該領域進一步地深化研究。

一支由Sergey Levine率領的加利福尼亞大學伯克利分校工作組展示了一種利用組合視頻成像和實驗來學習物理世界的系統。他們的機器人通過戳目標進行實驗，研究其對目視世界的影響，從而創建一種對物理世界的簡單理解;它再基于這種理解采取新的行動。 比如該機器人在對目標微移數千次之后，能夠將目標移動到一個新的地方。

牛津大學的Nando de Freitas教授也表示，沒有對現實世界的探索，AI將會繼續保持沉寂。 “解決物理學問題的唯一方法就是互動。僅僅從像素中學習是不夠的。”