2018年01月17日，盡管自動機器人能夠獨立而且出色地完成自己的任務，但仍然存在需要人類介入和控制的情況。由布朗大學計算機科學家開發的新軟件能夠支持用戶通過虛擬現實遠程控制機器人，而這將能幫助用戶沉浸在機器人的環境之中。
軟件能夠通過網絡將機器人的手臂和抓爪，以及板載攝像頭和傳感器連接至虛擬現實硬件。借助手持式控制器，用戶能夠控制器機器人手臂的位置并執行復雜的操作。
用戶可以步入機器人的金屬皮膚以獲取環境的第一人稱視圖，或者以第三人稱視角調查場景。你可以自由切換，尋找最方便完成任務的視角。而且機器人和虛擬現實設備之間傳輸的數據足夠緊湊，能夠以最低延遲通過互聯網發送，以支持用戶遠程控制機器人。
布朗大學研究生David Whitney是這一系統的聯合負責人，他表示：“我們認為這可以用于需要精巧操作，而且人類不應該親臨現場的情景。我們在思考的三個專門用例是拆彈，在受損核設施內完成任務，或者在國際太空站中操作機器人手臂。”
這一項目的其他負責人包括布朗大學的本科生Eric Rosen。這兩人都在由計算機科學助理教授Stefanie Tellex負責的Humans to Robots實驗室中工作。值得一提的是，他們本周在智利舉辦的國際機器人研討會上介紹了描述這一系統和評估其實用性的論文。
即使是高度復雜的機器人也常常使用一些相當簡單的手段進行遠程控制，通常是鍵盤或者諸如游戲手柄和二維顯示器之類的設備。Whitney和Rosen指出，這適合駕駛輪式機器人或者無人機那樣的任務，但可能不適合更加復雜的任務。
Whitney說道：“對于操作機器人手臂那樣包含多個自由度的機器，鍵盤和游戲手柄并不是十分直觀。”他們指出，將三維環境映射到二維屏幕上會限制人們對機器人所處空間的感知。
Whitney和Rosen認為虛擬現實或許可以提供更為直觀和更加身臨其境的選項。他們的構思與映維網早前關于豐田實驗的報道類似。
延伸閱讀：全身動作映射，豐田用HTC Vive遠程控制機器人
軟件利用機器人傳感器來創建機器人本身及其環境的點云模型，然后將其傳輸到連接至Vive的遠程計算機。用戶可以透過頭顯來感知相應的空間，并在內部進行虛擬行走。與此同時，用戶還可以通過機器人手腕上的攝像頭觀看實時高清視頻，獲取操作任務的詳細視圖。
研究人員表示，他們可以為用戶創造一種身臨其境的體驗，同時保持足夠小的數據負載，使其能夠通過互聯網進行傳輸。舉例來說，位于普羅維登斯的用戶能夠遠程操作位于馬薩諸塞州劍橋的一個機器人(彼此之間相隔41英里)，令機器人堆疊一系列的塑料杯。
在另外的研究中，18位新手用戶通過虛擬現實中完成疊杯操作的速度比傳統的鍵盤顯示器界面高出66%。用戶也表示他們更喜歡虛擬界面，而且他們認為操作難度比鍵盤和顯示器界面更加簡單。
Rosen認為，任務執行速度的提升是由于虛擬現實界面的直觀性導致。Rosen說：“在VR環境中，人們可以像移動自己的身體一樣移動機器人，所以他們在操作時更本不用多想。這讓人們可以專注于手頭上的問題或任務，不需要花費更多的時間去了解如何移動機器人。”
研究人員計劃進一步開發這個系統。第一個迭代專注于一個相當簡單的操作任務(機器人保持固定)，而他們希望嘗試更復雜的任務，比如在操縱的基礎上加入導航移動。他們同時希望嘗試混合自動模式，比如機器人自身完成一部分任務，而用戶則接管其他任務。
