Touch Type in VR Without Physical Keyboards
Facebook研究實現
VR世界中無實體鍵盤打字
虛擬現實
Virtual Reality
Credit: immersivelearning.news
當VR和AR不再局限于娛樂活動，當人們可以在虛擬現實中辦公、雙手直接操控系統界面和網頁，同時實時可以看見頭顯外真實世界的情況——上班將變得不再枯燥，一切操作都會更加趣味。心動嗎？一起來看看未來的辦公場景有多酷！
視頻介紹了Facebook正為Oculus Quest研發的AR辦公功能Infinite Office?；贏R透視和鍵盤定位，在虛擬辦公世界中，通過觸碰真實世界中的鍵盤，使用者可以在虛擬現實中進行快速輸入。
前不久，Facebook’s Reality Labs（FRL）公布了一項手部追蹤的新研究，旨在為AR/VR用戶帶來無需真實鍵盤的全虛擬輸入。
機器學習
Machine Learning
在虛擬現實世界中實現無實物盲打對于研發人員無疑是一件極具挑戰的事，缺少了物理鍵盤的觸摸感和力反饋，使用者打字準確性會相對下降。為解決這一問題，研究人員開始了復雜的機器訓練。
機器學習簡單來說可總結為如下流程：
1 | 確認機器學習目標 |
2 | 獲取數據并評估是否符合訓練測試標準 |
3 | 清洗數據并建模 |
4 | 導入訓練數據，訓練模型 |
5 | 模型診斷與調優 |
6 | 導入驗證數據，驗證模型并分析誤差 |
7 | 模型融合 (后端) |
8 | 使用原生新數據進行測試 |
在數據收集一環，對于虛擬世界中無實物盲打的研究，Facebook FRL需要收集大量人類打字時的習慣手勢數據。為獲取這些數據，FRL使用了高精度的手勢追蹤系統，這套系統由OptiTrack運動捕捉攝像機、定制的動捕手套及Motive運動捕捉軟件等構成。
Credit: immersivelearning.news
數據收集過程中，操作臺上方安裝有OptiTrack運動捕捉攝像機，研究人員需佩戴VR頭顯、手戴附有標記點的運動捕捉手套，坐在平面操作臺前。打字時研究人員可以從VR頭顯中看見自己的雙手和虛擬鍵盤，并進行輸入操作，此時運動捕捉攝像機對其打字時的手部動態進行高精度捕捉，并將這些歷史運動捕捉數據傳輸至電腦以供后期人員手動進行數據篩選和清洗。
Facebook研究人員說道：“結合語言模型進行訓練，機器可以預測人們在手勢不明確的情況下想要輸入的內容。使用這種新方法，在任意一個平面上，打字員在無鍵盤輸入的情況下平均每分鐘可打73個單詞，取得了與物理鍵盤輸入相同的速度和準確性，未修正錯誤率僅為2.4%?！?/p>
由于Oculus Quest和Quest 2已經可以實現AR交互，這意味著用戶可以通過頭顯外部的攝像頭攝錄，實時在VR頭顯中看到真實世界中自己的雙手。
Credit: immersivelearning.news
也正是基于此性能，相信在不久的將來，在機器被訓練到足夠應對普通用戶日常打字需求的程度時，通過VR頭顯外部的攝像頭捕捉用戶手勢動作，頭顯可有效預測該用戶即將輸入的文字，就像目前Oculus Quest和Quest 2一樣。脫離了實體鍵盤后，由于已進行了大量的輸入手勢學習，機器的輸入精準度會大幅提高，而且用戶在任何平面都可進行觸摸輸入，不再需要真實鍵盤作為輸入載體。
Credit: immersivelearning.news
這項基于OptiTrack手部追蹤的虛擬現實輸入研究仍在進行當中，隨著時間推移，機器訓練的程度加深，VR世界中的輸入將更加人性化、高效和精準。也許不久的將來，當我們戴上VR頭顯進入虛擬世界中時，即可脫離任何實物載體自由操作系統、高效輸入文本，進行日常工作和娛樂活動?？苹秒娪爸械奶摂M現實時代下的場景已初見苗頭，這無疑是件令人格外興奮和憧憬的事。
