一般的機器學習系統都是以人的視角建立，但華盛頓大學和艾倫人工智能研究所的研究人員試圖用狗的行為數據訓練AI系統，研究人員通過傳感器等設備采集了一只愛斯基摩犬的運動數據，并以此來訓練AI系統實現三個目標：1、像狗一樣行動，預測未來動作;2、像狗一樣計劃任務;3、從狗行為中學習。論文已被CVPR 2018接收。這項工作的意義在于理解視覺數據，讓智能體采取行動并執行任務。
我們已經訓練機器學習系統來識別物體，進行導航，或識別面部表情，但盡管可能很難，機器學習甚至沒有達到可以模擬的復雜程度，例如，模擬一只狗。那么，這個項目的目的就是做到這一點——當然是用一種非常有限的方式。通過觀察一只非常乖巧的狗的行為，這個AI學會了如何像狗一樣行動的基礎知識。
這是華盛頓大學和艾倫人工智能研究所合作的研究，論文發表在今年6月舉辦的CVPR。
我們研究了如何直接建模一個視覺智能體(visually intelligent agent)。計算機視覺通常專注于解決與視覺智能相關的各種子任務。但我們偏離了這種標準的計算機視覺方法;相反，我們試圖直接建模一個視覺智能的agent。我們的模型將視覺信息作為輸入，并直接預測agent的行為。為此，我們引入了DECADE數據集，這是一個從狗的視角搜集的狗的行為數據集。利用這些數據，我們可以模擬狗的行為和動作規劃方式。在多種度量方法下，對于給定的視覺輸入，我們成功地對agent進行了建模。此外，與圖像分類任務訓練的表示相比，我們的模型學習到的表示能編碼不同的信息，也可以推廣到其他領域。特別是，通過將這種狗的建模任務作為表示學習，我們在可行走表面預測(walkable surface estimation)和場景分類任務中得到了非常好的結果。
理解視覺數據：模仿狗，學習狗
為什么做這個研究?雖然已經有很多工作在研究模擬感知的子任務，例如識別一個物體并將其撿拾起來，但是“理解視覺數據，達到可以讓agent在視覺世界中采取行動并執行任務的程度”，這樣的研究很少。換句話說，不是模擬眼睛的行為，而是模擬控制眼睛的主體。
那么為什么選擇狗?因為狗是非常復雜的智能體，研究者說：“它們的目標和動機往往是沒法預知的。”換句話說，狗狗很聰明，但我們不知道它們在想什么。
作為對這一研究領域的初步嘗試，該團隊希望通過密切監視狗狗的行為，并將狗狗的運動和行動與所它看到的環境相對應，來觀察是否能夠建立一個能夠準確預測這些行動的系統。
將一套傳感器裝在一直愛斯基摩犬身上，收集數據
為了達到這一目的，研究者把一套基礎傳感器裝在一只名叫Kelp M. Redmon的愛斯基摩犬身上。他們在Kelp的頭部裝上一個GoPro相機，6個慣性測量單元(分別在腿、尾巴和身體上)用以判斷物體的位置，一個麥克風以及一個把這些數據綁在一起的Arduino開發板。
他們花了許多小時記錄狗狗的活動——在不同的環境中行走，取東西，在狗公園玩耍，吃東西——并把狗的動作與它看到的環境同步。結果是形成了一個在狗的環境中以狗自身為視角的行為數據集(Dataset of Ego-Centric Actions in a Dog Environment)，簡稱為DECADE數據集。研究者用這個數據集來訓練一個新的AI智能體。
對這個agent，給定某種感官輸入——例如一個房間或街道的景象，或一個飛過的球——以預測狗在這種情況下會做什么。當然，不用說特別細節，哪怕只是弄清楚它的身體如何移動，移向哪里，已經是一項相當重要的任務。
華盛頓大學的Hessam Bagherinezhad是研究人員之一，他解釋道：“它學會了如何移動關節以走路，學會了再走路或跑步是如何避開障礙物。”“它學會了追著松鼠跑，跟隨者主人走，追逐飛起來的狗玩具(玩飛盤游戲時)。這些都是計算機視覺和機器人技術的一些基本AI任務(例如運動規劃、可步行的表面、物體檢測、物體跟蹤、人物識別)，我們一直試圖通過為每個任務收集單獨的數據來解決。”
研究提出三個問題：(1) 模仿狗的行為：根據狗之前的行為圖像，預測狗接下來的行為;(2) 像狗一樣規劃行動;(3)從狗的行為學習：例如，預測一個可供行走的區域。
這些任務可以產生一些相當復雜的數據：例如，狗模型必須知道，就像真的狗狗一樣，當它需要從一個地點移動到另一地點的時候，它可以在哪些地方行走。它不能在樹上或汽車上行走，也不能在沙發上行走(取決于房子)。因此，這個模型也學會了這一點，它可以作為一個計算機視覺模型單獨部署，用以找出一個寵物(或一個有足機器人)在一張給定圖像中可以到達的位置。
用于預測狗的行為的模型架構
用于學習狗的規劃方式的模型架構
用于預測可行走區域的模型架構
研究人員說，這只是一個初步的實驗，雖然取得了成功，但結果有限。后續研究可能會考慮引入更多的感官(例如嗅覺)，或者看看一只狗(或許多狗)的模型可以如何推廣到其他狗身上。他們的結論是：“我們希望這項工作為我們更好地理解視覺智能和其他生活在我們世界里的智能生物鋪平道路。”
