2018年12月24日，你可能見過好萊塢明星身穿的動捕套裝的樣子，而計算機可以利用相應的傳感器信息來將他們的表演轉換成綠巨人或智慧猿人。
現在，普林斯頓教授Mala Murthy和Joshua Shaevitz的聯手合作則更進一步，利用人工智能的最新進步來追蹤動物的身體運動。
只需數分鐘，他們研發的工具LEAP Estimates Animal Pose(LEAP)就能夠以高精度自動追蹤數百萬幀視頻中的各個動物身體部位，無需添加任何物理標記或標簽。
詳細介紹這項新技術的論文將發表在2019年1月出版的《Nature Methods》期刊上，但他們于5月推出的公開訪問版本已經促使其他一系列的實驗室采用了他們的軟件。
相關論文：Fast animal pose estimation using deep neural networks
物理學教授Shaevitz指出，當研究人員將LEAP與其他定量工具相結合時，他們可以觀察動物的運動模式，并研究所謂的“行為語言”。
普林斯頓神經科學研究所的研究生，論文第一作者Talmo Pereira說道：“這是一個靈活的工具，原則上可用于任何視頻數據。具體的工作方式是，在幾個視頻中標記幾個追蹤點，然后神經網絡即可完成剩下的工作。我們提供了一個易于使用的界面，任何人都可以將LEAP應用到自己的視頻中，無需任何編程知識?！?/p>
當被問及LEAP在大型動物身上是否能實現跟蒼蠅和老鼠等小型動物一樣的效果時，Pereira馬上制作了一個動態標記的長頸鹿視頻。
Pereira解釋說：“我們從Mpala研究站拍攝了一只長頸鹿的步行視頻…并在30個視頻幀中標記了追蹤點，整個過程花了不到一個小時。LEAP隨后能夠在幾秒鐘內追蹤整個視頻的剩余部分(大約500幀)?！?/p>
在以前，開發可以追蹤人體運動的AI工具依賴于大量手動標記數據的訓練集，因為只有這樣軟件才可以穩健地支持具有截然不同背景或照明條件的不同數據。
Murthy對此則表示：“對于我們的情況而言，我們優化了類似的方法來處理實驗室環境中采集的數據。我們建立了一個允許用戶選擇適合采集數據類型的神經網絡的系統?！?/p>
這項研究在神經科學以外同樣有著巨大的潛力，例如游戲，虛擬現實和增強現實。因為傳統的動物動捕成本十分高昂，而且復雜，不適合小型工作室。但對于這種快速，適應性強，簡單，并且原則上可用于任何視頻數據的AI解決方案，它有可能成為游戲，以及虛擬現實和增強現實領域的福音。
