ErgoSIM裝備虛擬仿真人機工效測評實驗室
概述
ErgoSIM裝備虛擬仿真人機工效測評實驗室，適用于工業工程、工業設計、智能座艙等領域中的人機工效測評研究以及相關領域高校實驗教學等方面的工作，實驗室支持在數字仿真的環境下創建數字人體、數字產品以及數字模擬環境，能夠在仿真的條件下進行產品人機工效測評、作業流程測試以及產品設計評估等相關工作；此外，實驗室可結合動作捕捉等技術，進行虛實結合的人機工效研究，也可進行數字孿生研究，應用范圍廣泛。
系統組成
(1) 實驗室概述
實驗室結合多模態人因測試設備以及虛擬仿真人機工效分析設備，實現真實物理世界與數字模擬世界的聯通，通過真實物理世界的數據驅動數字仿真模擬，實現數字化環境內的人機工效測評，能夠為產品開發、工作優化等方向提供研究數據支持與方向。
實驗室可用于在數字仿真環境下進行不同產品人機工效測試以及工業工程領域工作流程優化等相關研究。實驗室主要分為被試間與主試間兩大功能區域，之間由單向玻璃隔開，使主試間中的研究人員看見被試間內受試者的行為，而受試者看不見主試間，從而減小干擾。其中，被試間為實驗進行的區域，可依照測試需求布置所需的多模態數據采集設備，如眼動儀、生理儀、手指軌跡分析儀、腦電儀等；被試間中有多個行為觀察攝像頭與拾音器，從不同角度攝取受試者的行為影像并采集受試者的聲音，音視頻信號傳送給主試間中的人機環境同步平臺進行數據分析。此外，被試間包含標準實驗室以及虛擬現實測試室，虛擬現實測試室中可通過CAVE式虛擬現實系8K眼動腦電多模態虛擬現實頭盔或者多人交互虛擬現實系統進行虛擬現實場景呈現，可用于虛實融合的研究。主試間為觀察與數據分析區域，布置有語音控制臺，研究人員的指令通過被試間的揚聲器傳送給受試者；主試間還布置有人機環境同步平臺、人因智能邊緣計算平臺等設備，研究人員可在主試間實時同步采集多模態人因數據并進行分析。
實驗室被試間設置有多模態人因數據采集設備，包括可穿戴動作捕捉儀、手指動作捕捉儀、表情語音采集儀、行為觀察儀、可穿戴人因生理儀、可穿戴腦電儀、可穿戴腦成像儀、可穿戴多模態腦功能儀以及人因測試專家系統等。被試間的產品組成與選型可根據實際研究需求進行配置。此外，被試間系統的多模態數據采集設備可結合ErgoAI人因智能邊緣計算終端，將計算和數據處理能力移至接近數據源的終端設備上，進行數據的智能化處理和分析。
實驗室主試間設置有多模態人因數據同步采集、分析和邊緣智能設備，包括ErgoLAB人機環境同步平臺和ErgoAI人因智能評估平臺。其中，ErgoLAB人機環境同步平臺支持多模態數據同步采集與分析，確保所需要的人、機、環境三方面的多模態數據可基于同一時間軸進行實時同步，消除事后對齊數據分析的負擔，并使數據“協同增效”，多角度綜合印證結果，確保數據結果的有效性與準確性。ErgoAI人因智能應用平臺，對接人機環境同步平臺所同步采集的多模態數據，搭建開放式AI算法應用平臺，能夠為不同AI算法基礎的用戶，提供從數據采集、數據降噪、數據標注、模型訓練、模型評估及部署應用的全流程智能化應用系統。平臺可提供數千人次數據搭建的各類應用數據集，涵蓋人員基數據集、狀態數據集等，以及數十種人因工程預訓練模型，包括單模態狀態識別模型、多模態狀態識別模型等。同時，ErgoAI人因智能應用平臺支持根據實際研究內容與方向創建數據集、訓練并驗證模型，并進行模型部署與實時狀態預測。
(2) 實驗室示意圖
功能應用
l 可進行不同任務場景的虛擬仿真
l 可對不同類型人體進行仿真模擬
l 可進行不同類型的人機工效測評
l 可進行虛實結合的人機工效測評
ErgoLAB多模態同步方案：
整體概述
ErgoLAB人機環境同步平臺采用多模態數據時鐘同步技術，平臺可完成完整的實驗和測評流程，包括項目管理-試驗設計-同步采集-信號處理-數據分析-人因智能評估-可視化報告，支持基于云架構技術的團體測試和大數據管理。
ErgoLAB人機環境同步平臺采用主客觀結合多模態數據同步采集與多維度驗證的方法，數據實時同步種類包含大腦認知數據（EEG/BCI腦電儀與腦機接口邊緣計算設備、fNIRS/BCI近紅外腦成像儀），視覺數據（Eyetracker眼動儀與視線交互系統），生理數據（生理儀含：GSR/EDA、EMG、ECG、EOG、HRV、RESP、TEMP/SKT、PPG、SpO2），行為觀察、肢體動作與面部表情（基本情緒、情緒效價、微表情等）數據、生物力學數據（拉力、握力、捏力、壓力…），人機交互數據（包含人機界面交互行為數據以及對應的鍵盤操作，鼠標點擊、懸浮、劃入劃出等；移動終端人機交互行為數據以及對應的手指軌跡操作行為如點擊、縮放、滑動等；VR終端界面人機交互行為數據及對應的雙手操作拾取、丟棄、控制，VR空間行走軌跡）、以及多類型時空行為軌跡數據采集(包括室內、戶外、以及VR環境不同時空的行走軌跡、行車軌跡、訪問狀態以及視線交互、情感反應、交互操作行為等數據實時同步采集)、以及作業空間及作業環境數據（溫度、濕度、噪音、光照、大氣壓、濕度、粉塵等）等客觀量化數據；為科學研究及應用提供完整的數據指標。
ErgoAI人因智能：
將人工智能技術引入人因工程研究工具，人因工程行業更加深度，使得實驗環境不會受限于某一種設備或數據指標，采集分析不同典型行業或學科專業的人-機-環境系統交互過程中自然狀態下的人類行為數據，獲取更接近真實人員狀態的數據。平臺還提供覆蓋科研實驗全流程的功能模塊，包括項目管理、實驗設計、同步采集、數據分析、綜合統計和可視化報告，結合ErgoAI人因智能邊緣計算平臺為多模態人機環境研究提供一站式人因工程+人工智能解決方案。以ErgoLAB人機環境同步平臺和ErgoAI人因智能邊緣計算平臺為核心的多模態同步人因智能解決方案大大提高了實驗結果的信效度，同時節省了研究的人力、物力、時間，提高了研究與測評的整體效率。
