歷經數月的激烈角逐,CVPR 2021(Computer Vision and Pattern Recognition,計算機視覺與模式識別國際頂級會議)的多項挑戰賽結果正式出爐。好未來AI研究院憑借在圖像領域的長期投入和創新技術積累,分別在Person In Context 挑戰賽(Human-Object-Interaction Detection賽道)、 UG2+挑戰賽(Superviced Face Detection In Low Light Conditions賽道)、Gaze Estimation and Prediction in the wild 挑戰賽(ETH-XGaze賽道)和ActivityNet挑戰賽(Active Speaker Detection賽道)等重要賽事中,擊敗眾多科技巨頭和知名高校,共計斬獲4項國際冠軍,并受邀出席會議作報告分享,這標志著中國科技教育企業研發的視覺算法技術已處于國際一流水平。
這是好未來繼勇奪CVPR2020的EmotioNet人臉表情識別競賽冠軍后,再次在該國際技術賽場上獲得佳績。CVPR由IEEE電氣與電子工程師協會舉辦,是計算機視覺和模式識別領域最具影響力、內容最全面的頂級A類學術會議,好未來此次參賽的前沿技術包括暗光下人臉檢測、人/物關系檢測、視線估計、說話人檢測等。
其中,Person In Context 挑戰賽由北京航空航天大學、浙江大學等國內外高校舉辦,吸引了曠世、百度等公司和研究機構參賽。人/物關系檢測任務目標是輸出多個三元組,包含了人的坐標框、物體的坐標框、人/物關系。該技術是面向以人為中心場景下高級語義理解的重要一步,具有廣泛的應用場景,例如行為分析、人機交互以及智能監控等。好未來在該競賽中提出了結合人體關鍵點信息的圖網絡方法進行關系的推理,并在網絡中融合Transformer模塊進行特征的增強,使最終端到端的結果得到了明顯提升,以mAP 95.5的絕對優勢奪魁。上述技術已應用于好未來教學質量評估系統,為改善老師授課質量提供了重要的數據分析。
Person In Context 人/物關系檢測賽道最終榜單
在無約束、動態退化的環境中(如惡劣天氣和光照條件等),視覺感知和理解算法的性能會受較大影響,+ 挑戰賽旨在通過應用圖像恢復和增強算法來提高分析性能,從而推進對“困難”圖像的分析。其中暗光人臉檢測賽道重點解決人臉檢測算法在暗光環境下檢測效果下降的問題,該項技術對解決學生視力保護的問題有重大意義。
由于在暗光環境下人臉的視覺特征相較正常環境下差異巨大,使用現有人臉檢測算法不能有效工作,對檢測算法與研究人員都有很大的挑戰。
為了應對這些問題,好未來結合了傳統方法和深度學習方法的“去黑暗化”的數據處理方案。此外還利用一系列的圖像處理技術與GAN技術,將正常的圖像(來自于Widerface, UFDD)“先變暗后變亮再加噪聲”,得到與黑暗圖像變亮效果類似的圖像,實現正常圖片的“域”遷移。好未來以多種技術方法的有效結合,最終以領先第二名超過3%的mAP奪冠。
UG2+ 人臉暗光檢測賽道最終榜單
人的視線在人機交互、情感計算和醫學診斷等許多應用領域中起著基礎性的作用,尤其在教育場景中,視線的關注點直接與學生聽課的關注度相關。對于一張給定的包含面部的圖像數據,ETH-XGaze挑戰賽要求參賽隊伍分析圖片中人物的眼睛信息,精確計算出圖片中視線的偏移角度。該挑戰賽發布的數據集由超過一百萬張在極端頭部姿勢下不同凝視的高分辨率圖像組成,包含了110名參與者在18個數碼單反相機和可調節的照明條件的下的視線圖像,吸引了華為、中國科學技術大學等數十支隊伍參與。
好未來與中科院計算所聯合摘桂,雙方將先進技術與實際業務經驗相結合,采用注意力機制將眼睛的局部特征和臉部的全局特征相結合,有效提高了回歸模型的精度。據悉,該項技術已經應用在學而思網校的授課系統中,并在智慧教育國家新一代人工智能開放創新平臺上線。
ETH-XGaze競賽冠軍
ActivityNet是目前視頻理解領域影響力最大的賽事之一,其中Active Speaker賽道任務目標是對視頻中的可見人物是否在說話進行精確地判斷,該項技術對于網課教學中判斷和提升學生互動的效果頗好。好未來與中科院計算所聯隊在未采用任何預訓練的情況下,依然取得了93.44 mAP的指標,戰勝了慕尼黑工業大學、微軟、新加坡國立大學等眾多強隊。
ActivityNet active speaker賽道冠軍
好未來AI研究院是國內教育領域較早進行AI技術研究與落地探索的研究機構,經過近5年的積累與沉淀,不斷取得前沿核心技術突破,涉及圖像與視頻理解、機器學習、自然語言理解、語音合成與評測等多個領域,面向行業開放了視覺、語音、NLP和數據挖掘等領域的100余項AI能力,提供互動評測、練習批改、內容生產和教學管理等方面的定制化AI解決方案,累計獲得包括UbiComp2020競賽、NeurIPS2020“教育挑戰”競賽、CCL 2020幽默計算評測、INTERSPEECH 2021“非母語兒童識別”競賽在內的十余項國內外競賽冠軍,發表60多篇高水平學術論文,獲得100余項專利。
作為智慧教育國家新一代人工智能開放創新平臺承建單位,好未來積極踐行開放共贏的理念,近日與智源研究院深度攜手,成為悟道生態戰略合作伙伴,加速在智慧課堂、教師輔助、智慧學伴、教育智能硬件、自適應學習等領域的探索落地,共同推進教育行業智能化升級與數字化轉型,助力發展更加公平、更有質量的教育,堅持用科技守護教育的初心,以開放合作共同成就教育美好。
