臉部表情操控新突破!VR/AR技術邁向無障礙新時代
最新研究發現,透過簡單的臉部表情就能精準控制電腦系統,這項突破將為身障人士開啟虛擬實境(VR)與擴增實境(AR)科技的全新應用可能。由英國格拉斯哥大學與瑞士聖加侖大學組成的團隊證實,Meta的Quest Pro頭戴裝置能可靠辨識7種基本臉部動作,讓使用者不需動手就能暢玩VR遊戲或瀏覽AR網頁。
這項將於本月CHI 2025國際研討會發表的實驗中,研究人員邀請20位非身障志願者嘗試做出53種Quest Pro內建的表情辨識動作。這些被稱為「臉部動作單元」(FAUs)的微表情,通常被頭戴裝置的鏡頭捕捉後轉換為虛擬化身的表情。參與者需重複每個表情3次,每次維持3秒鐘,並就舒適度、易用性與完成度進行評分。
實驗結果顯示,有7種特別突出的臉部動作在裝置辨識度與使用者舒適度間取得最佳平衡,包括:張嘴、左右眼瞇起、左右臉頰鼓起,以及嘴角向兩側拉開。格拉斯哥大學電腦科學院的論文共同作者Graham Wilson博士指出:「VR技術常被批評具有先天障礙,因為它通常要求使用者靈活操作控制器或全身運動,這無形中築起了體驗門檻。我們的研究正是要探索如何透過現成裝置的臉部辨識功能,為所有人開創更友善的操作方式。」
為驗證這7種表情的實用性,團隊特別開發神經網路模型,以97%的準確率解讀Quest Pro捕捉的表情訊號。後續邀請10位志願者進行兩項任務測試:在VR遊戲中用表情轉身、選項與射擊;在AR環境中以臉部動作捲動網頁。雖然傳統控制器在遊戲中精準度較高,但參與者普遍認為表情操控直覺流暢,未來使用意願相當高。
共同作者Mark McGill博士補充:「雖然現階段研究樣本數有限,但明確指出市售硬體最能可靠辨識的7種核心表情。這為後續研究奠定基礎,我們計劃與行動障礙患者合作,協助開發者擴充套件XR平臺的無障礙操作選項。」
這項技術的潛力不僅限於無障礙應用。研究團隊指出,表情控制能讓使用者在雙手忙碌時(如提重物行走、烹飪或需保持手部清潔的場合)輕鬆操作AR眼鏡,甚至在公共場合更隱密地使用裝置。團隊已將研究資料集公開分享,鼓勵各界探索臉部操控的多元應用可能。
這篇名為《InterFACE:建立從VR遊戲到AR網頁瀏覽的臉部動作輸入詞彙庫》的論文,將於4月28日在日本橫濱舉行的CHI研討會正式發表。