高速臉部追蹤技術：讓AR體驗更上一層樓

擴增實境（AR）技術近年來在娛樂、時尚與美妝產業掀起熱潮。其中，動態臉部投影對映（DFPM）堪稱最為先進且視覺效果驚人的技術之一。簡單來說，DFPM是透過即時投影動態影像到人臉上，並運用精密的臉部追蹤技術，讓投影能完美配合臉部動作與表情變化。

然而，儘管DFPM在AR領域的應用潛力無限，技術層面的挑戰卻限制了其發展。要在移動的臉部上精準投影，系統必須在毫秒內偵測到使用者的五官位置。即使是最微小的處理延遲或攝影機與投影機座標間的些微誤差，都可能導致投影失準，破壞沉浸式體驗。

為解決這些難題，日本東京科學研究所的研究團隊在渡邊義弘副教授的帶領下，與研究生彭浩倫共同開發出一套創新的高速DFPM系統。這項突破性研究已於2025年1月17日發表於《IEEE視覺化與電腦圖學學報》。

研究團隊首先開發出一種名為「高速臉部追蹤法」的混合技術，結合兩種不同的方法來即時偵測臉部特徵。他們採用回歸樹整合（ERT）技術來實現快速偵測，並利用前一幀的時間資訊來縮小「搜尋範圍」，從而提高偵測效率。此外，他們還引入了一種精準度較高但速度較慢的輔助方法，來彌補ERT可能產生的誤差。

「透過整合高精準度但速度較慢的偵測技術，以及低精準度但速度較快的偵測技術，並補償時間差異，我們達到了僅需0.107毫秒的高速執行，同時維持高精準度。」渡邊副教授解釋道。

研究團隊還解決了另一個棘手問題：用於訓練模型的高幀率臉部動作影片資料集不足。他們開發出一種創新方法，利用現有的靜態臉部影像資料集來模擬高幀率影片註解，讓演演算法能夠有效學習高幀率下的動作資訊。

最後，研究人員提出了一種鏡頭位移同軸投影機-攝影機配置，以減少對準誤差。「鏡頭位移機制整合到攝影機的光學系統中，使其與投影機光學系統的向上投影對齊，從而實現更精確的座標對準。」渡邊副教授補充道。透過這種方式，研究團隊在1至2米深度範圍內的使用者身上，僅產生1.274畫素的誤差，達到了極高的光學對準精度。

這項研究的各項創新方法將推動DFPM領域的發展，為表演、時裝秀與藝術展示帶來更具吸引力且超逼真的視覺效果，開啟AR應用的新篇章。