突破性神經形態系統:極端光線下的機器視覺革命
近日,一個研究團隊成功開發出一套名為「神經形態曝光控制」(Neuromorphic Exposure Control, NEC)的系統,這套系統能夠在極端光線變化的環境下,大幅提升機器視覺的效能。這項研究發表於《自然通訊》(Nature Communications),其靈感來自人類的周邊視覺,並在動態感知環境中實現了前所未有的速度與穩定性。該研究由香港大學工程學院電腦科學系與電機電子工程系的潘嘉教授和彭逸凡教授領導,並與澳洲國立大學的研究人員合作完成。
傳統的自動曝光(AE)系統依賴於迭代的影像反饋,這在光線突然變化(例如進入隧道或遇到強光)時往往失效,形成一種「雞生蛋、蛋生雞」的困境。NEC系統則透過整合事件相機(Event Cameras)與一種創新的「三線性事件雙重積分」(Trilinear Event Double Integral, TEDI)演演算法,成功解決了這一問題。事件相機是一種能夠捕捉畫素亮度變化並將其轉化為非同步「事件」的感測器。這套系統在單一CPU上每秒可處理1.3億個事件,使其能夠在邊緣裝置上執行。
「就像我們的瞳孔能夠瞬間適應光線變化一樣,NEC模仿了視網膜路徑之間的生物協同作用,」文章的第一作者林世傑解釋道。「透過將事件流與物理光線指標融合,我們繞過了傳統的瓶頸,實現了不受光線影響的視覺。」
NEC系統的應用範圍廣泛,包括移動車輛與頭戴式裝置,並可用於醫療擴增實境(AR)輔助與3D重建。研究團隊已在多種關鍵情境下驗證了NEC的效能。
潘嘉教授表示:「這項突破性研究在機器視覺領域邁出了重要的一步,它將生物原理與計算效率結合起來。NEC系統不僅解決了傳統曝光控制的限制,還為現實世界中的應用(如自動駕駛車輛與醫療機器人)開闢了更具適應性與韌性的視覺系統。」
彭逸凡教授則補充道:「我們的合作研究在推動神經形態工程的邊界方面起到了關鍵作用。透過利用事件型感測與生物啟發演演算法,我們創造了一個不僅更快,而且在極端條件下更穩定的系統。這證明瞭跨領域研究在解決複雜工程挑戰中的力量。」
長遠來看,NEC正規化提供了一種新穎的事件-框架處理方案,減少了高解析度事件/影像的處理負擔,並將生物學原理融入機器視覺的低階控制中。這為相機設計、系統控制與下游演演算法開闢了新的可能性。研究團隊在多種系統中實現神經形態協同的成功,不僅是光學/影像/神經形態處理流程的重要里程碑,也為業界帶來了直接的經濟與實務影響。