AI影片生成大躍進!MagicTime突破「動態變化」技術瓶頸
科技
05-08
當OpenAI的Sora等文字轉影片AI技術快速進化時,模擬「動態變化過程」始終是技術難題。比起一般影片生成,要讓AI準確呈現樹木生長、花朵綻放等過程,不僅需要理解物理世界運作規律,更面臨極高的變化複雜度。
如今這個技術瓶頸已被突破!由羅徹斯特大學、北京大學、加州大學聖克魯茲分校及新加坡國立大學組成的團隊,開發出名為MagicTime的全新AI模型。該技術透過分析縮時攝影影片學習物理知識,相關論文已發表於《IEEE模式分析與機器智慧匯刊》。
「MagicTime代表AI在模擬物理、化學、生物及社會屬性方面的重要進展。」論文作者之一、羅徹斯特大學電腦科學博士生黃進發強調。研究團隊特別建立包含2000多支高品質縮時影片的資料庫,每段影片都配有詳細說明文字,成功解決過往AI生成影片動作單調、變化貧乏的問題。
目前開源版本的MagicTime採用U-Net架構,可生成2秒鐘、512x512畫素的影片片段(每秒8幀);若搭配擴散轉換器架構,更能延伸至10秒鐘的影片。除了生物變化過程,舉凡建築施工、麵包烘焙等動態模擬都難不倒它。
雖然現階段生成的影片仍以趣味展示為主,但研究團隊認為這項技術將成為科學研究的重要工具。黃進發表示:「未來生物學家或許能利用生成式影片加速初步構想驗證。雖然最終仍須實際實驗,但精準模擬能大幅縮短研究週期,減少實體試驗次數。」
[end]