Google發表Lumiere生成式AI,給它一張靜態圖片加上描述就能產生5秒鐘的動態影片

2024-2-14 21 2/14
Google發表Lumiere生成式AI,給它一張靜態圖片加上描述就能產生5秒鐘的動態影片

Google剛剛發表了新的生成式人工智慧工具 Lumiere,它將幫助你通過基於文字的命令建立更逼真的圖像和視訊。Lumiere 的一大亮點是,它能夠製作出看起來逼真的動作,而且不會出現不連貫的情況。之所以能做到這一點,是因為該軟體能在同一時間建立所有影片畫格,而不是先實際使用關鍵畫格,然後再對其進行訓練,以學習動作應該如何進行。

這聽起來可能並不令人印象深刻,但有了最新的生成式人工智慧工具的幫助,我們就能走得更遠,創造出令人驚嘆的作品。

Lumiere 還使用擴散機率模型來幫助生成圖像,可與 U-Net 相結合。對於那些不瞭解的人來說,U-Net 是一種架構,它能帶來時間上的放大和縮小,以及新增到圖像中的注意力區塊。最棒的是,這種新的生成式人工智慧工具可以與許多其他模型一起使用,這將有助於建立比我們之前看到的任何圖像和影片都更加逼真。

根據官方表示,Lumiere 可用於建立以下內容:

  • 電影膠片將圖像的單一部分製作成動畫

  • 動畫影片中的一個物體可以被另一個物體取代

  • 風格化生成:任何創作的藝術風格都可以改變為其他風格

  • 圖像到影片:幫助製作任何所需圖像的動畫

  • 影片到影片:允許使用者建立不同藝術風格的影片

這些在官網上都有豐富的範例,舉例來說,像是圖像到影片這部分,就利用了一些名畫為素材,產生了動態影片。

Google發表Lumiere生成式AI,給它一張靜態圖片加上描述就能產生5秒鐘的動態影片

目前Lumiere建立的影片長度最長僅為 5 秒,而且還不具備建立影片轉換和多角度攝像的功能。另外值得注意的是,如果你想試用 Lumiere,僅靠標準 GPU 是不行的。PC本身必須有強大的圖形處理能力,否則該工具根本無法運行。

Lumiere網址:https://lumiere-video.github.io/

 

  • 延伸閱讀:國泰航空也導入生成式AI,機場廣播、客服都套用AI實際成果如何?
  • 延伸閱讀:Google Chrome將新增AI生成技術,3大功能包含書籤管理、生成主題以及「幫我寫」