OpenAI 推出AI生成影片模型 Sora:光憑文字無中生有60秒影片,生成內容幾乎如真人實拍

2024-2-16 32 2/16
OpenAI 推出AI生成影片模型 Sora:光憑文字無中生有60秒影片,生成內容幾乎如真人實拍

OpenAI 正在推出一種新的影片生成模型,它的名字叫 Sora。

Sora支援無中生有1080p,60秒的影片

根據官方表示,Sora「可以根據文字說明建立逼真而富有想像力的情境」。

目前也有其它生成影片的工具,不過最普遍的都是讓你可以生成5秒到10秒鐘左右的內容,而且內容看起來會有點牽強,有時顯得破綻百出。

像是前不久Google發表了新的生成式人工智慧工具 Lumiere,也將幫助你通過基於文字的命令建立更逼真的圖像和影片。Lumiere 的一大亮點是,它能夠製作出看起來逼真的動作,而且不會出現不連貫的情況。但是目前僅支援5秒鐘的內容。

但是在Sora中,如果使用文字到影片模式,允許使用者根據自己編寫的提示建立1080p、長達一分鐘的影片。而且從目前可以看到的結果來看,效果相當逼真。

根據 OpenAI 的介紹,Sora 能夠建立「具有多個角色、特定運動類型以及主體和背景精準細節的複雜場景」。該模型能夠理解物體在現實世界中的存在方式,還能「精準解釋道具並生成表達生動情感的引人注目的角色」。

該模型還能根據靜態圖像生成影片,以及在現有影片中填充缺失的畫格或擴展影片內容。OpenAI 的發文中包含的 Sora 生成的展示包括加州在淘金熱時期的空中空拍情境、從東京火車內部拍攝的影片等。不過,許多展示都有人工智慧的痕跡--比如在一段博物館的影片中,地板疑似在移動。

OpenAI 推出AI生成影片模型 Sora:光憑文字無中生有60秒影片,生成內容幾乎如真人實拍

OpenAI 表示,該模型可能難以精準模擬複雜情境的物理現象,但總體而言,展示結果令人印象深刻。

幾年前,像 Midjourney 這樣的文字到圖像生成器在模型將文字轉化為圖像的能力方面處於領先地位。但最近,影片AI技術開始飛速進步:Runway 和 Pika 等公司都展示了自己令人印象深刻的文字轉影片模型,而Google的 Lumiere 也將成為 OpenAI 在這一領域的主要競爭對手之一。

只對「紅隊」測試者開放,但已經有許多驚奇的示範

Sora 目前只對「紅隊」人員開放,他們負責評估模型的潛在危害和風險。OpenAI 還向一些視覺藝術家、設計師和電影製片人提供存取權,以獲得回饋意見。

OpenAI指出,現有模型可能無法精準模擬複雜場景的物理現象,也可能無法正確解釋某些因果關係。

不過,目前已經有許多測試人員分享了生成的結果以及咒語,效果相當的不錯。

生成類似哈利波特的影片也不是問題:

動畫生成的示範:

或是來一場未來街道旅行: 

對於動物類型影片的生成也沒問題:

先前OpenAI 宣佈將在其文字到圖像工具 DALL-E 3 中新增浮水印,但指出這些水印其實很容易被後製去除。與其他人工智慧產品一樣,OpenAI 未來也可能要面對AI生成影片被誤認為是真實影片的後果。

 

  • 延伸閱讀:真的會動!盤點6個文字生成影片的AI工具-免器材、零基礎,輕鬆晉身影音創作者
  • 延伸閱讀:Google發表Lumiere生成式AI,給它一張靜態圖片加上描述就能產生5秒鐘的動態影片
  • 延伸閱讀:用文字生成影片成真!AI影片生成工具Gen2免費開放試用