博客 / 詳情

返回

文-圖生視頻雙發力,Wan 2.1 高質量視頻生成教程

Wan 2.1(通義萬相 2.1)是由阿里巴巴於 2025 年開源的視頻生成大模型,它在視頻生成領域展現出了卓越的性能。在功能上,該模型不僅支持文生視頻和圖生視頻,還能進行視頻編輯、文生圖、視頻生音頻等多種創新應用,極大豐富了用户的創作選擇。而且,Wan 2.1 是首個能在中英文環境中實現文字生成的視頻模型,免去外部插件的繁瑣,大幅提升了其實用性。

Wan 2.1 採用了自研的高效變分自編碼器 (VAE) 和動態圖變換器 (DiT) 架構,這種創新的設計使得模型能夠更準確地捕捉和模擬現實世界的動態變化。同時,通過參數共享機制,Wan 2.1 降低了訓練成本,提高了生成效率。

教程鏈接:https://go.openbayes.com/U662L

使用雲平台:OpenBayes
http://openbayes.com/console/signup?r=sony_0m6v

登錄 http://OpenBayes.com,在「公共教程」頁面,選擇鍵部署 「Wan 2.1 文-圖生視頻雙殺 Demo」教程。

圖片

頁面跳轉後,點擊右上角「克隆」,將該教程克隆至自己的容器中。

圖片

選擇「NVIDIA RTX A6000」以及「vLLM」鏡像,OpenBayes 平台提供了 4 種計費方式,大家可以按照需求選擇「按量付費」或「包日/周/月」,點擊「繼續執行」。可以使用文章開頭的邀請鏈接,獲得 RTX 4090 使用時長!

圖片

圖片

該模型支持文生視頻和圖生視頻,下面一一為大家介紹。

1.文生視頻

待系統分配好資源,當狀態變為「運行中」後,訪問模型給出的連接「https://sony-text2v.gear-c1.openbayes.net/」,進入文生視頻 Demo 界面。

圖片

圖片

我們在「Prompts」中輸入一段文字描述,在「Resolution」處選擇輸出尺寸,根據自己需求設置好幀數和推理步數,最後點擊「Generate」生成。

*Prompts:一隻巨大的橙色章魚正躺在海底休息,與周圍沙石質地的海底地形融為一體。它的觸手伸展開來,環繞在身體周圍,眼睛閉着。章魚並未察覺到一隻帝王蟹正從一塊岩石後面爬向它,蟹的鉗子高高舉起,準備發動攻擊。這隻蟹呈棕色,帶刺,有長長的腿和觸鬚。場景以廣角鏡頭拍攝,展現了海洋的廣闊與深邃。海水清澈湛藍,陽光透過水麪灑下道道光束。畫面清晰鋭利,具有高動態範圍。章魚和蟹是畫面的焦點,而背景則略微模糊,營造出景深效果。

圖片

2.圖生視頻

待系統分配好資源,當狀態變為「運行中」後,訪問模型給出的連接「https://sony-img2v.gear-c1.openbayes.net/」,進入圖生視頻 Demo 界面。

圖片

圖片

我們上傳一張圖片,在「Prompts」中輸入一段文字描述,設置好分辨率、幀率、推理步數,最後點擊「Generate」生成。

圖片

user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.