B站全新開源動漫視頻生成模型:Anisora V3版震撼來襲,速度飆升,質(zhì)量更上一層樓

B站全新開源動漫視頻生成模型Anisora V3版震撼來襲:速度飆升,質(zhì)量更上一層樓

隨著科技的進(jìn)步,人工智能技術(shù)在動漫視頻生成領(lǐng)域取得了顯著成果。近日,B站團(tuán)隊發(fā)布的開源動漫視頻生成模型Anisora V3預(yù)覽版引起了廣泛關(guān)注。作為Index-AniSora項目的一部分,V3版本在原有基礎(chǔ)上進(jìn)一步優(yōu)化了生成質(zhì)量、動作流暢度和風(fēng)格多樣性,為動漫、漫畫及VTuber內(nèi)容創(chuàng)作者提供了更強大的工具。

Anisora V3基于B站此前開源的CogVideoX-5B和Wan2.1-14B模型,結(jié)合強化學(xué)習(xí)與人類反饋(RLHF)框架,顯著提升了生成視頻的視覺質(zhì)量和動作一致性。該模型支持一鍵生成多種動漫風(fēng)格的視頻鏡頭,包括番劇片段、國創(chuàng)動畫、漫畫改編、VTuber內(nèi)容等。

核心升級包括:

時空掩碼模塊優(yōu)化:V3版本增強了時空控制能力,支持更復(fù)雜的動畫任務(wù),如精細(xì)的角色表情控制、動態(tài)鏡頭移動和局部圖像引導(dǎo)生成。這意味著,通過提供簡單的提示,如“五位女孩在鏡頭放大時起舞,左手上舉至頭頂再下放至膝蓋”,模型能夠流暢地生成舞蹈動畫,鏡頭與角色動作同步自然。

數(shù)據(jù)集擴(kuò)展:V3繼續(xù)依托超過1000萬高質(zhì)量動漫視頻片段(從100萬原始視頻中提取)進(jìn)行訓(xùn)練,新增數(shù)據(jù)清洗流水線,確保生成內(nèi)容的風(fēng)格一致性和細(xì)節(jié)豐富度。

硬件優(yōu)化:V3新增對華為Ascend910B NPU的原生支持,完全基于國產(chǎn)芯片訓(xùn)練,推理速度提升約20%,生成4秒高清視頻僅需2-3分鐘。這一改進(jìn)將有助于提高模型性能,加快生成速度,從而滿足用戶需求。

多任務(wù)學(xué)習(xí):V3強化了多任務(wù)處理能力,支持從單幀圖像生成視頻、關(guān)鍵幀插值到唇部同步等功能,特別適合漫畫改編和VTuber內(nèi)容創(chuàng)作。這一改進(jìn)將有助于提高動漫視頻生成的多樣性和豐富性。

在最新基準(zhǔn)測試中,Anisora V3在VBench和雙盲主觀測試中,角色一致性和動作流暢度均達(dá)到業(yè)界頂尖水平(SOTA),尤其在復(fù)雜動作(如違反物理規(guī)律的夸張動漫動作)上表現(xiàn)突出。這一成果證明了Anisora V3在動漫視頻生成領(lǐng)域的領(lǐng)先地位。

V3還引入了首個針對動漫視頻生成的RLHF框架,通過AnimeReward和GAPO等工具對模型進(jìn)行微調(diào),確保輸出更符合人類審美和動漫風(fēng)格需求。這一創(chuàng)新性舉措將有助于提高動漫風(fēng)格的一致性和準(zhǔn)確性,從而提升用戶滿意度。

社區(qū)開發(fā)者已開始基于V3開發(fā)定制化插件,例如增強特定動漫風(fēng)格(如吉卜力風(fēng))的生成效果。這一趨勢表明了開發(fā)者對Anisora V3的積極響應(yīng)和對其未來潛力的看好。

總的來說,Anisora V3版為動漫、漫畫及VTuber內(nèi)容創(chuàng)作者提供了強大的新工具。通過優(yōu)化生成質(zhì)量、動作流暢度和風(fēng)格多樣性,該模型有望推動動漫視頻創(chuàng)作進(jìn)入新的階段。同時,該模型的開源性質(zhì)將吸引更多開發(fā)者加入社區(qū),共同推動人工智能技術(shù)在動漫領(lǐng)域的發(fā)展。

在應(yīng)用方面,Anisora V3支持多種動漫風(fēng)格,包括日本動漫、國產(chǎn)原創(chuàng)動畫、漫畫改編、VTuber內(nèi)容及惡搞動畫(鬼畜動畫),覆蓋90%的動漫視頻應(yīng)用場景。具體應(yīng)用包括:

單圖轉(zhuǎn)視頻:用戶上傳一張高質(zhì)量動漫圖像,配合文本提示,即可生成動態(tài)視頻,保持角色細(xì)節(jié)和風(fēng)格一致。

漫畫改編:從漫畫幀生成帶唇部同步和動作的動畫,適合快速制作預(yù)告片或短篇動畫。

VTuber與游戲:支持實時生成角色動畫,助力獨立創(chuàng)作者和游戲開發(fā)者快速測試角色動作。

高分辨率輸出:生成視頻支持高達(dá)1080p,確保在社交媒體、流媒體平臺上的專業(yè)呈現(xiàn)。

AIbase測試顯示,V3在生成復(fù)雜場景(如多角色交互、動態(tài)背景)時,相比V2減少了約15%的偽影問題,生成時間縮短至平均2.5分鐘。這一改進(jìn)將有助于提高生成視頻的質(zhì)量和效率。

相比于其他通用視頻生成模型,如OpenAI的Sora或Kling等,Anisora V3專注于動漫領(lǐng)域,使其更具針對性和適應(yīng)性。而與字節(jié)跳動的EX-4D相比,Anisora V3更專注于2D/2.5D動漫風(fēng)格,而非4D多視角生成。這使得Anisora V3在動漫領(lǐng)域具有獨特的優(yōu)勢和更高的精度。

綜上所述,B站全新開源動漫視頻生成模型Anis

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
2025-07-07
B站全新開源動漫視頻生成模型:Anisora V3版震撼來襲,速度飆升,質(zhì)量更上一層樓
B站全新開源動漫視頻生成模型Anisora V3版震撼來襲:速度飆升,質(zhì)量更上一層樓 隨著科技的進(jìn)步,人工智能技術(shù)在動漫視頻生成領(lǐng)域取得了顯...

長按掃碼 閱讀全文