6月6日,騰訊發(fā)布針對騰訊混元文生圖開源大模型(以下簡稱為混元DiT模型)的加速庫,讓推理效率大幅提升,生圖時間縮短75%。
混元DiT模型的使用門檻也大幅降低。用戶可以基于ComfyUI的圖形化界面,使用騰訊混元文生圖模型能力。同時,混元DiT模型已經(jīng)部署至Hugging Face Diffusers通用模型庫中,用戶僅用三行代碼即可調(diào)用混元DiT模型,無需下載原始代碼庫。
此前,騰訊宣布旗下的混元文生圖大模型全面升級并對外開源,可供企業(yè)與個人開發(fā)者免費商用。這是業(yè)內(nèi)首個中文原生的DiT架構文生圖開源模型,支持中英文雙語輸入及理解;采用了與 sora 一致的DiT架構,不僅可支持文生圖,也可作為視頻等多模態(tài)視覺生成的基礎。
騰訊混元DiT模型開源之后,受到了眾多社區(qū)開發(fā)者的認可。開源不到一個月,項目Github Star數(shù)就超過2100,位于開源社區(qū)熱門DiT模型前列。
為了提升開發(fā)者使用體驗,騰訊混元官方上線了專屬的加速庫,讓推理時間縮短75%,提高大模型運行效率。開發(fā)者通過Hugging Face即可下載該推理加速工具。
項目組通過知識蒸餾和TensorRT高性能推理框架,實現(xiàn)了DiT模型的采樣步數(shù)壓縮與高效推理部署。蒸餾主要指降低擴散模型迭代的步數(shù)實現(xiàn)加速。模型整體結(jié)構和參數(shù)量不變,用戶在無需任何額外的操作和設備要求下使用蒸餾權重,即可降低50%迭代步數(shù),實現(xiàn)耗時減半。TensorRT推理加速方案通過工程優(yōu)化,可以進一步降低耗時,并且和模型權重解耦。同時使用兩者進行推理部署,可將推理時間縮短75%。
官方還分享了兩個降低用戶使用門檻的最新消息:經(jīng)過與社區(qū)的共同努力,用戶可以基于ComfyUI的圖形化界面使用騰訊混元文生圖模型能力。同時,通過與Hugging Face團隊合作,混元DiT模型已經(jīng)部署到Hugging Face官方模型庫Diffusers中,并編寫了適配該模型庫的調(diào)用和生成代碼,用戶可以直接通過該途徑調(diào)用混元DiT模型,大大簡化了用戶使用的成本。
ComfyUI是一款文生圖領域的WebUI界面設計,它將文生圖領域的擴散算法模塊化與圖形化,提升了生成效率與資源利用率,也大幅降低了開發(fā)者的使用門檻。用戶可以通過圖像化工作流使用混元DiT文生圖模型,實現(xiàn)與官方模型一樣的效果。
混元DiT文生圖模型的ComfyUI使用界面
此外,圍繞ComfyUI的使用生態(tài),還衍生出強大的開源社區(qū)?;煸狣iT對ComfyUI的支持,也能讓社區(qū)的成員體驗基于最新DiT架構的文生圖模型。
作為知名的AI開源社區(qū),Hugging Face的Diffusers是目前調(diào)用各種主流文生圖大模型的通用庫,已經(jīng)成為當今文生圖大模型使用的社區(qū)標準。
將混元DiT模型適配進Hugging Face Diffusers,可以大幅提升模型的易用性和用戶基礎。用戶無需將原始代碼庫下載與部署到自身環(huán)境,安裝了Diffusers庫的開發(fā)者,僅需要運行幾行代碼,即可調(diào)用混元DiT模型,配置與調(diào)用都十分方便。同時,Hugging Face與騰訊混元團隊共同優(yōu)化算法框架,加快了圖片的生成速度。
此舉也相當于為所有后續(xù)基于混元DiT的使用和開發(fā)提供了底層支持,覆蓋各種需要調(diào)用混元DiT的任何場景,包括上述的ComfyUI方式。同時對開發(fā)者而言,之前配置好的基于Diffusers的工作流和插件可以在少量修改的情況下直接用于混元DiT。
騰訊文生圖負責人蘆清林表示:“騰訊混元文生圖模型開源之后得到了眾多開發(fā)者的支持和反饋,我們十分高興,也同時在針對開發(fā)者的反饋與社區(qū)一起完善和優(yōu)化基于混元DiT的開源生態(tài),讓更多開發(fā)者能更便利地享受到最新的研究成果。也歡迎大家跟我們一起共建下一代視覺生成開源生態(tài),推動大模型行業(yè)加速發(fā)展?!?/p>
免責聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關。文章僅供讀者參考,并請自行核實相關內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 飛書發(fā)布知識問答等多款AI產(chǎn)品 讓企業(yè)擁有懂自己的“豆包”
- 刷知識也能上癮,活力百科對年輕人做了什么?
- 2.2億單帶來的新機會:即時零售不只是巨頭的游戲,你也可以跟他們抗衡!
- 降價就香,蘋果在中國市場熱賣,全球市場份額創(chuàng)新高
- 雅迪“失寵”,九號上位,電動兩輪車未來誰主沉?。?/a>
- 阿里京東美團“搶灘”的即時零售,是產(chǎn)業(yè)互聯(lián)網(wǎng)的現(xiàn)實樣板
- 企業(yè)管理軟件之問第一問:AI Agent時代,SaaS走向升級還是毀滅?
- 云智融合雙buff,AI已開掛
- 腦機接口一百年
- 失明十年后,他在這里找到當大俠的感覺
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。