蘋(píng)果引領(lǐng)AI新潮流：StreamBridge端側(cè)視頻大語(yǔ)言模型框架，讓視頻實(shí)時(shí)AI響應(yīng)
隨著科技的飛速發(fā)展，人工智能（AI）在各個(gè)領(lǐng)域的應(yīng)用日益廣泛。近日，科技媒體marktechpost的一篇博文引起了我們的關(guān)注。據(jù)報(bào)道，蘋(píng)果公司與復(fù)旦大學(xué)聯(lián)手，推出了一種名為StreamBridge的端側(cè)視頻大語(yǔ)言模型（Video-LLMs）框架，該框架將助力AI理解直播流視頻，引領(lǐng)AI新潮流。
首先，我們來(lái)探討一下直播流視頻理解的挑戰(zhàn)與需求。傳統(tǒng)視頻大語(yǔ)言模型擅長(zhǎng)處理靜態(tài)視頻，但在實(shí)時(shí)感知的場(chǎng)景下，如機(jī)器人技術(shù)、自動(dòng)駕駛等，要求模型能快速理解直播視頻流內(nèi)容，并做出反應(yīng)?，F(xiàn)有的模型在處理多輪實(shí)時(shí)理解和主動(dòng)響應(yīng)方面存在兩大難題。
為了解決這些問(wèn)題，蘋(píng)果與復(fù)旦的研究者們開(kāi)發(fā)了StreamBridge框架。該框架通過(guò)引入內(nèi)存緩沖區(qū)和輪次衰減壓縮策略，支持長(zhǎng)上下文交互。這一創(chuàng)新不僅提升了模型的交互性能，還使其在處理最新視頻片段時(shí)保留了歷史視覺(jué)和對(duì)話(huà)上下文。
此外，該框架還引入了一個(gè)輕量化的獨(dú)立激活模型，無(wú)縫集成現(xiàn)有視頻大語(yǔ)言模型，實(shí)現(xiàn)了主動(dòng)響應(yīng)功能。這一創(chuàng)新不僅提升了模型的性能，還使其在無(wú)明確指令的情況下及時(shí)輸出反饋。
為了進(jìn)一步提升流式視頻理解能力，研究團(tuán)隊(duì)還推出了Stream-IT數(shù)據(jù)集。該數(shù)據(jù)集包含約60萬(wàn)個(gè)樣本，融合了視頻與文本序列，支持多樣化的指令格式。這一創(chuàng)新為研究者們提供了豐富的資源，有助于提升流式視頻理解能力。
為了驗(yàn)證StreamBridge框架的效果，我們?cè)谥髁麟x線模型如LLaVA-OV-7B、Qwen2-VL-7B和Oryx-1.5-7B上進(jìn)行測(cè)試。結(jié)果顯示，Qwen2-VL在OVO-Bench和Streaming-Bench上的平均分分別提升至71.30和77.04，超越了GPT-4o和Gemini 1.5 Pro等專(zhuān)有模型。這一成果證明了StreamBridge在流式視頻理解領(lǐng)域的強(qiáng)大潛力。
Oryx-1.5也取得了顯著進(jìn)步，而LLaVA-OV性能略有下降。然而，通過(guò)對(duì)Stream-IT數(shù)據(jù)集的微調(diào)，所有模型的表現(xiàn)均得到了提升。這進(jìn)一步證明了StreamBridge在實(shí)時(shí)視頻理解領(lǐng)域的優(yōu)勢(shì)。
總的來(lái)說(shuō)，StreamBridge端側(cè)視頻大語(yǔ)言模型框架的推出，將為AI領(lǐng)域帶來(lái)新的突破。它將助力AI理解直播流視頻，使機(jī)器人技術(shù)、自動(dòng)駕駛等實(shí)時(shí)感知場(chǎng)景的性能得到顯著提升。作為引領(lǐng)AI新潮流的成果，StreamBridge將為未來(lái)帶來(lái)更多可能性，讓我們拭目以待！
以上便是關(guān)于StreamBridge端側(cè)視頻大語(yǔ)言模型框架的詳細(xì)介紹。蘋(píng)果公司與復(fù)旦大學(xué)的研究者們通過(guò)這一創(chuàng)新成果，再次證明了他們?cè)贏I領(lǐng)域的領(lǐng)先地位。隨著StreamBridge的廣泛應(yīng)用，我們期待看到更多令人興奮的科技成果涌現(xiàn)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
