4月29日，阿里新一代的大模型 Qwen 3發(fā)布。以 DeepSeek+Qwen 的中國開源組合，正在以中國開源生態(tài)“雙子星”之勢，取代過去 Llama 為主，Mistral 為輔的開源生態(tài)。 Qwen 3 發(fā)布后，F(xiàn)ounder Park采訪了不同行業(yè)的 AI 創(chuàng)業(yè)公司代表，就開源閉源如何選擇、模型的微調(diào)、模型能力瓶頸，以及大模型創(chuàng)業(yè)的坑等方面進行了訪問。心言集團開源布道師、高級算法工程師“左右”在接受采訪的過程中，從心言集團的實踐視角剖析了中國開源模型的崛起路徑，并分享了自己在開源生態(tài)賦能下的業(yè)務(wù)探索與技術(shù)思考。
以下為采訪實錄：
開源、閉源模型如何選擇?
左右：從我們目前的業(yè)務(wù)角度看，絕大部分(可能 90% 以上)需要使用我們自己微調(diào)(fine-tuned)的模型，因此主要是本地化部署后供線上使用。同時，對于某些特定任務(wù)，比如數(shù)據(jù)構(gòu)造、數(shù)據(jù)蒸餾，或者需要利用特定大模型(如 GPT、豆包、Qwen)的能力時，我們會直接調(diào)用它們的 API。
本地部署的主要是基于 Qwen 的微調(diào)模型，根據(jù)不同的業(yè)務(wù)入口，我們會使用不同量級的模型。常用的是 7B、32B 和 72B 這幾個版本。此外，我們還有一些具身智能的業(yè)務(wù)，考慮到用戶隱私和多模態(tài)處理需求，會采用更小量級的多模態(tài)模型，比如 0.5B、1.5B 等。7B 模型主要用在對并發(fā)要求非常高，但對模型本身能力要求沒那么極致的業(yè)務(wù)場景。選用 7B 的原因有三：一是推理速度快;二是部署成本相對較低;三是在兼顧性能和速度方面，它比較適合我們的某些特定任務(wù)。
至于為什么選 Qwen 模型，主要有以下幾點考慮：
生態(tài)系統(tǒng)成熟度與穩(wěn)定性： Qwen 的生態(tài)相對完善和穩(wěn)定，包括推理框架(如 vLLM， SGLang 等很早就適配)、微調(diào)工具鏈以及其他配套設(shè)施。相比之下，有些模型(比如 DeepSeek 的早期大參數(shù)版本)生態(tài)成熟和穩(wěn)定使用可能需要更長時間。
技術(shù)能力與業(yè)務(wù)契合度： 我們做的是情感陪伴、泛心理相關(guān)的業(yè)務(wù)，主要面向國內(nèi)用戶。
首先排除了 Llama，雖然它生態(tài)好，但在中文能力，尤其是泛心理、情感陪伴這些垂直領(lǐng)域的能力上可能不足。
Qwen 對中文支持較好，并且在其預(yù)訓(xùn)練數(shù)據(jù)中也包含了一些泛心理、情感陪伴相關(guān)的內(nèi)容?；谶@樣的模型進行微調(diào)，更容易貼合我們的業(yè)務(wù)需求。
模型系列完整性： 我們的業(yè)務(wù)涉及從 0.5B 到 72B 的多種尺寸。目前來看，只有Qwen提供了這樣完整的尺寸系列。如果不同尺寸用不同模型(比如 7B 用 Llama，72B 用 Qwen)，會增加微調(diào)成本，需要在不同模型之間反復(fù)測試數(shù)據(jù)和超參數(shù)等。全系列使用 Qwen 系列，模型同宗同源，試錯成本相對較低。
開源的持續(xù)性與可信賴度： 我們之前用過零一萬物的模型，但后來他們在開源方面的策略調(diào)整了，這對我們來說比較被動。阿里(Qwen)在開源上的舉措讓我們覺得比較可靠，相信他們會持續(xù)投入開源，這對我們長期依賴其模型進行開發(fā)是重要的保障。
當(dāng)前大模型的使用和微調(diào)，面臨的挑戰(zhàn)有哪些?
左右：分開說一下，因為我們有具身智能和線上互聯(lián)網(wǎng)業(yè)務(wù)兩塊業(yè)務(wù)。
在具身智能方面，主要挑戰(zhàn)是推理成本和生態(tài)適配。
成本： 為了隱私，模型需本地部署。如果用英偉達方案，端側(cè)推理卡很貴(幾百到幾千元)，遠超機器人本身的成本。推理速度也可能不夠快。
生態(tài)適配： 如果換用國產(chǎn)算力芯片降低硬件成本，又會面臨生態(tài)不完善的問題。比如，讓國產(chǎn)芯片兼容最新的 Qwen 模型(特別是像 Qwen2-VL 等多模態(tài)模型)，適配周期可能很長(比如一兩個月)，我們等不起。由誰來做軟硬件適配(硬件廠?模型廠?我們自己?)也是個問題，我們自己做成本很高。
在線上互聯(lián)網(wǎng)業(yè)務(wù)方面，主要挑戰(zhàn)是模型能力和推理成本/延遲。微調(diào)成本相對較好。
模型能力： 我們做情感陪伴，對情感的細粒度理解要求非常高。模型需要準(zhǔn)確捕捉用戶復(fù)雜的情感狀態(tài)。比如，用戶語音內(nèi)容積極但語氣糟糕，如果只靠 ASR 轉(zhuǎn)文本，會丟失大量情感信息。這就對模型的多模態(tài)理解能力提出了很高要求(結(jié)合文本、語音、視覺等)。
推理成本/延遲： 我們的用戶量和 AI 使用量增長很快，推理成本壓力大。尤其是在高峰時段(如凌晨 0-1 點，峰值可能是平時的 3-4 倍)，需要有效調(diào)度潮汐算力，以低成本覆蓋流量洪峰，同時保證模型和算力能承載。
當(dāng)前模型的能力，滿足你們的業(yè)務(wù)場景需求了嗎?
左右：我們做的業(yè)務(wù)場景專注于情感、情緒化的泛心理應(yīng)用場景，大多數(shù)模型廠商在預(yù)訓(xùn)練或后訓(xùn)練階段都不會特別關(guān)注這部分數(shù)據(jù)。另外，即使是數(shù)據(jù)合成或蒸餾，其結(jié)果和真實用戶的查詢之間仍有很大差距。這就是我們堅持要做 Post-training(后訓(xùn)練/微調(diào))的原因。
我們對基礎(chǔ)模型的要求主要是通用能力(General Ability)，而不是特定領(lǐng)域能力(Domain Ability)。如果基礎(chǔ)模型的通用能力足夠好，我們在做 Post-training 時就更容易把它擬合到我們想要的方向。如果通用能力不行(像 2023 年那樣)，即使有高質(zhì)量的領(lǐng)域數(shù)據(jù)也很難調(diào)好。
而且需要注意，針對特定領(lǐng)域(如泛心理、情感陪伴)做 Post-training，通常會對模型的其他通用能力(如代碼、數(shù)學(xué))造成一定的損害。我們的目標(biāo)是把這種損害控制在可接受范圍內(nèi)(比如通用指標(biāo)下降 2 個點以內(nèi))，同時在我們的核心領(lǐng)域能力上實現(xiàn)顯著提升(比如比通用模型高 10 個點)。最近我們也會把內(nèi)部的泛心理基座模型面向社區(qū)開源，反哺開源社區(qū)，推動此方向上的技術(shù)發(fā)展。
如何看待目前以 DeepSeek、Qwen、Llama 為代表的開源模型的發(fā)展?
左右：對開源模型整體的期待是盡可能追平閉源頂尖模型(如 Claude， GPT-4/4o)。雖然現(xiàn)在還沒有完全追上，但開源模型比閉源更 Open，至少能拿到權(quán)重。
更具體的期待是希望它們能 release 更多的技術(shù)細節(jié)。Llama 3 和 DeepSeek 的技術(shù)報告相對詳細，希望 Qwen 也能更開放地分享技術(shù)路線、探索出的數(shù)據(jù)配比等。
從差異性看：
DeepSeek 更激進、理想化，在 MoE、原生多模態(tài)、代碼等方面探索較前沿。
Qwen 和 Llama(Qwen 早期 follow Llama，現(xiàn)在已逐漸超越)更注重社區(qū)和通用性，需要考慮更廣泛的用戶和場景，技術(shù)選型上可能相對穩(wěn)健。
這種差異化定位在開源社區(qū)里是正常的。
覺得當(dāng)前大模型創(chuàng)業(yè)最容易被忽視的坑是什么?
左右：我覺得一個比較大的問題是模型與產(chǎn)品的適配度，以及對 AI 在產(chǎn)品中角色的理解。
很多人認為 AI 來了，可以用它重做一遍舊需求，或者簡單地把 AI API 接到舊產(chǎn)品上。但我認為 AI 更多是后端能力，是處理信息的工具，而不是直接交付結(jié)果的前端界面。
現(xiàn)在很多產(chǎn)品給用戶的感覺是直接在和一個聊天機器人對話。但在我看來，AI 應(yīng)該藏在后端，用來深度處理用戶的輸入，實現(xiàn)真正的個性化，然后再交付結(jié)果。
例如，在情感陪伴中：
用戶發(fā)來語音，AI 不僅是轉(zhuǎn)文本，更應(yīng)該分析語氣、語調(diào)，并將這些情感信息融入 Prompt。
AI 應(yīng)該分析對話上下文的邏輯、情緒變化，讓下一輪的回復(fù)體現(xiàn)出這種個性化，而不是千篇一律地遵循某個 System Prompt。
很多開發(fā)者追求簡單的「端到端」，認為大模型能簡化一切。但在很多領(lǐng)域(尤其情感)，原本需要復(fù)雜處理的環(huán)節(jié)，現(xiàn)在依然需要，甚至可以借助 AI 做得更精細。直接用 AI 替代這些環(huán)節(jié)，可能導(dǎo)致產(chǎn)品缺乏深度和個性化。
我認為正確的模式應(yīng)該是 「X + AI」**，而不是 「AI + X」。核心是挖掘和理解用戶需求(X)，然后思考如何用 AI 更好地解決這個需求。而不是有了 AI 技術(shù)，再去找一個場景(X)去套用。
一個重要的觀察指標(biāo)是用戶留存。很多 AI 產(chǎn)品(如一些角色扮演應(yīng)用)留存很差，這往往意味著產(chǎn)品沒有抓住用戶的真實痛點，個性化做得不夠好。如果你的產(chǎn)品是基于真實需求(X)構(gòu)建的，留存通常不會是核心問題。現(xiàn)在很多產(chǎn)品可能是在做一個偽需求。
隨著Qwen、DeepSeek等中國開源模型在國際舞臺嶄露頭角，一場由技術(shù)生態(tài)驅(qū)動的全球化進程正在加速。心言集團的實踐表明，開源不僅為中國企業(yè)提供了彎道超車的技術(shù)路徑，更創(chuàng)造了“全球協(xié)作-垂直創(chuàng)新-生態(tài)反哺”的良性發(fā)展模式。在這場靜水深流的技術(shù)革命中，心言集團也將聚焦泛心理發(fā)展的AI化與具身化，繼續(xù)以開源為舟，以創(chuàng)新為帆，駛向情感計算領(lǐng)域的星辰大海。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
