散戶組團(tuán)挑戰(zhàn)算力霸權(quán)：40B模型+20萬(wàn)億token刷新世界紀(jì)錄，掀起科技革命浪潮
隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，人工智能（AI）的訓(xùn)練也日益受到關(guān)注。近日，Nous Research 宣布正式推出 Psyche 網(wǎng)絡(luò)，通過(guò)去中心化方式革新人工智能（AI）訓(xùn)練，這一舉措引發(fā)了廣泛關(guān)注。Psyche 網(wǎng)絡(luò)利用區(qū)塊鏈技術(shù)，匯聚全球計(jì)算資源，成功啟動(dòng)了 40B 參數(shù)大語(yǔ)言模型 Consilience 的預(yù)訓(xùn)練任務(wù)，創(chuàng)下了迄今為止互聯(lián)網(wǎng)上最大規(guī)模的預(yù)訓(xùn)練紀(jì)錄。這一突破性的進(jìn)展，無(wú)疑將掀起科技革命浪潮。
首先，我們需要理解 Psyche 網(wǎng)絡(luò)的技術(shù)原理。Psyche 網(wǎng)絡(luò)的核心在于 DisTrO 優(yōu)化器與 Solana 區(qū)塊鏈。通過(guò)利用全球閑置的計(jì)算資源（如 4090、A100 和 H100 等消費(fèi)級(jí) GPU），大幅降低訓(xùn)練成本。并行實(shí)驗(yàn)鼓勵(lì)開源社區(qū)提出新的模型架構(gòu)和訓(xùn)練方法，這可能催生更多創(chuàng)新。值得注意的是，區(qū)塊鏈技術(shù)的引入，為 Psyche 網(wǎng)絡(luò)提供了無(wú)需許可、彈性與高可用性、激勵(lì)機(jī)制的開放平臺(tái)，協(xié)調(diào)并獎(jiǎng)勵(lì)為網(wǎng)絡(luò)作出貢獻(xiàn)的參與者。
在這個(gè)去中心化的訓(xùn)練過(guò)程中，網(wǎng)絡(luò)帶寬一直是最令人擔(dān)憂的問(wèn)題。傳統(tǒng)的數(shù)據(jù)中心具有極高帶寬的連接，而互聯(lián)網(wǎng)上的志愿者節(jié)點(diǎn)往往只有幾十甚至幾百兆每秒的帶寬。傳統(tǒng)的訓(xùn)練方式需要 GPU 之間持續(xù)地交換更新信息，而普通家用網(wǎng)絡(luò)來(lái)完成這些通信，很可能會(huì)陷入“災(zāi)難級(jí)”的訓(xùn)練體驗(yàn)。然而，Nous 推出的 DisTrO 技術(shù)能夠讓所有訓(xùn)練節(jié)點(diǎn)保持高度同步，并將所需帶寬降低 1000 到 10000 倍。這一技術(shù)的成功驗(yàn)證標(biāo)志著分布式、去中心化訓(xùn)練邁出了從理論走向現(xiàn)實(shí)的關(guān)鍵一步。
此次 Psyche 網(wǎng)絡(luò)的成功實(shí)現(xiàn)去中心化的 AI 訓(xùn)練，開創(chuàng)了一個(gè)全新的模式。不僅降低了 AI 開發(fā)的門檻，還推動(dòng)了全球協(xié)作和創(chuàng)新。Consilience 模型的預(yù)訓(xùn)練只是起點(diǎn)，未來(lái) Psyche 網(wǎng)絡(luò)有望成為 AI 民主化的重要基石，為開源社區(qū)和小型團(tuán)隊(duì)提供與科技巨頭抗衡的機(jī)會(huì)。這一轉(zhuǎn)變不僅在 AI 領(lǐng)域具有重要意義，也在科技界引發(fā)了廣泛討論。
在去中心化訓(xùn)練中，我們面臨的挑戰(zhàn)是如何協(xié)調(diào)不同硬件之間的計(jì)算資源，以及如何確保訓(xùn)練過(guò)程中的安全性與可靠性。區(qū)塊鏈技術(shù)的出現(xiàn)，為我們提供了解決這些問(wèn)題的可能。區(qū)塊鏈的去中心化特性，使得每個(gè)參與者都有平等的權(quán)利和義務(wù)，避免了中心化系統(tǒng)的弊端。同時(shí)，區(qū)塊鏈的不可篡改性也保證了訓(xùn)練數(shù)據(jù)的真實(shí)性和安全性。
強(qiáng)化學(xué)習(xí)框架下的分布式訓(xùn)練在硬件能力和網(wǎng)絡(luò)延遲差異大的情況下表現(xiàn)出色。每個(gè)節(jié)點(diǎn)可以獨(dú)立行動(dòng)，收集經(jīng)驗(yàn)，并定期與其他節(jié)點(diǎn)分享進(jìn)展。這極大緩解了傳統(tǒng)訓(xùn)練中常見的同步難題。每個(gè)節(jié)點(diǎn)在訓(xùn)練過(guò)程中的表現(xiàn)都將影響它的獎(jiǎng)勵(lì)：計(jì)算能力更強(qiáng)或使用了更先進(jìn)訓(xùn)練方法的節(jié)點(diǎn)可能會(huì)獲得更多代幣激勵(lì)。這種激勵(lì)機(jī)制將進(jìn)一步激發(fā)參與者的積極性，推動(dòng)訓(xùn)練任務(wù)的成功完成。
此外，我們也應(yīng)該看到區(qū)塊鏈技術(shù)在推動(dòng)科技發(fā)展中的重要作用。在常常被斥為“過(guò)度炒作又頻頻令人失望”的區(qū)塊鏈生態(tài)中，能看到真正的創(chuàng)新成果，確實(shí)令人欣慰——這簡(jiǎn)直讓人“冷漠的靈魂也重新燃起了熱情”。Nous 并不是一開始就擁抱區(qū)塊鏈技術(shù)的，但經(jīng)過(guò)深思熟慮和實(shí)際需求后，他們選擇了將技術(shù)棧遷移到 Solana 區(qū)塊鏈。他們需要一種方式，不論對(duì)方來(lái)自哪里，都能吸引計(jì)算資源與人才并進(jìn)行公平支付；區(qū)塊鏈在這一點(diǎn)上表現(xiàn)得無(wú)比出色。他們需要一種手段，能夠協(xié)調(diào)并擴(kuò)展大規(guī)模訓(xùn)練任務(wù)；而協(xié)調(diào)與擴(kuò)展正是區(qū)塊鏈技術(shù)的第二天性。
總的來(lái)說(shuō)，Psyche 網(wǎng)絡(luò)的成功預(yù)訓(xùn)練是科技創(chuàng)新的重大突破，也是對(duì)集中化計(jì)算模式的強(qiáng)有力挑戰(zhàn)。這一創(chuàng)新性的項(xiàng)目將為開源社區(qū)和小型團(tuán)隊(duì)提供與科技巨頭抗衡的機(jī)會(huì)，推動(dòng) AI 發(fā)展的民主化。我們期待著 Psyche 網(wǎng)絡(luò)在未來(lái)能夠帶來(lái)更多的驚喜和突破，引領(lǐng)科技革命浪潮。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
