虎博大模型發(fā)布即開源 同步發(fā)布三種API欲建行業(yè)生態(tài)

歷經3個月“隱蔽模式”研發(fā)，國內新銳算法公司虎博科技于6月6日發(fā)布并開源其自研大模型TigerBot，同步發(fā)布大模型應用開發(fā)所需的全套API并提供多領域專業(yè)數(shù)據(jù)，旨在構建大模型生態(tài)藍圖。據(jù)悉，Tigerobot在經典公開NLP語料測試中表現(xiàn)不俗，效果逼近OpenAI同等大小模型的96%，更在推理式問答等個別領域表現(xiàn)亮眼。

Tigerbot是虎博科技自研的多語言多任務大規(guī)模語言模型，致力于改善人們的工作流以提高效率，將成為人們工作必備的外腦搜索引擎之一。參與評測的TigerBot-7B是其第一版MVP，經歷了3000次實驗迭代。目前，虎博科技創(chuàng)始人兼CEO陳燁持續(xù)帶領團隊改進，已迭代出同等大小且表現(xiàn)優(yōu)于OpenAI的新模型，并將在近期更新發(fā)布。(產品體驗：https://www.tigerbot.com/chat，登錄即可申請體驗，感受逼近OpenAI表現(xiàn)的國產大模型。)

根據(jù)OpenAI InstructGPT 論文在公開 NLP 數(shù)據(jù)集上的自動評測，TigerBot-7B 已達到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%，這得益于虎博科技在 GPT和BLOOM 基礎上，對模型架構和算法進行了多項創(chuàng)新優(yōu)化，包括指令完成監(jiān)督微調的創(chuàng)新算法，以提升可學習型;運用ensemble 和 probabilistic modeling 的方法，實現(xiàn)更可控的事實性和創(chuàng)造性;在并?訓練上，突破了 deep-speed 等主流框架中若?內存和通信問題，使得在千卡環(huán)境下可實現(xiàn)數(shù)??間斷等。此外，經對中?語?的更不規(guī)則的分布，虎博科技從 tokenizer 到訓練算法等方面做了針對性算法優(yōu)化，使得模型的問答更具中國文化屬性。

(上圖為公開 NLP 數(shù)據(jù)集上的自動評測，以OpenAI-instruct GPT-6B-SFT為基準，歸一化并平均各模型的得分情況)

“此等一生難遇一次的大機遇，是吾輩之幸事!”在人工智能領域從業(yè)20年后，陳燁對大模型的橫空出世發(fā)表了真摯的言辭，更激發(fā)了他內心年少時的激情。他認為，推進人類文明的技術變革往往源于本能、直覺和偶然性，而擁有自由的創(chuàng)新精神是根本。大模型技術就像是一門新興學科，其未來的可能性將超過每個人的想象，他表示，現(xiàn)階段過早和過于理性地探討產品、應用、場景和商業(yè)化或許沒有必要，更重要的是推廣這一人工智能基礎設施的原創(chuàng)突破，促進技術的發(fā)展和更新。“它將是顛覆式且長周期的?！?/p>

秉持科學創(chuàng)新無國界、無階層的信念，虎博科技將以全套API形式開源Tigerbot的階段性成果，試圖與廣大大模型應用開發(fā)者共同構建大模型生態(tài)藍圖，通過生態(tài)的發(fā)展反哺促進大模型能力迭代，讓技術和產業(yè)發(fā)展共榮共生，共同打造中國的世界級應用。此次開源內容包含模型、代碼、數(shù)據(jù)三部分，包含TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research等多個模型版本，經基本訓練且覆蓋雙卡推理 180B 模型的量化和推理代碼，以及高達100G的預訓練數(shù)據(jù)和監(jiān)督微調 1G 或 100 萬條數(shù)據(jù)。值得一提的是，TigerBot-7B-base的綜合表現(xiàn)優(yōu)于同等可比的OpenAI和BLOOM，TigerBot-180B-research 的參數(shù)量達1800億，或是目前業(yè)內最大的大規(guī)模語言模型，而高達100G的預訓練數(shù)據(jù)，更被視為目前業(yè)內最大且質量最優(yōu)的開源預訓練數(shù)據(jù)之一。同時，虎博科技還將開放大量的金融、法律、百科等領域專業(yè)數(shù)據(jù)，供應用開發(fā)者使用。

(開源地址：https://github.com/TigerResearch/TigerBot)

回顧Tigerbot研發(fā)過程，虎博科技致敬了硅谷90年代經典的“車庫創(chuàng)業(yè)”模式，項目組在陳燁的帶領下，從5人小隊發(fā)展成目前10人小組。團隊克服多重困難，在1月內實現(xiàn)自研全棧代碼，當時測試表現(xiàn)已達OpenAI可比模型的80%效果，為整個團隊注入了一劑“強心針”，促使他們不斷突破事實性、創(chuàng)造性和思維鏈等底層研究，最終實現(xiàn)了算法、工程、數(shù)據(jù)的高效迭代。他們以每日至少3次，累計超過3000次的實驗，打造出了Tigerbot。

據(jù)悉，虎博科技成立于2017年，以讓人們獲取知識更簡單為愿景，致力于通過深度學習、自然語言處理等世界前沿技術，深入挖掘全球各行業(yè)信息，以可視化的問答方式呈現(xiàn)關鍵內容。同時，以貼近一線的視角精準洞察行業(yè)痛點，將核心技術產品化，幫助企業(yè)在日常運營、產品體驗等多方面高度提效。截至目前，虎博科技融資額超越同階段AI+NLP領域其他企業(yè)。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。