人工智能和機器學習仍然是全球持續(xù)增長的領域之一，近年來涌現(xiàn)出越來越多本科生或者非人工智能專業(yè)出身的工程師，他們努力學習和使用技術(shù)來改進產(chǎn)品，幾乎每天都有新的機器學習技術(shù)和框架發(fā)布。這篇文章將討論領英如何規(guī)模化利用技術(shù)，幫助更多工程師提升機器學習的效率。近日，領英中國機器學習研發(fā)經(jīng)理李子在IEEE數(shù)據(jù)挖掘國際會議(ICDM)上分享了領英是如何規(guī)?；_展機器學習，介紹領英的核心產(chǎn)品以及如何利用技術(shù)幫助更多工程師提升機器學習的效率。

Pro-ML提升機器學習效率

AI技術(shù)堆棧開發(fā)各自的產(chǎn)品。，這種做法無法有效實現(xiàn)規(guī)模化，因為每個團隊使用的技術(shù)不同，從邏輯回歸到深度學習，從Pig 、 Hive、Spark到Scalding等等，團隊之間的AI技術(shù)堆棧很難共享協(xié)作。所以領英希望在招入新的工程師或是開發(fā)新功能、使用新技術(shù)時，盡可能減少大家的負擔。此外，近年來很多人工智能領域的從業(yè)者其實并不是人工智能專業(yè)出身，領英的AI基礎架構(gòu)對他們來說過于復雜，難以用來構(gòu)建、迭代模型。

為了高效地促進機器學習規(guī)?；I英構(gòu)建了名為“Productive Machine Learning”(高效機器學習)的項目，簡稱Pro-ML。Pro-ML的目標是將AI工程師的工作效率翻一番，讓他們能更輕松、更高效地構(gòu)建模型。在過去十年里領英發(fā)現(xiàn)，模型性能與模型更新速度直接相關(guān)。因此，如果能讓工程師加快模型迭代速度，那么模型性能也會提高。

具體來說Pro-ML采用分層解決方案，目標是提高整個模型開發(fā)周期的效率，從模型探索和構(gòu)建(Exploring and Authoring)，到模型訓練(Training)、模型部署(Deploying)、模型運行(Running)，再到持續(xù)監(jiān)控模型狀態(tài)。領英希望把所有常規(guī)工作自動化，這樣算法工程師就能更加聚焦于創(chuàng)新。

Health Assurance Layer保證算法順利運行

模型訓練和部署完成后，最后一個問題是：當模型實際運行的時候，如何保持它能夠正常運行呢?根據(jù)過去的經(jīng)驗教訓，在開發(fā)的早期階段越重視這個問題，越容易在實際運行時保證模型正常運行。因此，在模型探索和訓練等早期階段，領英的Health Assurance Layer提供了一系列工具，用于持續(xù)監(jiān)控和驗證。有人可能會問，在實際運行中，所有在線特征都可用嗎?特征更新的速度是否足夠快?實際上，如果出現(xiàn)任何異樣， Health Assurance Layer 將通知相應的工程師，他們會介入進行調(diào)試。Health Assurance Layer為工程師提供了一系列工具，幫助他們快速鎖定問題。

人工智能團隊與產(chǎn)品團隊緊密地聯(lián)系在一起，使機器學習團隊能夠與致力于解決類似難題的同行專家合作并分享最佳實踐。

類似地，Pro-ML團隊圍繞五個主要支柱構(gòu)建，每個支柱都支持模型開發(fā)生命周期的一個階段。通常，每個支柱都有一個負責人(通常是一名工程師)、一個技術(shù)負責人和幾個工程師。這些工程師也來自各個組織，包括產(chǎn)品工程組織、基礎/工具組織和基礎架構(gòu)團隊。Pro-ML團隊分布在世界各地，包括班加羅爾、歐洲和美國多個地方。領英還擁有一個領導團隊，幫助制定項目愿景，并且最重要的是致力于消除摩擦，以便每一個支柱能夠獨立存在。

Pro-ML將增加能夠利用人工智能的產(chǎn)品數(shù)量，并擴大能夠培訓和部署模型的團隊數(shù)量。此外，它將減少模型選擇、部署等所需的時間，并使Health Assurance等關(guān)鍵領域自動化。領英現(xiàn)在已經(jīng)花了一年多的時間來改造人工智能，使其能保持快速、高效和可操作性，擴展到所有工程領域。它讓工程師有更多的時間去做他們最擅長的事情：利用領英獨特的高度結(jié)構(gòu)化的數(shù)據(jù)集，為棘手的技術(shù)問題找到創(chuàng)造性的解決方案。

從 2014 年進入中國開始，領英不斷地探索著中國這片獨具特點的市場，在中國北京和美國硅谷從無到有，構(gòu)建了一支超過 100人的本土研發(fā)團隊，兩地團隊以“One Team”的形式協(xié)作，利用總部的技術(shù)資源優(yōu)勢，希望推動中國市場完成本地化產(chǎn)品與技術(shù)創(chuàng)新。未來領英也將進一步依靠 AI 和大數(shù)據(jù)技術(shù)升級優(yōu)化用戶體驗。如果你也想加入領英中國這支強大的研發(fā)團隊，歡迎點擊下方鏈接/掃描二維碼，查看并申請職位吧!

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。