最近這段是時間ChatGPT是大家的關注焦點，不過ChatGPT雖然強大、好用，但存在不少限制，比如：訪問麻煩、不支持私有化部署……這些問題也間接帶動了大量的類ChatGPT服務，以及各種開源方案，基于PrivateGPT衍生的localGPT就是其中之一。
localGPT支持和本地文檔內(nèi)容進行交互，可實現(xiàn)對本地的文檔進行檢索問答。根據(jù)官方主頁的介紹，localGPT主要使用Vicuna-7B模型替換了GPT4ALL模型，并使用InstructorEmbeddings代替原始privateGPT中使用的LlamaEmbeddings。而且，Embeddings和LLM都可在GPU上運行，支持CPU。
不過，由于localGPT采用的是私有化部署方式，在沒有固定公網(wǎng)IP、不方便設置路由、網(wǎng)關的環(huán)境下，如何才能快速解決遠程訪問需求呢?
答案之一就是使用貝銳花生殼這樣的內(nèi)網(wǎng)穿透工具，實現(xiàn)localGPT這類私有化部署服務的遠程訪問，無需公網(wǎng)IP、無需搭建專線，甚至不需要設置路由、網(wǎng)關就能一鍵穿透。值得一提的是。另外，貝銳花生殼還提供了企業(yè)級的服務方案，除了測試用途，它還能滿足實際多用戶訪問的使用場景。
以遠程訪問自帶WebUI的localGPT服務(github項目：PromtEngineer/localGPT)為例：
1-1.安裝Python 3.10以上環(huán)境后，將localGPT項目拉取到本地，運行pip install -r requirements.txt即可自動安裝，如果遇到錯誤可參考項目主頁下方的System Requirements部分進行解決。
1-2.隨后，將需要使用的文檔放置在SOURCE_DOCUMENTS目錄，執(zhí)行python ingest.py命令提取數(shù)據(jù)，完成后即可運行python run_localGPT_API.py，并進入/LOCALGPT/localGPTUI，使用python localGPTUI.py命令啟動WebUI。
此時，localGPT只能通過本地局域網(wǎng)IP地址+端口號的形式訪問，比如：127.0.0.1:5111，實現(xiàn)遠程訪問還需搭配貝銳花生殼內(nèi)網(wǎng)穿透。
2-1.在貝銳官網(wǎng)下載對應系統(tǒng)的客戶端，然后注冊、登錄。
2-2.在貝銳花生殼主界面根據(jù)引導新增映射，填入localGPT WebUI的局域網(wǎng)IP和端口等信息即可。
添加完映射后，貝銳花生殼會自動生成可以遠程訪問的域名地址，通過這一地址，遠程手機、電腦就能直接訪問在內(nèi)網(wǎng)環(huán)境部署的localGPT WebUI。
總體來說，利用貝銳花生殼來實現(xiàn)localGPT Web UI的遠程訪問，是一種非常快速且高效的部署方案，在滿足服務私有化部署的同時，可以不用任何復雜設置、在沒有公網(wǎng)IP的情況下低成本實現(xiàn)遠程訪問，如果正好有類似需求不妨可以參考了。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
