本地部署適合以下情況:
- 電腦配置較高，有獨立顯卡。
- 有私密的數據需要處理，擔心泄密。
- 需要和本地工作流結合，處理高頻任務或復雜任務。
- 日常使用量大，調用API需要收費，本地部署能省錢。
- 想要在開源模型基礎上，做個性化的定制版本。
第一步:安裝olama本地部署
安裝ollama（理解為：一個裝AI的盒子）
1.首先在瀏覽器搜索ollama，會出現ollama官網，點擊進入。
2.進入官網后，點擊中間的Download。
3.根據自己的電腦類型，選擇不同版本。
4.下載后，點擊安裝。如果桌面出現了olama圖標，說明軟件安裝成功。圖標就是下圖的羊駝。
特別說明:最好安裝在C盤，安裝在其它盤，需要重新配置環境變量。
第二步，選擇要安裝的模型5,點擊紅框中的"Models"按鈕
7.點擊選擇deepseek-r1
8.選擇不同參數的模型這里的數字越大，參數越多，性能越強，1.5b代表模型具備15億參數。我的電腦16G顯存運行14b參數模型時，需要大約11.5G顯存。如果是1.5b版本，2G以下的顯存就可以運行，甚至不需要獨立顯卡核顯就可以。如果是32b參數的，就需要32G顯存!曰己的電腦性能選擇。
參考值如下：
下面選擇1.5b參數做示范。
9.復制命令選擇1.5b多日主中的命令"ollama run deepseek-r1:1.5b”.
第三步，安裝模型10.打開命令行同時按下鍵盤上的Win和R鍵，彈出如下窗口。
11.輸入下載命令在打開的命令行里，輸入上面復制的命令"ollama run deepseek-r1:1.5b"。
點擊鍵盤上的“Enter“鍵，模型會自動下載。
12.與模型對話下載成功后，就可以與模型對話啦。
此時大模型安裝在你的電腦上，就算斷網也可以繼續用，也不用擔心數據泄露。第四步，后續運行模型這里還有一個問題，當你關閉電腦后，下次再打開ollama。會發現點擊olama的圖標，電腦沒反應。因為你點擊圖標，只是啟動了olama，想要和大模型聊天，還是需要打開命令行。13.繼續通過命令行和大模型聊天同時按下鍵盤上的Win和R鍵，在彈出的窗口里輸入cmd，點擊確定打開命令行。在命令行界面，輸入剛剛的命令"ollama run deepseek-r1:1.5b”。因為你之前已經下載過，這次無需下載，可以直接和模型聊天。
數據投喂訓練 AI
-
下載 nomic-embed-text：在終端輸入
ollama pull nomic-embed-text回車下載 nomic-embed-text 嵌入式模型。 -
安裝 AnythingLLM：進入官網，選擇對應系統版本的安裝包進行下載。選擇 “所有用戶” 點擊下一步，可修改安裝位置，點擊完成。軟件打開后，點擊 “Get started”，點擊箭頭進行下一步，輸入工作區名稱，點擊下一步箭頭。點擊 “設置”，可設置模型、界面顯示語言等，若軟件顯示英文，可在 Customization 外觀定制里面選擇中文。
-
AnythingLLM 設置
-
LLM 首選項界面：提供商選擇 Ollama，Ollama Model 選擇前面下載的 DeepSeek - R1 系列模型 1.5b-671b，點擊 Save changes。
-
Embedder 首選項界面：嵌入引擎提供商選擇 Ollama，Ollama Embedding Mode 選擇 “nomic-embed-text”，點擊保存更改。
-
工作區設置：點擊 “工作區設置”，點擊聊天設置，工作區 LLM 提供者選擇 “Ollama”，工作區聊天模型選擇 “deepseek-r1” 模型，點擊 “Update workspace agent”。代理配置界面，工作區代理 LLM 提供商選擇 “Ollama”，工作區代理模型選擇 “deepseek-r1”，點擊 “Update workspace agent”。
-
-
數據投喂：在工作區界面，點擊 “上傳”，點擊 upload 選擇需要上傳的文件，勾選上傳的文件，點擊 “Move to Workspace”，點擊 “Save and Embed”。
相關文章
