博客 / 詳情

返回

搭建本地大模型知識庫

前言這章節主要是講如何用本地的,一個很小的大模型,搭建一個自己的知識庫,體驗一下大模型的一個知識庫的能力,還有大模型的一個檢索能力。配置Ollama模型的目錄到官網下載歐拉瑪一個大模型管理工具之後就要配置他的一個大模型的一個安裝目錄,當然也可以使用默認的
圖片
下載大模型你可以直接在這上面選擇輸入的內容模型的內容,直接下載一邊使用命令的方式
圖片
這邊是使用命令的方式,先去官網檢索搜索到對應的大模型,選擇相應的版本,複製他們的命令擔保
圖片
搜索文本bge-m3,這是其中的一個模型不用處理本地知識庫
圖片
接下來自己輸入命令也好,或者是在下拉選擇也好,把模型庫下載下來之後的就是建立知識庫了Cherry AI大模型管理平台介紹一個另外一個大模型的管理工具平台,它集成了很多個平台的大模型,你可以用接入API的方式,也可以以用導入的方式,它可以讀取本地的大模型配置
圖片
使用API的方式這次我們選擇使用硅基流動的API的方式來導入模型服務,這樣的話你就可以使用工具來進行一個訪問,當然其他的也可以,比如現在很流行的deepseek,通義千問,豆包等等。
圖片
創建知識庫
圖片
選擇一些景點的知識庫
圖片
然後把這些文檔添加到知識庫裏面
圖片

圖片
接着進行文本的時候就可以添加對應的知識庫了
圖片
當你進行提問的時候,他會自動去解鎖知識庫優先使用知識庫裏面的內容,我選的這個模型是比較小的,所以整體而言,他的提問的質量不是特別的高
圖片
總結主要是介紹一種本地搭建知識庫的方式,體驗一下大模型的一個輕量化小型化的一個體驗方式,當然也可以用來進行微調,比起供網上面的大模型,這個差距太多了,這個是一個很小的一個模型,只是用來感受一下大模型。

user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.