@oneapi / 博客 RSS 訂閱

Sep 03 2024

hhyuuu - 利用docker本地部署LLM+通過oneapi鏈接LLM和自建知識庫

1、前言 1.1、要求 本演示採用的windows進行部署，後續會介紹linux的演示，如果在linux系統下熟練了docker和docker-compose的使用，那麼自行舉一反三也很不難 要求1：如果使用的是雲端服務器，那麼至少CPU為4核8g才能勉強帶動，否則輕則問答時間長，重則docker崩潰，乃至遠程連接崩潰，一般個人計算機都能達到要求 要求2：對docker和docker-

llm , oneapi , docker-compose , embedding , 大模型

收藏 評論

Sep 22 2024

hhyuuu - docker雲部署自建知識庫的ai微信機器人（易上手很詳細）

1、前言 1.1、介紹 本次演示採用的是2核2g Ubunto系統，無內置鏡像的華為雲服務器 推薦使用騰訊雲輕量雲服務器docker鏡像，可以省去前面第二節步驟,如果還是境外服務器更方便了 1.2、注意事項 需要有linux基礎，有用過docker的經驗，當然沒用過跟着做就行 本文檔每一步都有演示，請認真看完文字描述 2、搭建docker環境 2.1、docker和docker-com

llm , oneapi , docker-compose , chatgpt , Docker

收藏 評論

Sep 04 2024

hhyuuu - 自建知識庫+調用大模型api+接入微信體驗製作簡易微信機器人(智能客服)

1、前言 1.1、整體配置 本地windows個人計算機:用來跑向量模型和搭建運行docker容器 星火的spark max模型api接口(有高額免費的tokens使用) 1.2、介紹 不會在詳細講述docker-compose配置、ollama等使用，上一篇文章有具體説明。 基於github上的chatgpt-on-wechat項目實現。 本次演示最後結果只是能跑通，看到效果，

llm , oneapi , wechatapi , docker-compose , embedding

收藏 評論