@kv存儲 / 博客 RSS 訂閱

Dec 09 2025

deephub - LMCache：基於KV緩存複用的LLM推理優化方案

LLM推理服務中，（Time-To-First-Token） 一直是個核心指標。用户發起請求到看見第一個token輸出，這段時間越短體驗越好，但實際部署中往往存在各種問題。 LMCache針對TTFT提出了一套KV緩存持久化與複用的方案。項目開源，目前已經和vLLM深度集成。 原理 大模型推理有個特點：每次處理輸入文本都要重新計算KV緩存。KV緩存可以理解為模型"閲讀"文本時產生的中間狀態

llm , 人工智能 , 深度學習 , kv存儲

收藏 評論

Jul 20 2025

kalii - MySQL高可用方案

一 主從異步複製（MySQL 默認方案） master binlog 實時複製到 slave 的 relay-log 重放 存在延時 優勢 對 master 無影響，支持 master 掛載多個 slave，同時 slave 也可以繼續掛着載 slave（級聯複製） slave 中斷重連可以從記錄的 binlog 最後位置繼續複製 缺點

MySQL , 數據庫 , 高可用 , kv存儲 , 後端

收藏 評論

Aug 24 2023

dubbo_go - What's new in Pika v3.5.0

時隔兩年，Pika 社區正式發佈經由社區 50 多人蔘與開發並在 360 生產環境驗證可用的 v3.5.0 版本，新版本在提升性能的同時，也支持了 Codis 集羣部署，BlobDB KV 分離，增加 Exporter 等新特性。 我們將詳細介紹該版本引入的重要新特性。 1 去除 Rsync 在 v3.5.0 版本之前，Pika 使用 Rsync 工具進行引擎中存量數據的同步，Pika 進程啓動時

redis-cluster , redis , pika , redis集羣 , kv存儲

收藏 評論

Aug 13 2025

超神經HyperAI - 【vLLM 學習】Lora With Quantization Inference

vLLM 是一款專為大語言模型推理加速而設計的框架，實現了 KV 緩存內存幾乎零浪費，解決了內存管理瓶頸問題。 更多 vLLM 中文文檔及教程可訪問 →https://vllm.hyper.ai/ *在線運行 vLLM 入門教程：零基礎分步指南 源碼examples/offline_inference/lora_with_quantization_inference.py # SPDX-Licen

llm , 內存管理 , kv存儲 , 量化 , Python

收藏 評論

Nov 05 2025

超神經HyperAI - 【vLLM 學習】Mistral-small

vLLM 是一款專為大語言模型推理加速而設計的框架，實現了 KV 緩存內存幾乎零浪費，解決了內存管理瓶頸問題。 更多 vLLM 中文文檔及教程可訪問 →https://vllm.hyper.ai/ *在線運行 vLLM 入門教程：零基礎分步指南 源碼examples/offline_inference/mistral-small.py # SPDX-License-Identifier: Apac

llm , 內存管理 , 零基礎 , 源碼 , kv存儲

收藏 評論