tag llm

標籤
貢獻50
178
12:33 PM · Oct 26 ,2025
deephub 頭像 dayong_59b0e68b1ed0d 頭像 lab4ai 頭像 openbayescom 頭像 weidejianpan 頭像 huandanshendeshoushudao 頭像 baihai_idp 頭像 digitalocean 頭像 haixiudewudongmian 頭像 chaoshenjinghyperai 頭像 kaizx 頭像 openfuyao 頭像

@llm / 博客 RSS 訂閱

deephub 頭像

deephub - RAG系統的隨機失敗問題排查：LLM的非確定性與表格處理的工程實踐

RAG教程裏説的流程是：分塊、嵌入、向量搜索、生成答案。看起來非常簡單，按這個思路搭了一套系統，測試沒問題就上線了。但是結果出了怪事，經常會隨機的失敗。 輸入一樣，但是輸出卻不一樣，而且這不是偶發，是還有一定的規律，這是怎麼回事呢？ 本文將介紹RAG在真實場景下為什麼會崩，底層到底有什麼坑，以及最後需要如何修改。 🚨 現象：測試結果飄忽不定 一套端到端的PDF處理管道，專門針對表格密集型文檔。比

generative-ai , llm , 人工智能 , 檢索系統

收藏 評論

kaizx 頭像

KAI智習 - 大模型榜單週報（2025/12/27）

1. 本週概覽 本週大模型領域持續涌現創新成果，數學、編程和多模態能力均出現顯著進展。字節推出數學模型Seed Prover 1.5，在國際數學奧林匹克競賽中取得金牌線成績，而智譜AI開源GLM-4.7在多項評測中超越GPT-5.1。MiniMax的M2.1編碼模型以10B激活參數創下多語言軟件工程能力新高，北航提出的代碼模型Scaling Laws為最優數據配比提供理論基礎。 2. 重點關注事件

llm , 人工智能

收藏 評論

deephub 頭像

deephub - LMCache：基於KV緩存複用的LLM推理優化方案

LLM推理服務中，（Time-To-First-Token） 一直是個核心指標。用户發起請求到看見第一個token輸出，這段時間越短體驗越好，但實際部署中往往存在各種問題。 LMCache針對TTFT提出了一套KV緩存持久化與複用的方案。項目開源，目前已經和vLLM深度集成。 原理 大模型推理有個特點：每次處理輸入文本都要重新計算KV緩存。KV緩存可以理解為模型"閲讀"文本時產生的中間狀態

llm , 人工智能 , 深度學習 , kv存儲

收藏 評論

openbayescom 頭像

OpenBayes - OpenBayes 一週速覽丨MiniCPM-V4.0圖像理解能力突破；MathCaptcha10K助力訓練驗證碼識別模型

公共資源速遞 5 個公共數據集： HelpSteer3 人類偏好數據集 A-WetDri 惡劣天氣駕駛數據集 NonverbalTTS 非語言音頻生成數據集 STRIDE-QA-Mini 自動駕駛問答數據集 MathCaptcha10k 算數驗證碼圖像數據集 5 個公共教程： dots.ocr：多語言文檔解析模型 MiniCPM-V4.0：極致高效的端側大模型 llama.c

llm , 數學 , 自然語言處理 , 解碼 , 視頻處理

收藏 評論

weidejianpan 頭像

商湯萬象開發者 - UniParse：讓多模態模型真正“讀懂”文檔的解析引擎

在多模態大模型迅速發展的今天，我們已經能讓模型"看圖説話"，甚至"讀懂表格"，但要讓模型真正理解複雜的文檔結構（例如在PDF中準確識別章節、表格、公式與圖像的邏輯關係）依然是一個未被徹底解決的問題。 UniParse正是為此而生：它是一款面向AI應用的通用文檔解析工具 ，旨在將文檔中的非結構化內容轉化為結構化語義信息，使多模態模型能夠高效、精準地理解和利用文檔內容。 本文將從技術視角介紹U

llm , 文檔分析 , 教程 , 內容管理 , 人工智能

收藏 評論

digitalocean 頭像

DigitalOcean - 開源視頻生成新標杆：美團LongCat Video全面解析與實戰指南

今年涌現了大量新的視頻模型，可以説 2025 年是視頻建模真正主導公眾對 AI 技術興趣的第一年。隨着 Sora 2 的普及，這一點變得越來越清晰。得益於 OpenAI 的一系列移動應用程序，獲取視頻生成工具的可能性與普及度達到了前所未有的高度。但閉源模型並非本文的重點，而這些模型的開源競爭實際上正變得比以往任何時候都更加令人印象深刻。 今年早些時候，HunyuanVideo 和 Wan2.1 以

llm , 教程 , 人工智能 , 開源

收藏 評論

lab4ai 頭像

Lab4AI - NeurIPS 2025！電子科大同濟等提出Table2LaTeX-RL：表格轉 LaTeX 精準度再突破

論文標題：Table2LaTeX-RL: High-Fidelity LaTeX Code Generation from Table Images via Reinforced Multimodal Language Models 作者團隊：電子科技大學、浙江實驗室科學數據樞紐研究中心、同濟大學 發佈時間：2025年9月22日 👉一鍵直達論文 👉Lab4AI大模型實驗室論文閲讀 ✅Lab

機器學習 , llm , 人工智能

收藏 評論

haixiudewudongmian 頭像

hhyuuu - 利用docker本地部署LLM+通過oneapi鏈接LLM和自建知識庫

1、前言 1.1、要求 本演示採用的windows進行部署，後續會介紹linux的演示，如果在linux系統下熟練了docker和docker-compose的使用，那麼自行舉一反三也很不難 要求1：如果使用的是雲端服務器，那麼至少CPU為4核8g才能勉強帶動，否則輕則問答時間長，重則docker崩潰，乃至遠程連接崩潰，一般個人計算機都能達到要求 要求2：對docker和docker-

llm , oneapi , docker-compose , embedding , 大模型

收藏 評論

gpustack 頭像

GPUStack - GPUStack v2：推理加速釋放算力潛能，開源重塑大模型推理下半場

2025 年是大模型推理技術發展的關鍵之年。自年初 DeepSeek R1 發佈引發全民關注以來，推理框架加速需求暴漲，推理優化的戰場驟然升温。以 vLLM、SGLang、MindIE 為代表的高性能推理引擎，以及 FlashInfer、FlashAttention、ATB 等底層加速庫不斷突破性能瓶頸，相比年初，部分前沿框架的推理性能提升已達 3 到 4 倍以上。 隨着 Agent 應用的爆發和

generative-ai , llm , 容器 , 人工智能 , 深度學習

收藏 評論

openfuyao 頭像

openFuyao - openFuyao兩大核心項目獲得GitCode G-Star認證 社區生態邁向成熟

近日，openFuyao開源社區兩大核心項目【openFuyao/ai-inference-integration】與【openFuyao/kubernetes】成功斬獲GitCode官方G-Star項目認證，入選GitCode G-Star計劃優質項目。此次雙項目同步“畢業”，不僅是對openFuyao技術實力與社區運營能力的權威認可，更標誌着社區已形成“貢獻者激勵-技術迭代-場景落地”的良性閉

llm , kubernetes

收藏 評論

kaizx 頭像

KAI智習 - OpenAI探索廣告變現與人才佈局，千問引領AI生態變革，Trae月活破160萬

今天AI行業動態涵蓋OpenAI商業化探索與人才佈局、中國AI大模型市場突破、字節AI編程工具數據亮眼、AI安全問題引發關注等多項重要內容，一起來看今天的AI行業動態。 1. OpenAI探索商業化與人才佈局：ChatGPT廣告模式與AI防災負責人招聘 核心事件：OpenAI在商業化和人才佈局方面採取多項關鍵舉措，包括探索ChatGPT廣告模式和緊急招聘AI防災負責人。 技術細節：OpenAI確認

llm , 資訊 , 人工智能

收藏 評論

deephub 頭像

deephub - AI Agent工作流實用手冊：5種常見模式的實現與應用，助力生產環境穩定性

很多人認為使用AI Agent就是直接扔個提示詞過去，然後等結果。做實驗這樣是沒問題的，但要是想在生產環境穩定輸出高質量結果，這套玩法就不行了。 核心問題是這種隨意的提示方式根本擴展不了。你會發現輸出結果亂七八糟，質量完全不可控，還浪費計算資源。 真正有效的做法是設計結構化的Agent工作流。 那些做得好的團隊從來不指望一個提示詞解決所有問題。他們會把複雜任務拆解成步驟，根據不同輸入選擇合適的模型

llm , 神經網絡 , 人工智能 , 深度學習

收藏 評論

u_16213597 頭像

mob64ca13fba42b - 看MindSpore加持下，如何「煉出」首個千億參數中文預訓練語言模型？ - 華為雲開發者社區的個人空間 -

AsyPPO: 輕量級mini-critics如何提升大語言模型推理能力 大型語言模型強化學習訓練面臨計算瓶頸，傳統對稱actor-critic架構導致critic模型參數量巨大，訓練成本高昂。本文介紹的Asymmetric Proximal Policy Optimization (AsyPPO)算法通過創新的非對稱架構設計，使用輕量級mini-

llm , 語言模型 , 自然語言處理 , 後端開發 , 人工智能 , Agentic , Python

收藏 評論

deephub 頭像

deephub - 向量搜索升級指南：FAISS 到 Qdrant 遷移方案與代碼實現

FAISS 在實驗階段確實好用，速度快、上手容易，notebook 裏跑起來很順手。但把它搬到生產環境還是有很多問題： 首先是元數據的問題，FAISS 索引只認向量，如果想按日期或其他條件篩選還需要自己另外搞一套查找系統。 其次它本質上是個庫而不是服務，讓如果想對外提供接口還得自己用 Flask 或 FastAPI 包一層。 最後最麻煩的是持久化，pod 一旦掛掉索引就沒了，除非提前手動存盤。 Q

llm , 向量 , 人工智能 , 檢索系統

收藏 評論

openbayescom 頭像

OpenBayes - OpenBayes 一週速覽丨李沐團隊開源語音大模型Higgs Audio V2，擴展多語言對話等功能

公共資源速遞This Weekly Snapshots ！ 5 個公共數據集： B3DB 生物基準數據集 PolyMath 數學推理數據集 SongEval 音樂評估數據集 MegaScience 科學推理數據集 WebInstruct-verified 多領域推理數據集 4 個公共模型： gpt-oss-20b gpt-oss-120b Qwen3-30B-A3B-Inst

llm , 圖像識別 , 數學 , 自然語言處理 , chatgpt

收藏 評論

openfuyao 頭像

openFuyao - openFuyao信息直升機 | 第5期：一文了解“高性能AI推理服務化框架”

業務痛點： AI推理是AI領域中將大模型轉化為應用效果與商業價值的核心技術，但在實際生產部署中仍然面臨着多樣化算力場景下的效率低與可部署性成本高，高併發、長上下文LLM推理場景中的性能和資源利用率瓶頸。 根因分析： 用户體驗與資源效率瓶頸：當前長上下文LLM推理的首Token延時普遍在數百毫秒至秒級，且長上下文場景下KV緩存顯存佔用呈線性增長，嚴重製約Agent的響應效率與部署規模；傳統靜態批

llm , 人工智能 , 開源項目介紹

收藏 評論

deephub 頭像

deephub - ReSearch：基於強化學習的大語言模型推理搜索框架

ReSearch是一種創新性框架，通過強化學習技術訓練大語言模型執行"推理搜索"，無需依賴推理步驟的監督數據。該方法將搜索操作視為推理鏈的有機組成部分，其中搜索的時機與方式由基於文本的推理過程決定，而搜索結果進一步引導後續推理。研究分析表明，ReSearch在強化學習訓練過程中自然地形成了高級推理能力，包括反思與自我糾正機制。 技術方法 ReSearch的訓練架構概述 與傳統的僅包含文本推理的推

llm , 搜索 , 人工智能 , 深度學習

收藏 評論

deephub 頭像

deephub - 自愈型RAG系統：從脆弱管道到閉環智能體的工程實踐

RAG系統在生產環境中有個老大難問題：脆弱。演示時用精心準備的問題去問，效果看起來很驚豔。但真正上線後，用户的問題五花八門，向量數據庫返回的文檔語義上相似但實際答非所問，LLM又特別喜歡討好，拿着一堆噪音數據照樣能編出一套看似合理的答案。 那麼問題出在哪呢？標準RAG是典型的開環架構：輸入 → 嵌入 → 檢索 → 生成，一條線走到底。每個環節都假設上游輸出是完美的，一旦某步出錯，錯誤就會一路傳導到

llm , 教程 , 人工智能 , Python

收藏 評論

lab4ai 頭像

Lab4AI - StackOverflow已經死亡了嗎

StackOverflow已經死亡了嗎 最近，一張有趣的圖片在X平台上引發了程序員社區的熱烈討論。用户@_devJNS將StackOverflow比作《忍者神龜》中的斯普林特大師，而ChatGPT、Claude、DeepSeek和Gemini則化身為新一代忍者。配文直擊靈魂：“StackOverflow官方已經死亡了嗎？”。這不僅是一句調侃，更折射出技術社區對這一經典問答平台的關注度下降和AI崛起

機器學習 , llm , 算法 , 人工智能

收藏 評論

openfuyao 頭像

openFuyao - openFuyao 社區 2025 年 11 月運作報告

11月概述 2025年11月，openFuyao社區持續穩健發展，在技術、生態等方面均取得一些進展，展現出良好的技術創新力與蓬勃的社區活力。 技術演進方面，v25.12版本已完成社區特性導入，並進入主體開發階段。多項關鍵特性取得實質性進展：社區發行版支持超大規模集羣；社區支持大版本升級；K8s組件實現自定義簽發策略和K8s組件獨立kubeconfig；高性能AI推理服務化框架子系統構建和集成。

llm , 人工智能

收藏 評論

huandanshendeshoushudao 頭像

慧星雲 - 製作一個3D建模只需10秒:騰訊發佈3D開源模型“混元3D”

混元3D模型 騰訊在科技領域投下一顆重磅炸彈，宣佈推出混元3D生成大模型“hunyuan3d-1.0”，這是業界首個同時支持文字、圖像生成3D的開源模型。它具有生成速度快、泛化能力強、可控性好等特點，直接引起了AI界眾人的關注。 混元3D-1.0 混元3D生成效果 Hunyuan3D-1.0是3D生成開源界首個同時支持文字、圖像轉3D的模型，效果達到SOTA級別。該模型採用兩階段生

llm , 雲平台 , 騰訊 , 雲計算 , 人工智能

收藏 評論

gpustack 頭像

GPUStack - GPUStack Windows（WSL2）部署指南

GPUStack v2 以高性能推理與生產級穩定性為核心演進方向，對整體架構進行了全面重構，實現了組件間的靈活解耦，並對多推理引擎和異構算力進行了深度優化，充分釋放推理引擎在吞吐、延遲與併發方面的性能潛力。 基於這一架構設計，GPUStack v2 聚焦 Linux 原生環境，以充分利用其在生態和 AI 基礎設施領域的成熟優勢。 對於 Windows 用户，推薦通過 WSL2（Windows Su

generative-ai , llm , 人工智能 , Docker

收藏 評論

deephub 頭像

deephub - Pydantic-DeepAgents：基於 Pydantic-AI 的輕量級生產級 Agent 框架

DeepAgents的靈感源自 LangChain deepagents，但在設計上更做減法，它強調類型安全且內置了 Docker 沙箱 2025 年的Autonomous AI Agents早就不是實驗室裏的花架子了。在現實世界的自動化流程、代碼生成工具、數據管道以及各類智能助手中都能看到它們的身影。 現在的很多主流 Agent 框架越來越重。為了用上 Agent，你往往得引入一堆沉重的

llm , agent , 人工智能 , 深度學習

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 【新模型速遞】PAI-Model Gallery雲上一鍵部署MiniMax-M1模型

MiniMax-M1 模型是由 MiniMax 公司6月17日全新推出的大語言模型，使用hybrid Mixture-of-Experts (MoE) 架構，並使用了 lightning attention 機制。 MiniMax 公司稱其為世界上第一個開源的大規模混合架構的推理模型。 MiniMax-M1 模型原生支持 1 百萬個 token 的上下文長度， 並且 lightning atten

llm , 大數據處理 , 雲計算 , 人工智能 , 模型

收藏 評論