博客 / 列表

deephub - 從零實現3D Gaussian Splatting:完整渲染流程的PyTorch代碼詳解

3D Gaussian Splatting（3DGS）現在幾乎成了3D視覺領域的標配技術。NVIDIA把它整合進COSMOS，Meta的新款AR眼鏡可以直接在設備端跑3DGS做實時環境捕獲和渲染。這技術已經不只是停留在論文階段了，產品落地速度是相當快的。 所以這篇文章我們用PyTorch從頭實現最初那篇3DGS論文，代碼量控制在幾百行以內。雖然實現很簡潔但效果能達到SOTA水平。 需要説明的是，

pytorch , 人工智能 , 深度學習

deephub - 提升迴歸模型可信度：4種神經網絡不確定性估計方法對比與代碼實現

迴歸任務在實際應用中隨處可見——天氣預報、自動駕駛、醫療診斷、經濟預測、能耗分析，但大部分迴歸模型只給出一個預測值，對這個值到底有多靠譜卻隻字不提。這在某些應用場景下會造成很多問題，比如用模型預測患者血壓，假設輸出是120/80這樣的正常值，表面看沒問題。但如果模型其實對這個預測很不確定呢？這時候光看數值就不夠了。 神經網絡有幾種方法可以在給出預測的同時估計不確定性。 迴歸中的不確定性問題 分類任

神經網絡 , 人工智能 , 深度學習 , Python

deephub - 如果你的PyTorch優化器效果欠佳,試試這4種深度學習中的高級優化技術吧

在深度學習領域，優化器的選擇對模型性能至關重要。雖然PyTorch中的標準優化器如 SGD 、 Adam 和 AdamW 被廣泛應用，但它們並非在所有情況下都是最優選擇。本文將介紹四種高級優化技術，這些技術在某些任務中可能優於傳統方法，特別是在面對複雜優化問題時。 我們將探討以下算法： 序列最小二乘規劃（SLSQP） 粒子羣優化（PSO） 協方差矩陣自適應進化策略（CMA-ES） 模擬退

神經網絡 , pytorch , 人工智能 , 深度學習 , 優化

deephub - 使用PyTorch實現GPT-2直接偏好優化訓練：DPO方法改進及其與監督微調的效果對比

基於人類反饋的強化學習(RLHF)已成為大型語言模型(LLM)訓練流程中的關鍵環節，並持續獲得研究界的廣泛關注。 本文將探討RLHF技術，特別聚焦於直接偏好優化(Direct Preference Optimization, DPO)方法，並詳細闡述了一項實驗研究：通過DPO對GPT-2 124M模型進行調優，同時與傳統監督微調(Supervised Fine-tuning, SFT)方法進行對比

機器學習 , llm , pytorch , 人工智能 , 優化

deephub - TorchOptimizer：基於貝葉斯優化的PyTorch Lightning超參數調優框架

超參數優化是深度學習模型開發過程中的一個核心技術難點。合適的超參數組合能夠顯著提升模型性能，但優化過程往往需要消耗大量計算資源和時間。本文介紹TorchOptimizer，這是一個基於貝葉斯優化方法的超參數優化框架，專門用於優化PyTorch Lightning模型的超參數配置。 TorchOptimizer是一個集成了PyTorch Lightning框架和scikit-optimize貝葉斯

機器學習 , pytorch , 人工智能 , 深度學習 , 優化

deephub - Python高性能編程：五種核心優化技術的原理與Python代碼

在性能要求較高的應用場景中，Python常因其執行速度不及C、C++或Rust等編譯型語言而受到質疑。然而通過合理運用Python標準庫提供的優化特性，我們可以顯著提升Python代碼的執行效率。本文將詳細介紹幾種實用的性能優化技術。 1、__slots__機制：內存優化 Python默認使用字典存儲對象實例的屬性，這種動態性雖然帶來了靈活性，但也導致了額外的內存開銷。通過使用 __slots_

機器學習 , 人工智能 , 優化 , Python

deephub - Optuna v4.5新特性深度解析：GPSampler實現約束多目標優化

Optuna在8月18日發佈了最近的 v4.5版，加入了GPSampler的約束多目標優化功能，我們來看看這個新的功能。 基於高斯過程的貝葉斯優化（GPBO）最近幾年在材料科學、機器學習等領域應用很廣。GPSampler最初設計時就想做一個簡單好用的GPBO實現。雖然在定製方面（比如核函數、獲取函數）沒有BoTorch和Ax那麼靈活，但GPSampler勝在速度快，依賴少。 早期版本的GPSamp

機器學習 , 貝葉斯 , 教程 , 人工智能 , 優化

deephub - Google開源Tunix：JAX生態的LLM微調方案來了

JAX生態這兩年在LLM訓練這塊追趕得挺快。PyTorch雖然還是主流但JAX在並行計算、TPU加速和API組合性上確實有些獨特的優勢。Google今天放出了Tunix這個庫，專門做LLM的後訓練——微調、強化學習、知識蒸餾這些都能搞。 Tunix是什麼 這是個構建在JAX之上的後訓練庫，和Flax NNX集成得比較緊密。主要解決三類問題： 監督微調（Supervised Fine-T

llm , jax , google , 人工智能 , 深度學習

deephub - LangChain v1.0 中間件詳解：徹底搞定 AI Agent 上下文控制

用 LangChain 構建 AI Agent 的人應該都遇到過這種情況：測試階段一切正常，部署到生產環境就開始出各種問題。上下文管理混亂，Agent 的行為變得難以預測，最後不得不寫一堆自定義代碼來控制信息流向。 這是因為在v1.0 之前的 LangChain 對上下文工程的支持不夠系統化。上下文工程的本質其實就是信息管理——給 AI 多少信息、什麼時候給、以什麼方式給。信息過載會導致模型困惑，

llm , 資訊 , 人工智能 , 深度學習 , llama

deephub - FastMCP 入門：用 Python 快速搭建 MCP 服務器接入 LLM

Model Context Protocol (MCP) 這個協議簡單説就是給大語言模型接入外部數據和工具提供了一套標準化方案。MCP 統一了模型和各種數據源、工具服務之間的交互方式。 FastMCP 是目前用 Python 構建 MCP 服務器最順手的框架，把底層那些複雜的協議實現全都封裝好了，開發者只需要關注業務邏輯就行。 這篇文章會講清楚 MCP 的基本概念，FastMCP 的工作原理，以及

llm , mcp , 人工智能 , Python

deephub - 解決GRPO優勢歸因錯誤,Chunk-GRPO讓文生圖模型更懂"節奏"

文本到圖像(T2I)生成模型的發展速度超出很多人的預期。從SDXL到Midjourney,再到最近的FLUX.1,這些模型在短時間內就實現了從模糊抽象到逼真細膩的跨越。但問題也隨之而來——如何讓模型生成的不僅僅是"一張圖",而是"正確的那張圖"？這涉及到如何讓AI理解人類在審美、風格和構圖上的真實偏好。 強化學習(RL)成為解決這個問題的關鍵技術。通過將人類偏好分數作為獎勵信號,可以對這些大模型進

generative-ai , llm , 強化學習 , 知識 , 人工智能

deephub - 打造自己的 Claude Code：LangGraph + MCP 搭建一個極簡的 AI 編碼助手

實踐是最好的學習方式。為了深入理解 LangGraph 和模型上下文協議（MCP）服務器的生態，我們來從零開始構建一個 CLI 編碼代理。我們的目標是，拋開 Claude Code 那些花裏胡哨的功能，看看最基礎的編碼代理能做到什麼程度。 那些商業編碼代理往往會添加各種專有的"秘密配方"——特殊的上下文管理、精心設計的提示策略、優化過的工具選擇算法。這些技術細節被包裝得嚴嚴實實，很難

llm , 人工智能 , 深度學習 , claude , Python

deephub - sklearn 特徵選擇實戰：用 RFE 找到最優特徵組合

特徵越多模型效果就越好？這個想法在實踐中往往站不住腳，因為過多的特徵反而會帶來過擬合、訓練時間過長、模型難以解釋等一堆麻煩。遞歸特徵消除(RFE)就是用來解決這類問題的，算是特徵選擇裏面比較靠譜的方法之一。 本文會詳細介紹RFE 的工作原理，然後用 scikit-learn 跑一個完整的例子。 RFE 是什麼 遞歸特徵消除本質上是個反向篩選過程。它會先用全部特徵訓練模型，然後根據模型給出的重要性評

機器學習 , 人工智能 , sklearn-pandas , 特徵提取 , Python

deephub - 構建有記憶的 AI Agent：SQLite 存儲 + 向量檢索完整方案示例

現在的 Agent 系統有個很明顯的問題 —— 會話一結束，什麼都忘了。 這不是個技術缺陷，但是卻限制了整個系統的能力邊界。Agent 可以做推理、規劃、執行復雜任務，但就是記不住之前發生過什麼。每次對話都像是第一次見面，這種狀態下很難説它真正"理解"了什麼。 記憶能力是把 LLM 從簡單的問答工具變成真正協作夥伴的關鍵。一個只能"回答當前問題"，另一個能"基於歷史經驗做決策"，這就是增加了記憶能

generative-ai , llm , 教程 , 人工智能

deephub - Optuna AutoSampler 更新：讓多目標和約束優化不再需要手動選算法

AutoSampler是個智能採樣器，能根據具體問題自動挑選 Optuna 裏最合適的優化算法。這個工具在 OptunaHub 上熱度很高，每週下載量超過 3 萬次。最早的版本對單目標優化做了專門的自動選擇邏輯，為了配合下個月發佈的 Optuna v4.6，AutoSampler 終於把多目標和約束優化的完整支持做完了。這篇文章會講清楚新功能怎麼用，順帶看看基準測試的表現如何。最新版本其實現在就能

機器學習 , 人工智能 , Python

deephub - 大模型強化學習的熵控制：CE-GPPO、EPO與AsyPPO技術方案對比詳解

LLM的強化學習訓練最近進展很快，SOTA模型在各種推理benchmark上的表現確實亮眼。但更值得關注的其實是另一條信息——從Rutgers到Alibaba再到HKUST，這些研究團隊正在攻克的是RL領域的一個老大難：怎麼控制好熵，同時避免模型退化成毫無用處的確定性輸出。 三篇新論文給出了不同角度的解法：CE-GPPO、EPO和AsyPPO。雖然切入點各有不同，但合在一起就能發現它們正在重塑大規

llm , 強化學習 , 人工智能 , 深度學習

deephub - Pandas 缺失值最佳實踐：用 pd.NA 解決缺失值的老大難問題

做數據處理的都知道，一個 NaN 就能讓整個數據清洗流程崩盤。過濾條件失效、join 結果錯亂、列類型莫名其妙變成 object——這些坑踩過的人應該都有所體會。而Pandas 引入的可空數據類型（nullable dtypes）就是來幫我們填這個坑的。 現在整數列終於能表示缺失了，布爾列不會再退化成 object，字符串列的行為也更可控，這樣我們代碼的邏輯可以變得更清晰。 NumPy 整數類型

機器學習 , numpy , 人工智能 , pandas , Python

deephub - 如何生成逼真的合成表格數據：獨立採樣與關聯建模方法對比

在數據科學的實際工作中，我們經常會遇到這樣的情況：手頭的真實數據要麼不夠用，要麼因為隱私合規問題無法直接使用，但這些數據往往包含重要的統計規律，但直接拿來做實驗或測試卻十分的麻煩。 這時候合成數據就派上用場了，簡單説就是根據現有數據集的分佈特徵，人工創造出任意數量的新數據行，讓這些"假數據"在統計意義上跟真實數據無法區分。聽起來像是是在"造假"，但實際上這是一項真正的技術活——既要保證數據的真實性

機器學習 , 數據挖掘 , 人工智能 , Python

deephub - AutoGen框架入門:5個核心概念搭建智能體協作系統

AutoGen 是微軟研究院開源的多智能體 AI 系統框架。這個框架的設計思路很簡單——讓多個 AI 智能體（加上人類參與）在對話中完成複雜任務的協作和推理。 你甚至可以把它理解成一個團隊聊天室，智能體們在裏面討論、爭論、協作，最終得出解決方案。 AutoGen 通過創建多個專門化智能體，為每個智能體設定自己的角色、目標，來達到上面説的聊天能力，並且還能通過配置工具來獲得代碼執行能力。智能

llm , agent , 人工智能 , 深度學習 , Python

deephub - HNSW算法實戰：用分層圖索引替換k-NN暴力搜索

向量檢索是整個RAG管道的一個重要的步驟，傳統的暴力最近鄰搜索因為計算成本太高，擴展性差等無法應對大規模的搜索。 HNSW（Hierarchical Navigable Small World，分層可導航小世界圖）提供了一種對數時間複雜度的近似搜索方案。查詢時間卻縮短到原來的1/10，我們今天就來介紹HNSW算法。 傳統搜索方法在高緯度下會崩潰，並且最近鄰搜索（NNS）的線性時間複雜度讓成本變得不

llm , 人工智能 , 檢索系統 , Python

deephub - vLLM 性能優化實戰：批處理、量化與緩存配置方案

很多團隊把它vLLM 當 demo 跑，但是其實這沒把它系統能力發揮出來。這篇文章將介紹怎麼讓 vLLM 真正幹活——持續輸出高令牌/秒，哪些參數真正有用，以及怎麼在延遲和成本之間做取捨。 先説 vLLM 到底好在哪 vLLM 提供 OpenAI 兼容的 API，核心是 continuous batching 加上 PagedAttention。PagedAttention 用分頁管理 K

神經網絡 , 教程 , 人工智能 , 深度學習 , llama

deephub - LLM安全新威脅：為什麼幾百個毒樣本就能破壞整個模型

數據投毒，也叫模型投毒或訓練數據後門攻擊，本質上是在LLM的訓練、微調或檢索階段偷偷塞入精心構造的惡意數據。一旦模型遇到特定的觸發詞，就會表現出各種異常行為——輸出亂碼、泄露訓練數據、甚至直接繞過安全限制。 這跟提示注入完全是兩碼事。提示注入發生在推理階段，屬於臨時性攻擊；而投毒直接改寫了模型的權重，把惡意行為永久刻進了模型裏。 幾種主流的攻擊方式 預訓練投毒最隱蔽，攻擊者把惡意文檔混進海量的預訓

llm , 教程 , 知識 , 人工智能

deephub - 斯坦福ACE框架：讓AI自己學會寫prompt，性能提升17%成本降87%

斯坦福和SambaNova AI最近聯合發了一篇論文，Agentic Context Engineering (ACE)。核心思路：不碰模型參數，專注優化輸入的上下文。讓模型自己生成prompt，反思效果，再迭代改進。 可以把這個過程想象成模型在維護一本"工作手冊"，失敗的嘗試記錄成避坑指南，成功的案例沉澱為可複用的規則。 數據表現 論文給出的數字： AppWorld任務準確率比GPT-4驅動的a

llm , 神經網絡 , 人工智能 , 深度學習

deephub - 氛圍編程陷阱：為什麼AI生成代碼正在製造大量"偽開發者"

這是一篇再國外討論非常火的帖子，我覺得不錯所以把它翻譯成了中文。 大語言模型和ai只能提的發展衍生出了一個東西叫"vibe coding"（氛圍編程）——用自然語言描述需求，讓AI生成代碼，看起來不用寫代碼就能做出產品。 但這玩意兒本質上是個陷阱。它培養的不是開發者，而是一羣只會生成代碼、卻看不懂也改不了代碼的"中間商"。 對新手來説，這不是什麼職業捷徑。這是條斷頭路，而且很多人正往裏衝。 氛圍編

觀點 , llm , 神經網絡 , 人工智能 , 深度學習