@歸一化 / 博客 RSS 訂閱

Nov 18 2025

架構設計師之光 - ASP.Net之筆記11-05（Repeater 分頁）

: positional encoding : triplet encoding : subject encoding : object encoding Relation Transformer (RelTR), to directly predict a fixed-size set of − −

歸一化 , 三元組 , 人工智能 , transformer , 深度學習 , 前端開發 , Javascript

收藏 評論

Nov 18 2025

fangpin - 深入解析：使用 Triton 實現 Flash Attention2 - 讓大模型訓練飛起來

引言 你是否曾經在訓練大型語言模型時，眼睜睜地看着 GPU 內存不斷飆升，最終因為 OOM（Out of Memory）錯誤而前功盡棄？或者在處理長序列時，發現注意力機制的計算時間呈平方級增長，讓人望而卻步？ 如果你有過這樣的經歷，那麼今天這篇文章將為你帶來一個革命性的解決方案：Flash Attention2。更令人興奮的是，我們將通過 Triton 這個強大的 GPU 編程框

歸一化 , 人工智能 , 深度學習 , ide , Python

收藏 評論

Nov 25 2025

技術領航博主 - Leaky ReLU和ReLU的關係

論文提出了動態ReLU，能夠根據輸入動態地調整對應的分段激活函數，與ReLU及其變種對比，僅需額外的少量計算即可帶來大幅的性能提升，能無縫嵌入到當前的主流模型中   論文: Dynamic ReLU 論文地址：https://arxiv.org/abs/2003.10027 論文代碼：https://githu

歸一化 , Dynamic , Leaky ReLU和ReLU的關係 , 激活函數 , 人工智能 , 深度學習

收藏 評論

Nov 18 2025

jacksky - TOP-K問題

temperature、top_p、top_k 大模型問答的交互流程 圖片來源：阿里大模型ACP考試課件 temperature temperature和top_p的調整是發生在大模型交互流程的第四階段即輸出Token，大模型會根據候選Token的概率進行隨機挑選，這就會導致“即使問題完全相同，每次的回答都略有不同”。 在大模型生成下一個詞（

歸一化 , 後端開發 , 概率分佈 , Git , Python

收藏 評論