tag transformer

標籤
貢獻15
84
07:28 PM · Nov 16 ,2025
u_16163480 頭像 u_16213609 頭像 u_16163453 頭像 u_16099164 頭像 u_16099229 頭像 u_16213701 頭像 u_17583190 頭像 u_16099227 頭像 yuanfang_648a85b26d85e 頭像 u_16213707 頭像 u_16671839 頭像 u_13539 頭像

@transformer / 博客 RSS 訂閱

u_16163480 頭像

bugyinyin - 【AI大模型應用場景】AI Agent與工程系統融合實踐：兩大業務場景落地全解析！

簡介 文章分享了將AI Agent技術應用於"智能播報助手"和"批量建任務"兩個業務場景的實踐歷程，闡述了AI Agent與傳統工程系統深度融合而非完全替代的有效路徑。通過MCP協議擴展Agent能力邊界，實現報表自動監控和釘釘消息推送；在批量建任務場景中，探索了Agent與工程結合的最佳實踐，強調應準確理解技術邊界和長處，構建高效穩健的解決方案。

大數據 , 人工智能 , transformer , prompt , 大模型學習 , 前端開發 , Javascript

收藏 評論

u_16213609 頭像

mob64ca13fe9c58 - Transformer架構詳解

Transformer架構概述 Transformer架構主要的功能是高效地完成某些自然語言分析任務，比如英語到德語和英語到法語的翻譯任務，這裏要注意的是，大語言模型（LLM）不等於Transformer，我個人認為Transformer可以算是一種從預訓練數據中更好提取信息的方式，因此當我們在瞭解Transformer架構時，其中一個重要關注點是

AI , 系統架構 , 人工智能 , transformer , 深度學習

收藏 評論

u_16163453 頭像

嘴巴吃糖了 - 【值得收藏】大模型必備知識：Transformer為何選擇Layer Normalization而非Batch Normalization

前言 無論是 BERT、GPT 還是 ViT，幾乎都不用 Batch Normalization，而是清一色地用 Layer Normalization。 這不是巧合，而是 Transformer 架構中一個非常深層的設計選擇。 一、BN 和 LN 到底在做什麼？ BN 和 LN 的出發點其實一樣——穩定訓練，防止梯度

後端開發 , 人工智能 , transformer , batch , 大模型入門 , 大模型學習 , Python

收藏 評論

u_16099164 頭像

碼海舵手 - 極智AI | 變形金剛大家族 Transformer ViT CLIP BLIP BERT 模型結構_51CTO博客

文章目錄 轉載 以下是博客原文 以合理的規模訓練 ViT 自蒸餾 DeiT 模型概覽 Pyramid 視覺 Transformer（PVT）的總體架構 視覺 Transformer 的自監督訓練：DINO DINO 多注意力頭可視化 MLP-Mixer 架構 多尺度視

卷積 , 數據 , MySQL , 數據庫 , 人工智能 , transformer , 深度學習

收藏 評論

u_16099229 頭像

架構設計師之光 - ASP.Net之筆記11-05（Repeater 分頁）

: positional encoding : triplet encoding : subject encoding : object encoding Relation Transformer (RelTR), to directly predict a fixed-size set of − −

歸一化 , 三元組 , 人工智能 , transformer , 深度學習 , 前端開發 , Javascript

收藏 評論

u_16213701 頭像

mob64ca14147fe3 - Qt架構圖及模塊分析介紹

引言 Qwen（Quantum Waveform Encoding Network）模型是一種前沿的深度學習架構，專為處理複雜波形數據而設計。其核心目標在於通過高效的編碼和解碼機制，實現對量子態波函數的高精度模擬與分析。Qwen模型的設計靈感來源於量子力學的波函數理論，結合了深度神經網絡在特徵提取和模式識別方面的強大能力。 該模型的主

AI大模型 , 架構 , 人工智能 , transformer , 模態 , jquery , 前端開發

收藏 評論

u_17583190 頭像

fangpin - 從 0 搭建 LLM 不再難！這個 PyTorch 項目幫你吃透大模型底層邏輯

如果你曾想深入理解大語言模型（LLM）的 “五臟六腑”，卻被框架封裝的黑盒接口、複雜的源碼結構勸退；如果你希望親手實現 Transformer 的每一個組件，而非單純調用transformers庫 —— 那麼今天推薦的這個開源項目，絕對能成為你的 LLM 學習 “腳手架”。 它就是 GitHub 上的 llm-from-scratch（項目地址），一個基於 PyTorch、專為教育設

AIGC二三事 , llm , BPE , 人工智能 , transformer , 深度學習 , 大模型

收藏 評論

u_16099227 頭像

雲端創新者 - 自研AI框架升思MindSpore數據變換：Transforms_Yeats

下圖展示了ViT的完整架構：從輸入圖像分割成patches，到Transformer編碼器處理，最後通過分類頭輸出結果。整個流程清晰明瞭，接下來我們一步步來實現。 1 環境搭建和數據準備 1.1 環境配置 首先確保本地裝好了Python和MindSpore。這個教程建議用GPU跑，CPU會慢得讓人懷疑人生。 數據集用的是ImageNet的子集，第一

華為 , Soft , Self , 人工智能 , transformer , 前端開發 , Javascript

收藏 評論

yuanfang_648a85b26d85e 頭像

farfarcheng - 邁入大模型時代的深度學習：使用 Flash Attention 技術讓 Transformer 起飛

Transformer 是 ChatGPT 等大語言模型的核心技術之一，而注意力機制是其的關鍵部分。但是，標準的注意力實現具有二次時間和內存複雜度，使其在長序列任務上變慢並消耗大量顯存。這限制了 Transformer 能夠建模的上下文長度，同時使得大尺度模型的訓練和推理時間延長。 FlashAttention: Fast and Memory-Efficient Exact Attention

機器學習 , Flash , 人工智能 , transformer , 深度學習

收藏 評論

u_16213707 頭像

mob64ca1415f0ab - 模型的跨界：我拿Transformer去做目標檢測，結果發現效果不錯

一、Transformer目標檢測基礎概念與核心原理 什麼是Transformer目標檢測？ Transformer目標檢測是以DETR（DEtection TRansformer）為代表的新型檢測範式，其核心思想是將目標檢測任務轉化為直接集合預測問題。與傳統基於卷積神經網絡（CNN）的方法不同，Transformer檢測器摒棄了錨框、非極大

編碼器 , 後端開發 , transformer , 深度學習 , 目標檢測 , Python

收藏 評論

u_16671839 頭像

艾派森51CTO - 深度學習實戰-基於Vision Transformer的腦腫瘤MRI圖像識別

🤵♂️ 個人主頁：@艾派森的個人主頁 ✍🏻作者簡介：Python學習者 🐋 希望大家多多支持，我們一起進步！😄 如果文章對你有幫助的話， 歡迎評論 💬點贊👍🏻 收藏 📂加關注+ 目錄 1.項目背景 2.數據集介紹

數據集 , 人工智能 , transformer , 深度學習 , Image , Css , 前端開發 , HTML

收藏 評論

u_13539 頭像

jowvid - 【深度學習之Transformer】

文章目錄 Week 22: 深度學習補遺：Transformer Encoder構建 摘要 Abstract 1. Positional Encoding 位置編碼 1.1 概要 1.2 代碼實現 1.3 效果簡析 2. LayerNo

人工智能 , transformer , 深度學習 , Css , 代碼實現 , 前端開發 , HTML

收藏 評論

deephub 頭像

deephub - Mosaic：面向超長序列的多GPU注意力分片方案

Transformer的"二次方注意力瓶頸"的問題是老生常談了。這個瓶頸到底卡在哪實際工程裏怎麼繞過去？本文從一個具體問題出發，介紹Mosaic這套多軸注意力分片方案的設計思路。 注意力的內存困境 注意力機制的計算公式： Attention(Q, K, V) = softmax(QKᵀ / √d) × V 問題出在 QKᵀ 這個矩陣上，它的形狀是 (序列長度 × 序列長度) 。 拿150

注意力 , 神經網絡 , 人工智能 , transformer , 深度學習

收藏 評論

huikaichedemianbao 頭像

合合技術團隊 - 文檔圖像矯正任務的前沿進展：引入Transformer框架、極座標的思路

在《文檔數字化採集與智能處理：圖像彎曲矯正技術概述》一文中，我們介紹了文檔圖像矯正技術的發展沿革與代表性方案。隨着文檔智能處理的需求逐步升級，文檔圖像去畸變技術也在不斷探索新的可能性。 今天，我們將討論近年來文檔圖像矯正任務的前沿進展，分享一些我們正在關注的方向，歡迎與我們共同探討、交流進步。 Transformer 架構下的文檔矯正探索 代表性工作 DocTr: Document Image T

圖像識別 , 圖像處理 , 人工智能 , transformer

收藏 評論

u_16841336 頭像

火雲大軍 - 程序員應該熟悉的概念(5)MoE

MoE(Mixture of Experts,專家混合模型）)是當前大模型（尤其是 GPT-4、Gemini、Mixtral、DeepSeek 等）架構中非常核心的一個概念。 MoE 的思想非常直白：不同的 專家/Expert 只負責處理自己擅長的那一類輸入，而不是讓整個模型的所有參數都去處理所有任務。 也就是説： 一個 MoE 模型內部其實

指尖人生 , llm , 人工智能 , transformer , 深度學習 , MoE

收藏 評論