@浮點運算 / 博客 RSS 訂閱

wx6466f25322644 - 大語言模型Ll M 這張圖的核心信息是：隨着模型規模變大，注意力（attention）層消耗的 FLOPs 佔比越來越高，而 MLP 層佔比反而下降。