@BERT / 博客 RSS 訂閱

Dec 01 2025

架構魔法師 - 區域迴歸網絡

摘要：憑藉對雙向上下文進行建模的能力，與基於自迴歸語言建模的預訓練方法相比，基於BERT的基於自動編碼的預訓練實現了更好的性能。然而，依賴於對輸入使用掩碼，BERT忽略了屏蔽位置之間的依賴性，並且受到預訓練 - 微調差異的影響。根據這些優點和缺點，我們提出了XLNet，一種廣義自迴歸預訓練方法，它（1）通過最大化分解階的所有排列的預期

機器學習 , 預訓練 , 建模 , 區域迴歸網絡 , XLNET , 人工智能 , BERT

收藏 評論