預訓練模型蒸餾 在前面的課程中,大家瞭解了自然語言處理領域中一些經典的模型,比如BERT、ERNIE等,它們在NLP任務中的強大之處是毫無疑問的,但由於預訓練模型的參數較多,體積龐大,在部署時對設備的運算速度和內存大小以及能耗都有着極高的要求。但當我們處理實際的產業應用需求時,比如將深度學習模型部署到手機上時,就需要對模型進行壓縮,在不影響性能的前