定義

我們可以把大模型類比生活場景中的各種“模具”:我們在生活中會使用到很多模具,比如製作雪糕的模具、蛋糕模具、愛心煎蛋的心形模具等等。我們是可以使用這些模具來更加簡單便捷且快速地完成最終要製作的成品。

如果將其映射到數學上,就像是我們聽到過的數學建模:比如,一位老師想計算班級100位同學的期末總成績,那麼根據學校本學期的要求,考試成績佔總成績的70%,平成成績佔總成績的30%,那麼老師們只需要找到其中的運算規律就可以指定一個通用的模型來快速計算每一個學生的總成績:總成績y = (考試成績x1 * 0.7) + (平時成績x2 * 0.3),其中該方程式就是模型的算法,而0.7和0.3這個權重佔比就是模型的參數。

大模型:LLM(Large Language Model)是指具有大量參數和複雜結構的機器學習模型。這些模型可以應用於處理大規模的數據和複雜的問題。“大模型”中的“大”是指模型的參數量非常大(百億千億級別)。相對來講,參數量越大,則大模型的綜合能力就越強。


大模型的兩大分支

分支一:在線大模型

大模型本身是部署在雲端,用户可以通過網絡調用雲端大模型相關的接口進行在線使用大模型相關的功能。因此,在線大模型具備如下優勢:在線模型普遍性能更強、使用的技術門檻和硬件門檻更低、配套模型生態和服務更加完善;

但是其弊端也同時存在:首先是數據安全問題,因為使用線上大模型必須通過網絡進行數據傳輸,需要將本都數據傳輸給在線大模型,才可以基於大模型本身的能力對數據進行分析、處理和其他操作。但是一旦企業生產資料聯網,就肯呢個會帶來數據安全隱患,無法保障內容真實可信等諸多痛點的發生。還有就是,在線大模型的企業應用會產生長期的費用,在線大模型會根據調用次數或者按量進行計費,如果一旦使用頻率和規避較大,則會產生較高的費用。最後一點就是在線大模型無法很好的定製化,也就是無法從訓練語料進行定製化訓練。


分支二:開源大模型

開源大模型是可以在本地設備上進行部署和使用的。相比與在線大模型,開源大模型可以使用更多微調框架進行模型微調,微調空間更大,更有可能快速完成定製化大模型訓練;此外,數據可以直接本地訓練模型,無需在線提交數據進⾏在線模型微調,數據安全也將更有保障。

但是,一般大模型的參數量級都會比較大,動不動就是幾十億、幾百億、幾千億的量級。因此本地部署,需要提供較高配置的硬件設備,該設備相對費用也不會太低。不過這屬於一次投資,終身受用。


大模型的應用

隨着人工智能技術的不斷髮展,AI大模型已經成為垂直行業應用的熱點。然而,AI大模型雖然功能強大,但在垂直行業應用中存在一些突出的問題,如缺乏特定行業領域的專有知識,尤其是深度知識、私有知識、保密知識等;還有就是輸出內容很難精確控制;常常會出現幻覺(一本正經地胡説八道)等問題。為解決這些問題,有三種在垂直行業中應用AI大模型的方法,包括重新訓練、微調和知識庫檢索。


利用行業知識重新訓練AI大模型

由於通用AI大模型缺乏行業專有知識,重新訓練AI大模型成為一種可行的解決方案。

該方法的基本思想是,將行業相關的數據集和專業知識用於重新訓練AI大模型,使其擁有行業特定的理解和知識。這樣,AI大模型在垂直行業中的應用就能更好地理解和處理相關的任務和問題。

例如,在醫療領域中應用AI大模型時,可以利用醫學文獻、診斷報告和臨牀數據等專業知識進行模型的重新訓練,使其具備醫學背景和專業判斷能力。

因此,重新訓練大模型可以提高AI模型在特定領域中的準確性和專業性,並降低產生幻覺的可能性。不過,重新訓練需要大量的數據,且對算力要求較高,對人力資源、算力費用和時間成本要求都非常高。


利用行業知識對AI大模型進行微調

除了重新訓練,微調是另一種常用的方法來應用AI大模型於垂直行業。

微調是指在通用AI大模型的基礎上,通過在特定的行業數據集上進行再次訓練,調整模型的部分參數,以適應特定行業的需求。這種方法相比於重新訓練,既可以保留通用AI大模型的原生能力,又能增加對行業問題的理解能力。例如,在金融領域中,可以利用金融數據和交易信息微調模型,以實現更準確和適應特定金融市場應用場景的預測和建議。

微調是在通用AI大模型的基礎上,通過針對特定行業場景進行精細調整來實現更好的適應性。微調相對於重新訓練而言,時間和資源消耗較少。


利用行業知識建立知識庫

當AI大模型無法提供準確答案或輸出時,可以利用行業知識建立知識庫模型,充分融合AI大模型的通用知識和知識庫的專有知識,使得大模型可以提供更有針對性的輸出。

例如,在法律諮詢領域,當AI大模型遇到具體法律案例時,可以將相關法律條款和判例作為知識庫模型的輸出,促進AI大模型產生更準確的法律意見或建議。

通過建立行業知識庫和企業私有知識庫模型,不僅可以提高輸出內容的準確性,而且可以大大降低幻覺問題影響。但知識庫模型的效果與知識庫的質量和覆蓋度密切相關。此外,不斷更新、維護和擴充知識庫也是一項重要的任務。