抱歉,這是我對我現有知識做總結的個人筆記,可能會有錯誤,如果你想指正,歡迎提出你的想法,我比較聽勸。
開場先來個題外話
最近通過一陣陣冥想,和對ADHD相關書籍的研究,終於發現自己前額葉活躍度較低的事實。
我曾經一度以為自己很難專注去持續理解一段話是什麼意思的原因是大腦發育不良,畢竟我從小就這樣,那時候我也沒精力去研究這個東西,我只知道我啓動力不足,我無法把一件事從頭做到尾,在研究了關於ADHD的書籍後,我才知道我是因為大腦由於前額葉皮質功能異常所導致的多巴胺和去甲腎上腺素水平較低甚至無法維持穩定的分泌,從而導致我前額葉不容易發揮出應有的功效,從而無法專注在一個非常需要專注的地方。
自從做了有氧、照着書上所説定義了某些生活結構並試着強迫自己維持這個結構的運轉,並且每天早晨刺激前額葉後,我開始能專心看進書了,我第一次確信我獲取消息的途徑不僅僅能通過某些不需要動太多腦就能理解作者表達的視頻,也可以是那些通過理解能更加深刻的知道作者想傳遞給你的知識所需要的書籍文字。我開始通過一種比較新奇的角度獲取知識,這種新奇感是教學視頻都無法比擬的,在完整閲讀一段文字後,我居然能再次分出心來以比較清晰的方式聯繫上下文並總結出知識,這樣獲得的知識真正讓我主觀感受到像是烙印在你的腦子裏了,非常深刻和清晰,這種感覺難道不奇妙嗎?
但其實對於邏輯性比較強的知識,還是需要通過視頻輔助理解
扯遠了
我曾經一直以為prompt是實現某些特殊需求才需要的一堆提示詞,後面加大了對AI的使用力度後我才發現
目前的AI幻覺率都比較高
我當然知道,由於概率和訓練的原因,這是不可避免的,但可以通過Prompt來降低AI的幻覺率
為什麼目前的廠商都致力於開發出一種通用大語言模型,但遲遲開發不出來,其中一個原因就是幻覺率都太高了
後來廠商們學會讓AI自我思考用户的意圖,幻覺率才有所降低,但就算是思考過後的回答,仍有不可忽視的幻覺率
哪怕是最新的思考大模型,幻覺率都不容小覷
尤其是開放性回答中,幻覺率能直接讓客户無法忍受
所以,我們要儘量對某些需求專門設計一個prompt,力求最大化降低幻覺對答案的影響,讓AI知道它需要答什麼,而不是夢到啥説啥
當你提出一個比較開放的問題時,LLM會在它的參數中尋找一個概率較高的回答,也就是大模型會預測生成回答
自迴歸(Autoregressive model)模型採用經典的語言模型任務進行預訓練,即給出上文,預測下文,對應原始Transformer模型的解碼器部分
既然是預測回答,就需要在訓練數據中找出最與這個答案掛鈎的知識來回答問題
但若是問題與知識關聯度不太高,LLM就不會傾向於選擇這個知識作為答案
既然不會選擇又必須回答,LLM就會嘗試編造一個事實出來
畢竟AI的作用是解決你的問題,除非你明確提出,AI肯定會傾向於不惜手段來試圖解決你的問題
舉個例子,讓LLM解答一個問題,並且讓它給出對應資料的來源,LLM找到一堆關聯卻又好像在LLM的判斷中不太關聯的知識,但是卻必須要解決你的問題,於是就會編造出一個虛假的事實來滿足你的要求
prompt正是提升這個知識關聯度的關鍵,當你利用prompt提出要找什麼知識,要給出哪個論文,甚至讓AI自己佐證自己給出的參考資料,也就是增加些許知識調用的確定性,AI才能更加精確的回答你的問題
當然,也可以通過調整LLM的某些參數來控制LLM對於知識調用的開放程度,但這不在該筆記的討論範圍內