@信息熵 / 博客 RSS 訂閱

Jan 03 2026

未聞花名AI - 構建AI智能體：六十一、信息論完全指南：從基礎概念到在大模型中的實際應用

一、理解信息論 想象一下這樣的場景，我們每天出門都會查看天氣預報，如果預報總是説"今天晴，氣温25度"，久而久之你會覺得這信息索然無味，因為太確定了。但如果預報説"今天有80%概率下雨"，我們就會格外留意，甚至帶傘出門，這種不確定性反而讓信息更有價值。 這正是信息論的精髓所在，就像收拾行李箱時，把所有物品整齊分類（低熵）比胡亂塞進去（高熵）更容易找到想要的東西。在大語

機器學習 , AIGC二三事 , 信息論 , 人工智能 , 信息熵 , 概率分佈

收藏 評論