沉默是金,總會發光

大家好,我是沉默




那年,我剛被調到一個剛上線的社交項目。
上線第一天,我發了一條動態,結果——

等了整整 3 分鐘,它才出現。

對於社交產品,這幾乎等於自殺。朋友圈、動態是用户活躍度的命脈。延遲幾分鐘,就等於用户心涼半截。


我去找老闆聊,才發現背後原因讓人哭笑不得:

  • 全項目只有 2 個客服 審核頭像、暱稱、動態;
  • 審核只到下班;
  • 偏偏晚上才是用户最活躍的時段。

結果就是——白天能過,晚上卡死。

於是我提了個方案:引入輪班制

兩班倒、允許居家審核。上線後,延遲立刻從幾分鐘降到幾秒。
朋友圈活躍度瞬間回暖。


但,很快又出了新問題。



-01-

燒錢買量帶來的問題 

老闆看數據不錯,開始瘋狂買量。
廣告一波接一波,用户像潮水一樣涌進來——
評論量、發帖量、私信量瞬間飆升。


審核部門直接爆炸:
即使加了人手,依然不夠用。

總不能讓客服“1 秒審 10 條”吧?

於是我們接入了數美天網的機審系統,想着靠 AI 來救火。


結果——我們被 AI“教育”了。


AI 審核太貴?我自研了一套朋友圈內容審查系統!_Go



-02-

AI 審核上馬,反而更慘 

機審上線的第一週,我們發現了三件糟心事:

1️⃣ 成本爆炸:
每條內容都要付費,調用量暴漲後賬單直接嚇懵老闆。

2️⃣ 誤判離譜:
“恐龍”被判涉恐,“黃子韜”被判涉黃。
用户投訴一堆。

3️⃣ 壓力沒降反升:

本來機審是來減負的,結果誤殺太多,反而客服得二次處理。

老闆一拍桌子:“成本太高,必須降下來!”

但合作方很淡定:“調閾值吧兄弟。”
——我們都知道,這不是調閾值能解決的。


我們陷入一個死循環:

全靠機審 → 成本爆炸
全靠人工 → 效率崩潰
降低標準 → 風險巨大


怎麼辦?
答案只有一個:用技術破局。


AI 審核太貴?我自研了一套朋友圈內容審查系統!_熱更新_02



-03-

重新定義目標

我們重新梳理整個體系,明確了五個核心目標:

  1. 降低機審調用量 —— 能本地攔截的堅決不調機審;
  2. 保證用户體驗 —— 審核必須秒級完成;
  3. 減少誤判投訴 —— 支持快速加白/加黑;
  4. 動態可控 —— 敏感詞庫實時更新;
  5. 成本可控 —— 第三方機審只做兜底。


第一步:自建黑名單詞庫,攔掉 80% 成本

我們發現,大量內容其實可以本地直接判斷。
比如涉黃、涉政、廣告類詞,一看就知道必攔。

於是我們建了一張核心表:api_sensitive_words結構大概是這樣的:

CREATE TABLE `api_sensitive_words` (
  `id` BIGINT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
  `keyword` VARCHAR(255) NOT NULL,
  `type` ENUM('BLACK','WHITE','NORMAL') DEFAULT 'NORMAL',
  `category` ENUM('PORN','POLITICS','TERROR','AD','INSULT','OTHER') DEFAULT 'OTHER',
  `source` ENUM('HUMAN','VENDOR','AUDIT') DEFAULT 'HUMAN',
  `hit_count` BIGINT DEFAULT 0,
  `status` TINYINT DEFAULT 1
);

這張表的價值在於:

  • 後台可靈活維護黑白名單;
  • 高頻敏感詞本地直接匹配,無需調機審;
  • 後續還能做熱更新、誤判迴流等擴展。

等於説,我們用數據庫 + 內存詞庫,先在“門口”攔掉 80% 的違規內容。


第二步:用 Trie + AC 自動機,實現“毫秒級”匹配

數據庫查模糊匹配?慢到哭。
ES?部署麻煩,還不適合這種場景。

最後我們選了最實用的方案:
Trie 樹 + Aho-Corasick 自動機(AC 自動機)

簡單説,它能在 O(文本長度) 時間內匹配所有敏感詞。
幾萬條詞庫都能在毫秒級完成掃描。

優勢一目瞭然:

對比項

MySQL

ES

Trie + AC 自動機

性能

極慢

一般

毫秒級

成本

極低

模糊匹配

一般

實時更新

有延遲

秒級

Trie 就像一棵詞彙樹,AC 自動機加上“失敗指針”後,
讓匹配無需回溯、極速完成。


第三步:高性能架構落地

整體架構如下

MySQL → Redis → Go Trie+AC 引擎 → 第三方機審兜底
  • MySQL:敏感詞權威存儲
  • Redis:緩存 + 發佈訂閲(支持秒級熱更新)
  • Go 內存引擎:Trie + AC 自動機匹配
  • 第三方機審:兜底高風險文本

後台改詞 → Redis 發佈更新 → Go 服務自動重建 Trie。
整個熱更新過程 1 秒內完成。

效果:

  • 性能提升 100 倍
  • 機審調用量下降 90%
  • 用户體驗幾乎無感

朋友圈再也不會出現“發了動態等三分鐘”的尷尬。


第四步:機審迴流,餵養自己的模型

問題解決?還沒完。

機審雖然兜底,但仍會誤判。
於是我們加了最後一層優化:機審結果迴流機制

流程如下:

機審結果 → 可疑內容 → 人工二次確認
  → 確認違規 → 加黑名單
  → 確認誤判 → 加白名單
  → 實時熱更新 Trie

這樣,系統會越跑越聰明。
AI 誤判一次,我們“教育”它一次。
久而久之,本地檢測精度越來越高,機審調用量越來越低。








-04-

總結

改造完成後,我們覆盤了幾個關鍵指標:

指標

改造前

改造後

動態展示延遲

3 分鐘+

< 200ms

人工審核壓力

爆表

降 70%

機審成本

成本高企

降 90%

用户投訴率

屢創新高

基本歸零

老闆看到報告那天,終於笑了。
那一刻,我才意識到:
“降本增效” 其實不是省人,而是用更聰明的方式讓機器和人配合。


那次項目讓我明白一件事:

真正的技術價值,不是寫多複雜的代碼,
而是讓系統在複雜的現實裏,依然穩定高效地運行。

如今我們把這套內容審核體系,擴展成了“多模態內容安全平台”,
文字、圖片、視頻都能實時檢測。

朋友圈再也沒有“卡半天”的問題,
用户體驗回來了,成本也穩下來了。


寫在最後

技術從來不是冷冰冰的。
它像防火牆一樣,守護的是信任體驗
當一個系統能既快又準地判斷一條動態該不該過,
那背後,藏着無數工程師“讓體驗無感”的努力。




-05-

粉絲福利

站在職業的十字路口,我們或許都曾感到迷茫:
投出的簡歷總是沒有迴音?
面試時不知如何展現自己的優勢?
未來的職場道路該如何規劃?
技術管理能力提升,如何跨越第一步?
如果你正在經歷這些,我很樂意用我的經驗為你提供一些幫助。
無論是修改簡歷、1對1求職陪跑,職業規劃諮詢,
還是邁向技術Leader或提升管理效能,
歡迎你加我,我們像朋友一樣聊聊。