@布隆過濾器 / 博客 RSS 訂閱

Dec 03 2025

mob64ca140ac564 - spark parquet 布隆過濾器

數學之美中23章介紹的布隆過濾器（Bloom filter），以下是一些算法的實現及應用 1.算法應用 在如那件設計中有個最基本的功能是判斷某個元素是否在集合當中，比如爬蟲中驗證一個url是否被收錄過，如果用普通的hash來判斷那需要的內存容量是驚人的。布隆過濾器的作用就是能夠降低內存用量，他只需要hash表的1/8到1/4就能夠解決問題。 3.算法實現

spark , spark parquet 布隆過濾器 , 大數據 , 字符串 , 主函數 , 布隆過濾器

收藏 評論

Dec 18 2025

u_15870054 - 解析 RocketMQ 多樣消費功能-消息過濾

title: "解析 RocketMQ 多樣消費功能-消息過濾" date: "2022/10/20" author: "徒鍾" img: "https://img.alicdn.com/imgextra/i4/O1CN01VGWlAI22sf0BVh6Fy_!!6000000007176-0-tps-685-383.jpg" tags: ["explore"] desc

客户端 , 布隆過濾器 , 開源 , SQL

收藏 評論

Dec 16 2025

Plume岣七 - [C++]億級數據的高效判重

在億級數據處理場景中，「快速判重」始終是繞不開的核心痛點——傳統數據結構要麼空間開銷爆炸，要麼查詢效率低下，難以平衡性能與資源成本。而位圖（BitMap）與布隆過濾器（Bloom Filter），正是解決這一難題的高效方案：位圖以比特級存儲實現精準判重，布隆過濾器則基於位圖優化，用概率模型突破數據範圍限制。 本文將從底層原理出發，拆解二者的關聯邏輯、核心差異，結合實戰場景講

布隆過濾器 , c++ , 後端開發 , 位圖 , 判重 , 計數 , c

收藏 評論