博客 / 列表

SelectDB技術團隊 - Doris Catalog 已上線!性能提升 200x,全面優於 JDBC Catalog,跨集羣查詢邁入高性能分析時代

“統一”是 Apache Doris 長期以來秉持的設計理念之一。在這一理念指引下,構建完善的 Catalog 生態是實現異構數據源統一查詢分析的關鍵。目前,Doris 已支持 Iceberg、Paimon、Hudi 等數據湖 Catalog,以及 JDBC Catalog,用户無需遷移數據,即可對不同數據湖和傳統數據庫進行聯邦查詢分析。 本文聚焦 Doris 多集羣間的查詢分析。實現跨 Dori

數據庫 , apache-doris , dorisdb , 集羣

SelectDB技術團隊 - Apache Doris 4.0.2 版本正式發佈

親愛的社區小夥伴們,Apache Doris 4.0.2 版本已正式發佈。此版本新增了在 AI Search、函數、物化視圖、Lakehouse 等方面的功能,並同步進行了多項優化改進及問題修復,歡迎下載體驗! GitHub 下載:https://github.com/apache/doris/releases 官網下載:https://doris.apache.org/download

數據庫 , 人工智能 , dorisdb , apache

SelectDB技術團隊 - Apache Doris AI 能力揭秘(四):HSAP 一體化混合搜索架構全解

AI 時代正在重塑數據庫的角色。過去,數據庫主要為人類分析者提供報表與查詢能力;而現在,越來越多的查詢來自智能代理(Agent),它們會自動檢索知識、過濾數據、組合多種信號,並將數據庫作為“實時信息源”支撐推理與決策。 這一根本性變化,對數據庫的檢索能力提出了全新挑戰。傳統單一的搜索模式(無論是關鍵詞還是向量搜索)已顯不足,在應對複雜多模態的 Agent 查詢時,往往在缺乏結果的全面性、語義的精確

agent , 數據庫 , 人工智能 , apache

SelectDB技術團隊 - 面向 Agent 的高併發分析:Doris vs. Snowflake vs. ClickHouse

數據價值的不斷升級,是過去三十年來數據庫演進的核心驅動力。而 AI 的崛起,將這一需求推向新的高度:數據不僅要能被“看”到,更要能被“理解”和“創造”——這一點已在基於大語言模型(LLM)為核心的代碼生成、智能對話等應用中得以驗證。 這一背景下,由自主 AI 智能體(Agent)驅動的分析已成為典型範式。 智能體能夠獨立推理、實時分析數據,甚至主動觸發行動。這意味着分析模式正從被動報告轉向主動決策

數據庫 , apache , 後端

SelectDB技術團隊 - 浙江頭部城商行:每日 700 萬查詢、秒級響應,Apache Doris 查算分離架構破局資源衝突

在當前銀行業務全面線上化、實時化的驅動下,浙江省頭部城商行亟需構建一個能夠同時承載海量數據加工與高併發實時查詢的數據平台,以支撐精準營銷、實時風控和智能決策等關鍵業務。 在這一數字化轉型進程中,我們最終引入了 Apache Doris 作為湖倉一體架構的核心組件。Doris 憑藉其卓越的查詢性能、高吞吐、對標準 SQL 的完整支持以及高效的實時數據攝入能力,在多個候選方案中脱穎而出。尤其值得一提的

數據庫 , dorisdb , apache

SelectDB技術團隊 - Apache Doris 實時更新全解:從設計原理到最佳實踐|Deep Dive

在數據驅動決策的今天,數據的“新鮮度”已成為企業在激烈市場競爭中脱穎而出的核心競爭力。傳統的 T+1 數據處理模式,由於其固有的延遲,已無法滿足現代商業對實時性的苛刻要求。無論是為了實現毫秒級的業務庫與數據倉庫同步、動態調整運營策略,還是為了在秒級內修正錯誤數據以保障決策的準確性,強大的實時數據更新能力都顯得至關重要。 Apache Doris作為一個現代化的實時分析型數據庫,其設計的核心目標之一

數據庫 , dorisdb , apache

SelectDB技術團隊 - 雲上數據安全新範式:Apache Doris IAM Assume Role 解鎖無密鑰訪問 AWS S3 數據

一、傳統 AK/SK 方式訪問 AWS 資源存在的問題 密鑰管理困境: 長期暴露風險:靜態 AK/SK 需硬編碼於配置文件中,一旦因代碼泄露、誤提交或惡意竊取導致密鑰擴散,攻擊者可永久獲得等同於密鑰所有者的完整權限,引發持續性的數據泄露、資源篡改及資金損失風險; 審計盲區: 多用户/多服務共享同一組密鑰時,雲操作日誌僅記錄密鑰身份而無法關聯具體使用者,無法追溯真實責任人或業務模塊; 運維成

數據庫 , 數據安全 , dorisdb , apache

SelectDB技術團隊 - 字節跳動:Apache Doris + AI 一站式融合數據引擎的探索與實踐

隨着人工智能技術在業務中的滲透,我們逐漸意識到:AI 不僅是提升效率的工具,更是重構數據處理與消費方式的核心驅動力。在這一背景下,我們思考:能否構建一款「AI + Data」一站式融合的數據引擎? 它不僅能夠統一處理文本、音視頻等非結構化數據與傳統結構化數據,還能為算法工程師提供流暢的數據開發體驗,實現數據處理與 AI 模型無縫銜接,並能確保數據處理負載與在線服務負載完全隔離。這是 2024 年末

字節跳動 , 數據庫 , apache

SelectDB技術團隊 - Apache Doris 在小米統一 OLAP 和湖倉一體的實踐

小米早在 2019 年便引入 Apache Doris 作為 OLAP 分析型數據庫之一,經過五年的技術沉澱,已形成以 Doris 為核心的分析體系,並基於 2.1 版本異步物化視圖、3.0 版本湖倉一體與存算分離等核心能力優化數據架構。本文將詳細介紹小米數據中台基於 Apache Doris 3.0 的查詢鏈路優化、性能提升、資源管理、自動化運維、可觀測等一系列應用實踐。 小米集團成立於

運維 , 數據庫 , apache

SelectDB技術團隊 - 宇信科技基於 SelectDB & Apache Doris 構建實時智能的銀行經營分析平台

客户背景 深耕銀行 IT 建設領域 26 的年, 宇信科技服務超數百家金融機構,覆蓋核心系統、渠道平台、風控中台等關鍵業務場景。其數據條線團隊專注經營分析場景 20 餘年,為城商行、農商行提供從報表系統到智能決策的全棧解決方案。隨着銀行業數字化進程步入深水區,宇信科技面臨雙重挑戰:一方面,市場節奏的加快,讓客户對“分鐘級數據響應”需求迫切,傳統數據平台的處理效率與擴展能力已顯滯後;另一方面,決策者

數據庫 , apache

SelectDB技術團隊 - 上海證券 SelectDB 升級實踐:湖倉流批一體落地與 Elasticsearch 全面替換

導讀 上海證券引入 SelectDB 作為核心實時分析引擎,有效彌補了實時數據處理與分析的能力短板,實現湖倉一體與流批一體,同時替換了原架構中的 Elasticsearch 組件。達成了寫入性能提升 4 倍,支撐 1000+ QPS 高併發訪問,關鍵決策響應速度 200 ms,開發效率提升 50%,運維成本大幅降低的關鍵收益。 業務背景 上海證券成立於 2001 年 5 月,秉承“開放、包

數據庫 , apache

SelectDB技術團隊 - Apache Doris 中的 Data Trait:性能提速 2 倍的秘密武器

在數據庫系統的核心層,查詢優化器如同一位精明的策略家,不斷分析數據特徵並制定最優執行計劃。Apache Doris 作為一款高性能的 MPP 分析型數據庫,其優化器內置的 Data Trait 分析機制,通過挖掘數據內在的統計特徵和語義約束,為查詢優化提供了基礎設施。讓我們一起來探索這個強大的功能! 什麼是 Data Trait? 想象一下,如果你能提前知道數據的 “性格特徵”,是不是就能更聰明地

數據庫 , apache-doris , apache

SelectDB技術團隊 - 壓縮率提升 48%,詳解 Apache Doris 存儲壓縮優化之道|Deep Dive

摘要 本文基於 ClickBench 數據集,展示了 Apache Doris 如何通過選擇壓縮算法、調整數據頁大小與分桶數、優化編碼策略以及改進數據排序來提升壓縮效率。最終,相同數據集的壓縮空間從 16.08 GB 降至 8.2 GB,壓縮率提升 48.6%。通過合理的調整與優化,Doris 成功在保持查詢性能的同時顯著降低了存儲成本。 在分析型數據庫中,列式存儲是壓縮和查詢性能的核心基礎。它

知識 , 數據庫 , apache

SelectDB技術團隊 - 深入理解 Doris Variant:如何讓 JSON 查詢性能追平列存,還能承載萬列索引字段?|Deep Dive

摘要:在如 Snowflake、ElasticSearch、ClickHouse.... 等傳統系統中,對於 JSON 的處理往往面臨靈活性及性能無法兼得的困境,而 Apache Doris 的 VARIANT 類型,通過動態子列、稀疏列存儲、延遲物化和路徑索引等能力,實現了靈活結構 + 列存性能的平衡。本文將對該能力的實現一一講解,全面展示其優勢。 在大數據時代,JSON 已成為數據交換的事實

資訊 , 數據庫 , apache

SelectDB技術團隊 - 為什麼實時更新場景下 Doris 查詢性能是 ClickHouse 的 34 倍

在當今數據驅動的商業環境中,企業越來越依賴數據分析來驅動決策。無論是用户行為分析、業務報表還是運營監控,企業都需要具備快速、高效的數據處理能力。企業在數據分析能力上的演進,往往始於 TP(事務處理)系統,隨着業務發展不斷探索 TP 系統的擴展方案,最終走向構建獨立的 AP(分析處理)系統。 企業實時分析典型演進過程 第一階段:使用 TP 系統支撐事務處理和數據分析 在企業信息系統建設的早期,主要存

elasticsearch , 數據庫 , apache

SelectDB技術團隊 - 從 Flink 到 Doris 的實時數據寫入實踐——基於 Flink CDC 構建更實時高效的數據集成鏈路

Flink-Doris-Connector 作為 Apache Flink 與 Doris 之間的橋樑,打通了實時數據同步、維表關聯與高效寫入的關鍵鏈路。本文將深入解析 Flink-Doris-Connector 三大典型場景中的設計與實現,並結合 Flink CDC 詳細介紹了整庫同步的解決方案,助力構建更加高效、穩定的實時數據處理體系。 一、Apache Doris 簡介 Apache Dor

數據庫 , apache

SelectDB技術團隊 - Doris MCP Server 0.5.1 版本發佈

近日,Doris MCP Server 0.5.1 版本帶來了多項企業級數據治理與分析能力的功能升級,進一步提升系統穩定性與易用性,歡迎下載體驗。 項目地址:https://github.com/apache/doris-mcp-server 新增能力概覽 全局 SQL 超時配置增強:支持通過配置項統一控制所有 SQL 查詢超時時間,所有入口(MCP 工具、API、批量查詢等)均嚴格受控 解

數據庫 , apache

SelectDB技術團隊 - 浩瀚深度:從 ClickHouse 到 Doris,支撐單表 13PB、534 萬億行的超大規模數據分析場景

浩瀚深度([SHA: 688292])旗下企業級大數據平台選擇 Apache Doris 作為核心數據庫解決方案,目前已在全國範圍內十餘個生產環境中穩步運行,其中最大規模集羣部署於 117 個高性能服務器節點,單表原始數據量超 13PB,行數突破 534 萬億,日均導入數據約 145TB,節假日峯值達 158TB,是目前已知國內最大單表。憑藉 Apache Doris 的高可靠、高性能與高可擴

數據庫 , apache

SelectDB技術團隊 - Apache Doris 實時更新技術揭秘:為何在 OLAP 領域表現卓越?

數據,是有保質期的。正如冰箱裏的牛奶,今天新鮮,明天可能就有點酸,後天直接倒掉。數據的價值,也會隨着時間的推移而遞減。 過去那些“老派”的 OLAP 系統,只能批量處理賬目,對實時性要求高的“流水賬”就力不從心了。它們在面對高併發實時寫入和複雜的分析查詢時,常常會露出疲態,數據延遲、查詢性能、併發處理和數據更新等問題層出不窮。 當所有人都焦慮於如何讓數據“快”起來的時候,Apache Doris

數據庫 , apache

SelectDB技術團隊 - JSONBench 榜單排名第一! 10 億條數據秒級響應

坦白講,每次看性能測試排行榜,我都會下意識地先找找 Apache Doris 在哪個位置。 這次打開 JSONBench 的榜單,心情一如既往的期待加緊張。 好在結果讓我鬆了一口氣:默認配置下就能排到第三,僅次於維護方 ClickHouse 的兩個版本。 不過,Doris 只能止步於此了嗎?經過一系列優化後,查詢時長能不能再縮短點?和 ClickHouse 的差距在哪裏? 調優前後對比圖鎮樓,至於

數據庫 , apache

SelectDB技術團隊 - 替換 ClickHouse,查詢併發提升 7 倍!高途教育基於阿里雲 SelectDB 構建秒級實時報表

導讀 高途教育引入阿里雲 SelectDB 替換 ClickHouse、MySQL 作為核心分析引擎,統一支撐續班與行課實時分析等核心業務。通過阿里雲 SelectDB MPP 架構與向量化查詢引擎,結合 SelectDB 倒排索引、Bloom Filter 等豐富索引機制,實現億級數據量秒級多表關聯查詢,在 700+ 高併發查詢壓力下 P99 延遲低於 200ms,穩定滿足核心報表 2s 內響應

資訊 , 數據庫 , apache

SelectDB技術團隊 - Apache Doris 4.0.1 版本正式發佈

親愛的社區小夥伴們,Apache Doris 4.0.1 版本已於 2025 年 11 月 08 日正式發佈。此版本聚焦核心模塊的打磨與優化,在 AI Search 方面實現了重要能力擴展,同時全面提升了 Lakehouse 與查詢引擎的穩定性和性能。 GitHub 下載:https://github.com/apache/doris/releases 官網下載:https://doris

數據庫 , 人工智能 , apache-doris

SelectDB技術團隊 - Apache Doris Summit 2025 圓滿收官,一文速覽峯會高光時刻!

2025 年 11 月 5 日至 6 日,由飛輪科技主辦的 Apache Doris Summit 2025 技術峯會圓滿落下帷幕。本次峯會以 “Powering Real-Time Analytics Search in the AI Era” 為主題,通過線上直播的形式,成功吸引了全球的 10 萬+開發者、架構師和數據技術專家的參與。大家齊聚雲端,共探 AI 時代背景下,數據價值釋放的全新路

資訊 , 數據庫 , 人工智能 , apache

SelectDB技術團隊 - 貨拉拉用户畫像基於 Apache Doris 的數據模型設計與實踐

貨拉拉是國內領先的同城貨運數字化平台,成立於 2013 年。截⾄2025 年 4⽉ ,貨拉拉業務覆蓋全球 14 個市場 ,400+ 城市 ,其中中國內地總共覆蓋 363 座城市 ,⽉活司機達 120 萬 ,⽉活⽤户達 1400 萬, 並在全球設有 6 個數據中⼼。作為共享經濟模式的代表企業 ,貨拉拉通過移動互聯⽹技術整合社會運⼒資源 ,為⽤户提供即時貨運、企業物流、搬家服務等多元化解決⽅案。 在龐

數據庫 , apache