博客 / 列表

SelectDB技術團隊 - 從 OpenSearch 到 Apache Doris:領創集團日誌系統升級實踐,降本 45%

隨着業務全球化擴展與數字化運營的深入推進,日誌系統的規模和複雜度不斷攀升,原有基於 OpenSearch 的日誌平台逐漸難以滿足成本控制、性能保障和可維護性等多維需求。為應對持續增長的數據壓力和更靈活的分析場景,領創集團技術團隊啓動了日誌系統的架構升級實踐,並最終選擇 Apache Doris 作為新一代日誌系統的核心。實現了綜合成本下降超 45%、查詢性能提升 5 倍、日誌寫入達到準實時以及靈活

資訊 , 數據庫

SelectDB技術團隊 - 從 Clickhouse 到 Apache Doris:有贊業務場景下性能測試與遷移驗證

本文導讀: 當前,電商運營的主要痛點不僅來自多變的市場和客户需求,也受困於碎片化用户觸達等帶來的競爭與挑戰。為了深度挖掘用户價值、培養用户忠誠度、實現業績增長,有贊為商家搭建了全方位 OLAP 分析系統,提供實時與離線分析報表、智能營銷與人羣圈選等 SaaS 服務。本文將詳細介紹有贊從 Clickhouse 至 Apache Doris 的遷移規劃和性能對比測試實踐,分享如何基於 Apache D

大數據處理 , 數據庫 , 性能 , 數據分析 , apache

SelectDB技術團隊 - 數據無界、湖倉無界, Apache Doris 湖倉一體解決方案全面解讀(上篇)

導讀:湖倉一體架構融合了數據湖的低成本、高擴展性,以及數據倉庫的高性能、強數據治理能力,高效應對大數據時代的挑戰。為助力企業實現湖倉一體的建設,Apache Doris 提出了數據無界和湖倉無界核心理念,並結合自身特性,助力企業加速從 0 到 1 構建湖倉體系,降低轉型過程中的風險和成本。本文將對湖倉一體演進及 Apache Doris 湖倉一體方案進行介紹。 在過去的數年間,數據分析技術棧

github , 數據倉庫 , 架構設計 , 數據分析 , 數據湖

SelectDB技術團隊 - 愛瑪集團:All In SelectDB 構建極速統一數據平台,領航 AI 數智化實踐

愛瑪集團作為電動車行業的領軍企業,在經過三年多的數智化轉型實踐,成功構建了 All In SelectDB 的統一數據平台,實現了從傳統 Hadoop 多組件架構到 SelectDB 輕量級一體化平台的轉變,數據處理效率提高 5-8 倍,系統穩定性顯著提升。與此同時,引入 MCP Server 智能交互查詢,這背後,是愛瑪集團在數據技術選型、架構設計和平台建設方面的深度思考與實踐。 在電動車

運維 , 數據庫 , 人工智能 , apache

SelectDB技術團隊 - Apache Doris 3.1 正式發佈:半結構化分析全面升級,湖倉一體能力再躍新高

親愛的社區小夥伴們,我們很高興地向大家宣佈,近期我們迎來了 Apache Doris 3.1 版本的正式發佈,歡迎大家下載使用體驗。 3.1 版本是 Apache Doris 在半結構化分析上的一個里程碑版本。在 VARIANT 類型上,3.1 版本新增了稀疏列能力,使得 VARIANT 可以輕鬆應對數萬子列的場景。同時,在 VARIANT 類型上引入了模板化 schema 能力,讓 VARIAN

數據庫 , apache

SelectDB技術團隊 - Apache Doris 4.0 AI 能力揭秘(二):為企業級應用而生的 AI 函數設計與實踐

引言 在上一篇文章《Apache Doris 4.0 AI 能力揭秘(一):AI 函數之 LLM 函數介紹》中,我們介紹了 Apache Doris 4.0 如何通過原生集成 LLM 函數,將大語言模型的強大能力引入 SQL 分析場景,實現文本處理的智能化與內部分析的無縫化。這一能力不僅拓展了數據庫的邊界,也為數據密集型業務注入了全新的智能維度。 然而,技術能力的落地並不止於功能實現,真正的價值在

人工智能 , apache

SelectDB技術團隊 - Apache Doris 與 ClickHouse:運維與開源閉源對比

引言 在當今數據驅動的商業環境中,OLAP(在線分析處理)數據庫的選擇對企業的數據分析能力和運維成本有着深遠影響。Apache Doris 和 ClickHouse 作為業界領先的高性能 OLAP 數據庫,各自在不同場景下展現出獨特優勢。 Apache Doris 以其優秀的寬表查詢能力、多表 JOIN 性能、實時更新、search 以及湖加速特性而著稱。 ClickHouse 同樣在寬表處

數據庫 , apache

SelectDB技術團隊 - Apache Doris 數據導入原理與性能優化 | Deep Dive

概述 對於 Apache Doris 這樣的高性能分析型數據庫而言,高效、穩定的數據導入是保障實時分析能力的生命線。然而,在海量數據持續寫入的場景下,如何平衡導入延遲與吞吐、如何避免性能瓶頸,是開發者面臨的核心挑戰。Apache Doris 本文將深入剖析 Doris 數據導入的核心原理,涵蓋關鍵流程、組件、事務管理等,探討影響導入性能的因素,並提供實用的優化方法和最佳實踐,有助於用户選擇合適的導

教程 , 知識 , apache

SelectDB技術團隊 - 更高效的數據處理解決方案:基於 MinIO 部署 Apache Doris 存算分離版本實踐

引言 現代數據處理在多維度面臨嚴峻挑戰,一方面,數據量的持續增長致使傳統存儲成本居高不下,非結構化數據所佔比例日益攀升,進一步加重了存儲負擔,且數據質量問題推高了存儲和清洗成本;另一方面,企業內部往往存在多套系統,數據難以集成,這對數據分析的成本和時效性也提出了更高的要求。 Apache Doris 作為一款具備高性能的實時分析數據庫,擁有湖倉一體的能力。當它與 MinIO 這樣高性能且 S3 兼

教程 , 知識 , apache

SelectDB技術團隊 - 從 Snowflake 到 Apache Doris:Planet 實時分析成本直降 80%、查詢加速 90 倍

Planet 是一家全球領先的金融科技企業,在零售、酒店和旅遊行業的支付與税務數字化服務領域深耕近四十年。公司業務廣泛,覆蓋支付處理、免税退税及行業軟件等,致力於通過一體化的解決方案提升全球商户的運營效率與顧客體驗。 為了應對日益增長的數據分析需求並優化成本效益,Planet 數據團隊近期主導完成了一項重要的數據倉庫升級,將系統從 Snowflake 遷移至開源的 Apache Doris。 這次

資訊 , apache

SelectDB技術團隊 - Apache Doris 4.0 版本正式發佈:全面升級 AI 與搜索能力,強化離線計算

點擊關注,瞭解更多實時數倉領域前沿資訊與技術實踐! 親愛的社區小夥伴們,我們很高興地向大家宣佈,近期我們迎來了 Apache Doris 4.0 版本的正式發佈,歡迎大家下載使用體驗。 本次發佈圍繞 “AI 驅動、搜索增強、離線提效” 三大核心方向,新增向量索引、AI 函數等關鍵特性,完善搜索功能矩陣,優化離線計算穩定性與資源利用率,並通過多項底層改進提升查詢性能與數據質量,為用户構建更高效、更

人工智能 , apache

SelectDB技術團隊 - 為什麼 Apache Doris 是比 Elasticsearch 更好的實時分析替代方案?

Elasticsearch 是一款開源的分佈式檢索引擎,廣泛應用於日誌分析、全文搜索和數據監控等領域。憑藉其強大的實時搜索能力和靈活的查詢語言,在市場上獲得了廣泛認可。然而,在過去兩年,我們注意到一個趨勢,很多 Elasticsearch 用户傾向於採用 Apache Doris 替代 Elasticsearch。 儘管 Apache Doris 和 Elasticsearch 在表面上看似不同,

elasticsearch , 大數據 , 性能分析 , 全文檢索 , 數據庫

SelectDB技術團隊 - MiniMax GenAI 可觀測性分析 :基於阿里雲 SelectDB 構建 PB 級別日誌系統

"阿里雲SelectDB作為MiniMax日誌存儲服務的核心支撐,為在線和離線業務提供了高效、穩定的查詢與聚合分析能力。其支持實時物化視圖、租户資源隔離、冷熱分離等企業級特性,不僅有效解決了日誌場景下PB級別數據查詢的性能瓶頸,還通過智能化的資源調度與存儲優化,實現了成本與效率的最佳平衡,為業務的高效運轉提供了堅實保障。" —— MiniMax可觀測架構師 香克斯 可觀測日誌系統的探索與挑戰 近年

日誌分析 , 數據庫 , 人工智能 , 數據分析 , 大模型

SelectDB技術團隊 - SelectDB 實時分析性能突出,寶舵成本鋭減與性能顯著提升的雙贏之旅

BOCDOP 寶舵早期基於 TiDB 構建實時數倉,隨着數據量增長,在數據處理效率、OLAP 能力擴展、功能支持、成本與資源方面存在一定優化空間。為提升數據分析能力並優化成本,寶舵引入 SelectDB,達成寫入速度提升 10 倍,成本直降 30% 的顯著成效。 本文轉錄自高瑞軍(寶尊科技 高級架構師)在 Doris Summit Asia 2024 上的演講,經編輯整理。 業務背景 寶尊集團創立

大數據 , 數據倉庫 , 實時 , 數據庫 , 電商

SelectDB技術團隊 - 從 ClickHouse 到 Apache Doris:在網易雲音樂日增萬億日誌數據場景下的落地

導讀:日誌數據已成為企業洞察系統狀態、監控網絡安全及分析業務動態的寶貴資源。網易雲音樂引入 Apache Doris 作為日誌庫新方案,替換了 ClickHouse。解決了 ClickHouse 運維複雜、不支持倒排索引的問題。目前已經穩定運行 3 個季度,規模達到 50 台服務器, 倒排索引將全文檢索性能提升7倍,2PB 數據,每天新增日誌量超過萬億條,峯值寫入吞吐 6GB/s 。 網易雲音樂每

日誌分析 , 運維自動化 , 倒排索引 , 數據庫 , clickhouse

SelectDB技術團隊 - 金融場景 PB 級大規模日誌平台:中信銀行信用卡中心從 Elasticsearch 到 Apache Doris 的先進實踐

導讀:中信銀行信用卡中心每日新增日誌數據 140 億條(80TB),全量歸檔日誌量超 40PB,早期基於 Elasticsearch 構建的日誌雲平台,面臨存儲成本高、實時寫入性能差、文本檢索慢以及日誌分析能力不足等問題。因此使用 Apache Doris 替換 Elasticsearch,實現資源投入降低 50%、查詢速度提升 2~4 倍,同時顯著提高了運維效率。 本文轉錄自陳地長(中信信用卡中

elasticsearch , 日誌分析 , 大數據 , 金融 , 數據庫

SelectDB技術團隊 - 終態部署、易擴展、無感升級,Doris Operator 支持高效 Kubernetes 容器化部署方案

容器化憑藉其靈活性、跨平台性、自動化管理和極致彈性,吸引了眾多企業的關注。一些企業希望將 Apache Doris 容器化部署,以實現高效的資源利用與部署迭代。Kubernetes 提供的編排和管理功能,能完成大規模容器部署,但 Kubernetes 自身的複雜性也導致眾多企業面臨部署複雜、運維困難、使用難度高等挑戰。 為滿足用户在 Kubernetes 平台上對 Doris 的高效部署和運維要求

部署 , kubernetes , 大數據 , operators , 數據庫

SelectDB技術團隊 - 查詢性能提升 10 倍、存儲空間節省 65%,Apache Doris 半結構化數據分析方案及典型場景

隨着業務的蓬勃發展,各企業對數據處理的靈活性和可擴展性提出了更高的要求。在此背景下,JSON、XML 等半結構化數據憑藉其較強的靈活性在眾多企業得到廣泛應用。然而,傳統關係型數據庫結構嚴格,難以應對半結構化數據的複雜性及多樣性。為有效存儲及分析這些數據,Apache Doris 針對不同應用場景提供了 Array、Map、Struct、JSON、VARIANT半結構化數據存儲分析解決方案。 本文我

elasticsearch , 日誌分析 , 日誌管理 , 數據結構 , Json

SelectDB技術團隊 - SelectDB 多計算集羣核心設計要點揭秘與場景應用

需求起源 SelectDB 設計多計算集羣架構初衷主要源於兩類典型的使用場景: 寫入與讀取隔離:傳統數倉架構中,數據的寫入和讀取在同一個計算集羣,當遇到業務寫入高峯期或突增的寫入壓力時,容易因資源相互搶佔影響查詢服務的性能和穩定性。如果能引入多個計算集羣,通過獨立的計算集羣分別進行寫入、讀取操作,即使在寫入壓力非常高時,也可放心執行計算任務,無需擔心影響到服務的穩定性。 在線業務和離線業務隔

大數據 , 數據倉庫 , 數據庫 , 雲原生 , 集羣

SelectDB技術團隊 - Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手冊(二)

湖倉一體(Data Lakehouse)融合了數據倉庫的高性能、實時性以及數據湖的低成本、靈活性等優勢,幫助用户更加便捷地滿足各種數據處理分析的需求。在過去多個版本中,Apache Doris 持續加深與數據湖的融合,已演進出一套成熟的湖倉一體解決方案。 為便於用户快速入門,我們將通過系列文章介紹 Apache Doris 與各類主流數據湖格式及存儲系統的湖倉一體架構搭建指南,包括 Hudi、Ic

數據倉庫 , 學習方法 , 數據分析 , paimon , 數據湖

SelectDB技術團隊 - 《SelectDB 新一代日誌存儲分析平台解決方案》白皮書重磅發佈|立即下載

隨着信息技術的飛速進步,企業面臨着前所未有的系統複雜性和數據挑戰。在此背景下,日誌數據成為了企業洞察系統內部狀態、監控網絡安全以及分析業務動態的寶貴資源,構建高效的日誌存儲與分析平台至關重要。 作為基於 Apache Doris 打造的現代化數據倉庫,SelectDB 不拘泥於傳統數倉的限制,針對日誌數據的特點引入了多項創新性技術,使用户可基於 SelectDB 構建開放、高性能、低成本、統一的日

大數據處理 , 日誌分析 , 數據倉庫 , 查詢優化 , 數據庫

SelectDB技術團隊 - 查詢提速 11 倍、資源節省 70%,Apache Doris 在網易日誌和時序場景的實踐

作者|隱形(邢穎), 網易資深數據庫內核工程師 編輯整理|SelectDB 技術團隊 導讀:作為網易重要的業務線,靈犀辦公和雲信針對大規模日誌/時序數據處理和分析的挑戰,分別構建了靈犀 Eagle 監控平台和雲信數據平台。本文將重點介紹 Apache Doris 在網易日誌和時序場景中的應用,如何使用 Apache Doris 替換 Elasticsearch 和 InfluxDB,從而實現更低的

elasticsearch , 日誌分析 , 大數據 , 時序數據庫 , 數據庫

SelectDB技術團隊 - Apache Doris 支持 Arrow Flight SQL 協議,數據傳輸效率實現百倍飛躍

近年來,隨着數據科學、數據湖分析等場景的興起,對數據讀取和傳輸速度提出更高的要求。而 JDBC/ODBC 作為與數據庫交互的主流標準,在應對大規模數據讀取和傳輸時顯得力不從心,無法滿足高性能、低延遲等數據處理需求。為提供更高效的數據傳輸方案,Apache Doris 在 2.1 版本中基於 Arrow Flight SQL 協議實現了高速數據傳輸鏈路,使得數據傳輸性能實現百倍飛躍。 基於 Arro

大數據 , jdbc , MySQL , 數據庫 , 數據傳輸

SelectDB技術團隊 - 當我們一起走過 2023|Apache Doris 年度時刻盤點

2024 年的第一個月已經徹底過去,2023 年的回顧總結才姍姍來遲。 在過去一年的大多數時間裏,我們一直處於忙碌的狀態中,緊鑼密鼓的代碼研發、高速推進的版本迭代、行程緊密的全國之行,眾多社區用户與開發者皆是見證。 越是忙碌,在年末的這場回顧就越難能可貴。 在 2024 年開端,我們挑選出了一些有意義的片刻,期待跟每一個社區用户和開發者一同看看過去一年所共同經歷的種種。正是因為每一個您都是見證者和

大數據 , 數據庫 , 數據分析 , SQL , 學習資料