@數據湖

動態 列表
@mirrorship

什麼是 StarRocks?核心優勢與適用場景解析

在數據量持續爆發的時代,企業對實時分析的需求日益迫切。例如,電商大促期間的交易監控、廣告投放效果的即時反饋等場景,均要求毫秒級的響應速度。然而,傳統工具如 Hadoop、Hive 等存在明顯短板:複雜查詢性能不足、資源擴容成本高、實時與離線數據處理割裂等問題。 StarRocks 的核心定義 StarRocks 是一款新一代極速全場景 MPP(Massively Parallel Processi

mirrorship 頭像

@mirrorship

昵稱 鏡舟科技

@selectdb

數據無界、湖倉無界, Apache Doris 湖倉一體解決方案全面解讀(上篇)

導讀:湖倉一體架構融合了數據湖的低成本、高擴展性,以及數據倉庫的高性能、強數據治理能力,高效應對大數據時代的挑戰。為助力企業實現湖倉一體的建設,Apache Doris 提出了數據無界和湖倉無界核心理念,並結合自身特性,助力企業加速從 0 到 1 構建湖倉體系,降低轉型過程中的風險和成本。本文將對湖倉一體演進及 Apache Doris 湖倉一體方案進行介紹。 在過去的數年間,數據分析技術棧

selectdb 頭像

@selectdb

昵稱 SelectDB技術團隊

@seatunnel

(二)從分層架構到數據湖倉架構:數據倉庫分層下的技術架構與舉例

《新興數據湖倉設計與實踐手冊·從分層架構到數據湖倉架構設計(2025 年)》 系列文章將聚焦從數據倉庫分層到數據湖倉架構的設計與實踐。手冊將闡述數據倉庫分層的核心價值、常見分層類型,詳解分層下的 ETL 架構及數據轉換環節,介紹數據倉庫分層對應的技術架構,並以貼源層(ODS)、數據倉庫層(DW)、數據服務層(DWS)為例,深入剖析數湖倉分層設計,最後探討數據倉庫技術趨勢並進行小結。 本文為系列文

seatunnel 頭像

@seatunnel

昵稱 SeaTunnel

@elhix0bg

阿里雲DLF 3.0:面向AI時代的智能全模態湖倉管理平台

在2025年雲棲大會上,阿里雲DLF產品負責人李魯兵正式發佈了DLF(DataLakeFormation)3.0,升級為面向AI時代的智能全模態湖倉管理平台。此次發佈標誌着DLF從傳統的湖倉管理工具,全面進化為支持結構化、半結構化與非結構化數據統一管理、安全開放、性能卓越的新一代數據基礎設施。本文將系統梳理DLF3.0的架構演進、核心能力、典型應用場景以及其在實際業務中的落地價值。 一、D

elhix0bg 頭像

@elhix0bg

昵稱 阿里雲大數據AI

@mirrorship

數據湖和數據倉庫的區別

在當今數據驅動的時代,企業需要處理和存儲海量數據。數據湖與數據倉庫作為兩種主要的數據存儲解決方案,各自有其獨特的優勢與適用場景。本文將客觀詳細地介紹數據湖與數據倉庫的基本概念、核心區別、應用場景以及未來發展趨勢,幫助讀者更好地理解和選擇適合自身需求的數據存儲方案。 一、基本概念 數據湖(Data Lake) 數據湖的概念最早由Pentaho公司的James Dixon在2011年提出,是一種能夠存

mirrorship 頭像

@mirrorship

昵稱 鏡舟科技

@mirrorship

如何理解 Apache Iceberg 與湖倉一體(Lakehouse)?

一、什麼是湖倉一體(Lakehouse)? 湖倉一體是一種融合了數據湖的靈活存儲能力與數據倉庫的高效分析功能的現代數據架構。它通過整合兩者的優勢,解決了傳統架構的侷限性,為企業數據處理提供了更全面的解決方案。 數據湖的開放性:支持多格式數據存儲(如 Parquet、ORC),兼容開放生態(如Hive、Iceberg),存儲成本低。 數據倉庫的高性能:提供 ACID 事務、高效查詢和實時分析能

mirrorship 頭像

@mirrorship

昵稱 鏡舟科技

@mirrorship

告別 T+1!解密金融級實時數據平台的構建與實踐

在數字金融浪潮下,數據處理的“實時性”已不再是加分項,而是逐漸成為決定業務價值的核心競爭力。 然而,金融機構在追求實時的道路上,往往陷入一個新的困境:實時分析系統與離線大數據平台形成了兩套獨立的“煙囱”,數據孤島、口徑不一、運維複雜、成本高昂等問題隨之而來。如何打破壁壘,在統一的平台上實現對實時流數據和海量歷史數據的統一管理與高性能分析,成為了當下金融機構的核心訴求。 一、業務困境:傳統“T+1”

mirrorship 頭像

@mirrorship

昵稱 鏡舟科技

@mirrorship

數據湖典型架構解析:2025 年湖倉一體化解決方案

數據湖架構概述:從傳統模型到 2025 年新範式 數據湖作為存儲海量異構數據的中央倉庫,其架構設計直接影響企業數據價值的釋放效率。傳統數據湖架構主要關注數據的存儲和管理,而 2025 年的數據湖架構已經演變為更加智能化、自動化的綜合性數據平台。 數據湖本質上是一個存儲庫,允許企業以原生格式存儲各類數據,包括結構化、半結構化和非結構化數據。與傳統數據倉庫相比,數據湖採用“讀時模式”(schema-o

mirrorship 頭像

@mirrorship

昵稱 鏡舟科技

@mirrorship

載譽而歸!鏡舟科技亮相2025 OSCAR開源產業大會,榮獲“開源+商業化產品”獎

10月28日,2025 OSCAR 開源產業大會在北京圓滿落幕。憑藉其在開源技術創新與商業化落地方面的卓越成就,鏡舟科技榮獲“2025年度開源+商業化產品”獎項。該獎聚焦開源技術的工程化能力與商業落地價值,旨在表彰那些不僅在開源社區擁有強大技術影響力,更成功地將開源技術轉化為成熟、可靠的商業產品,並創造出顯著市場價值的標杆企業。 本屆大會上,圍繞湖倉一體架構帶來的降本增效、國產化適配下的自主可

mirrorship 頭像

@mirrorship

昵稱 鏡舟科技

@seatunnel

(三)從分層架構到數據湖倉架構系列:數據倉庫分層之貼源層和數據倉庫層設計

《新興數據湖倉設計與實踐手冊·從分層架構到數據湖倉架構設計(2025 年)》 系列文章將聚焦從數據倉庫分層到數據湖倉架構的設計與實踐。手冊將闡述數據倉庫分層的核心價值、常見分層類型,詳解分層下的 ETL 架構及數據轉換環節,介紹數據倉庫分層對應的技術架構,並以貼源層(ODS)、數據倉庫層(DW)、數據服務層(DWS)為例,深入剖析數湖倉分層設計,最後探討數據倉庫技術趨勢並進行小結。 本文為系列文

seatunnel 頭像

@seatunnel

昵稱 SeaTunnel

@starrocks

StarRocks 4.0:Real-Time Intelligence on Lakehouse

回顧 StarRocks 的進化之路,每一次大版本迭代都緊扣時代對數據分析的核心訴求。 StarRocks 1.x,打造極速查詢性能,解決 BI 報表、數據探尋慢的痛點問題。 StarRocks 2.x,解決‘實時分析’的難題,幫助用户更快的洞察業務。 StarRocks 3.x,升級存算分離架構,打造極速統一的湖倉分析能力,讓數據分析更加的簡單高效。 在新的 AI 時代,模型訓練推理與

starrocks 頭像

@starrocks

昵稱 StarRocks