@大數據

動態 列表
@apacheiotdb

時序數據庫 Apache IoTDB 等你“打卡”!2025 OSCAR 開源產業大會完整版議程揭曉

開源作為一種開放共享的新型生產模式,已成為數字經濟創新、開放、共享和可持續發展的核心驅動力。由中國通信標準化協會牽頭主辦,中國信息通信研究院具體承辦的 2025 OSCAR 開源產業大會將於 10 月 28 日在北京中關村國家自主創新示範區會議中心舉行。 大會現場設置開源集市,以面向參會者系統展示優秀開源項目成果,並促進開源主題交流,推動創新合作。時序數據庫 Apache IoTDB 受到邀請,在

apacheiotdb 頭像

@apacheiotdb

昵稱 ApacheIoTDB

@dolphinscheduler

Apache DolphinScheduler 3.3.2 正式發佈!性能與穩定性有重要更新

我們非常高興地宣佈,Apache DolphinScheduler 3.3.2 正式發佈! 本次版本重點圍繞 性能優化、穩定性增強、文檔完善與關鍵問題修復 展開,為廣大用户帶來更加順暢、可靠的數據工作流編排體驗。 主要改進內容 1. 穩定性與數據庫性能提升 在表 t_ds_schedules 中為字段 workflow_definition_code 新增索引,大幅提升訪問調度信息時的數據庫

dolphinscheduler 頭像

@dolphinscheduler

昵稱 海豚調度

@seatunnel

Apache SeaTunnel 支持 Metalake 開發了!避免任務配置敏感信息暴露

今年的開源之夏活動已接近尾聲,Apache SeaTunnel 社區的開發者們在經過漫長的開發過程也都收穫了自己的成果。上週,我們通過文章《巾幗力量助力 Flink 引擎 CDC 源模式演進》分享了董嘉欣同學的開發故事,今天,讓來看看另一位同學——來自上海交通大學軟件工程專業的吳天宇,在本次活動中是如何完成開發任務的吧! 個人介紹 吳天宇,來自上海交通大學軟件工程專業,目前是碩士二年級學生(Git

seatunnel 頭像

@seatunnel

昵稱 SeaTunnel

@seatunnel

LLM 時代,DataAgent × WhaleTunnel 如何將數據庫變更瞬時 “轉譯” 為洞察?

在軟件世界中,用户的形態正在發生變化。 過去,軟件的使用者是工程師、分析師或運維人員;而如今,他們正在被一羣“數字化身”——Agent 所取代。AI 不再只是一個算法模型,而是逐漸演變為能理解業務語境、自動執行任務、並進行協同決策的智能體。 隨着大模型技術的快速成熟,這場以 “Agent 化” 為核心的軟件革命,正推動企業數據系統從傳統的自動化,走向真正的智能化。 在這一趨勢中,數據基礎設施的智

seatunnel 頭像

@seatunnel

昵稱 SeaTunnel

@dolphinscheduler

真實遷移案例:從 Azkaban 到 DolphinScheduler 的選型與實踐

一、為什麼我們放棄了Azkaban? 我們最早選擇用 LinkedIn 開源的 Azkaban 做調度,主要是看中它兩個特點:一是界面清爽,操作簡單;二是它用“項目”來管理任務,非常直觀。那時候團隊剛開始搭建數據平台,這種輕量又清晰的工具,正好符合我們的需要。其他還有其他原因: 社區活躍(當時) 部署簡單,依賴少(僅需 MySQL + Web Server + Executor) 支持 j

dolphinscheduler 頭像

@dolphinscheduler

昵稱 海豚調度

@huikaichedemianbao

啓信寶獲得法博會“行業洞見獎”,相關服務即將登陸“深律通”

為構建多元聯動、創新開放的法律服務體系,近日,以“以法律創新護航科技與產業創新”為主題的2025深圳法律服務博覽會(下稱“法博會”)順利舉辦,吸引國內外權威機構和行業專家參與。合合信息旗下啓信寶憑藉其在法律科技領域的創新應用,於法律科技產品大賽中斬獲“行業洞見獎”。該獎項由深圳市律師協會組織評選,體現了法律行業對啓信寶產品創新性、實用性與可推廣性的權威認可。後續啓信寶相關功能將正式接入深圳市律師協

huikaichedemianbao 頭像

@huikaichedemianbao

昵稱 合合技術團隊

@liudamao

Redis 搭建主從複用-讀寫分離和主備切換,及重要的關鍵詞解釋 部分2

# 3.10註釋公共配置追加文件 根據需求配置是否打開追加文件選項 appendonly yes - 每當 Redis 執行一個改變數據集的命令時(比如 SET),這個命 令就會被追加到 AOF 文件的末尾。這樣的話,當 Redis 重新啓時,程序就可以通過重新執 行 AOF 文件中的命令來達到重建數據集的目的。 3.11從服務器默認是隻讀不允許寫操作(不用修改) 4. 添

liudamao 頭像

@liudamao

昵稱 劉大貓

@data_ai

阿里巴巴雲原生大數據運維平台 SREWorks 正式開源

簡介:阿里巴巴雲原生大數據運維平台 SREWorks,沉澱了團隊近10年經過內部業務錘鍊的 SRE 工程實踐,今天正式對外開源,秉承“數據化、智能化”運維思想,幫助運維行業更多的從業者採用“數智”思想做好高效運維。 作者 | 晟白 來源 | 阿里技術公眾號 隨着行業不斷髮展,大數據AI也逐漸呈現雲原生化的趨勢。複雜的業務場景及其背後涉及到的不同技術方向的開源和自研,使得產品運維面臨技術複雜

data_ai 頭像

@data_ai

昵稱 數據庫知識分享者

@zhaoqianglaoshi

【趙渝強老師】Scala編程語言

Scala是一種多範式的編程語言,其設計的初衷是要集成面向對象編程和函數式編程的各種特性。Scala運行於Java平台(Java虛擬機)之上,併兼容現有的Java程序。因此,要安裝Scala環境之前,首先需要安裝Java的JDK。學習Scala編程語言,將為後續學習Spark和Flink奠定基礎。視頻講解如下: https://www.bilibili.com/video/BV1wdUWYe

zhaoqianglaoshi 頭像

@zhaoqianglaoshi

昵稱 趙渝強老師

@alluxio_com

Alluxio在數據索引和模型分發中的核心價值與應用

在當前的技術環境下,搜索、推薦、廣告、大模型、自動駕駛等領域的業務依賴於海量數據的處理和複雜模型的訓練。這些任務通常涉及從用户行為數據和社交網絡數據中提取大量信息,進行模型訓練和推理。這一過程需要強大的數據分發能力,尤其是在多個服務器同時拉取同一份數據時,更是考驗基礎設施的性能。 在這樣的背景下,Alluxio Enterprise AI 在數據索引與模型分發/部署方面展示了其獨特的優勢,特

alluxio_com 頭像

@alluxio_com

昵稱 Alluxio

@starrocks

StarRocks 在愛奇藝大數據場景的實踐

作者:林豪,愛奇藝大數據 OLAP 服務負責人 小編導讀: 本文整理自愛奇藝工程師在 StarRocks 年度峯會的分享,介紹了愛奇藝 OLAP 引擎演化及引入 StarRocks 後的效果。 在廣告業務中,StarRocks 替換 Impala+Kudu 後,接口性能提升 400%,P90 查詢延遲縮短 4.6 倍。 在“魔鏡”數據分析平台中,StarRocks 替代 Spar

starrocks 頭像

@starrocks

昵稱 StarRocks

@ruanjiankaifa_xiaofanya

業務分析必備!用JVS-智能BI製作帶漸變效果的分組條形圖實戰教程

在數據驅動決策的時代,圖表成為數字的翻譯官,在各個場景中都能用到。 其中條形圖以直觀的橫向對比為特點,成為業務分析、學術研究、商業報告中的核心載體。 條形圖圖表又可以分為分組條形圖和基礎條形圖。這兩個圖表是我們很常見的一種可視化圖表展示,今天我們用JVS-智能BI的可視化圖表來配置基礎條形圖,用它來展示出條形圖圖表的獨有樣式配置。 樣式配置 進入到圖表設計,點擊選擇基礎條形圖,

ruanjiankaifa_xiaofanya 頭像

@ruanjiankaifa_xiaofanya

昵稱 軟件部長

@njwutong

qData 數據中台完整功能介紹 —— 商業版與開源版功能對比

一、qData 數據中台概覽 在數字化轉型的大背景下,數據已經成為企業最核心、最具價值的資產。qData 數據中台,作為企業數據治理與應用的關鍵平台,憑藉高性能與創新理念脱穎而出。它秉持 “高效、安全、靈活、開放” 的設計原則,致力於為企業打造一站式的數據解決方案。 qData 數據中台具備多方面優勢:在 數據接入 上,能夠廣泛兼容主流數據庫與消息隊列,確保異構數據順暢匯聚;在 數據建模 上,提供

njwutong 頭像

@njwutong

昵稱 吳大同

@njwutong

qData 數據中台【開源版】發佈 1.0.5 版本,全面提升規則治理、非結構化數據處理與部署體驗

2025年9月3日 —— 企業級開源數據中台 qData 開源版 正式發佈 1.0.5 版本。本次更新聚焦 規則治理一體化、非結構化數據支持、以及開源版的體驗與部署優化,進一步提升規則複用能力、數據接入廣度與運維效率,幫助企業和開發者更輕鬆地構建高質量數據治理體系。 ✨ 新增功能 🧩 字段級規則綁定:在“數據元類型”中即可為字段綁定稽查與清洗規則,任務和組件配置時自動加載並可二次修改,大幅減

njwutong 頭像

@njwutong

昵稱 吳大同

@njwutong

qData 數據中台開源版部署全攻略:三種方式任你選擇

作為一款專注於數據治理與數據資產管理的數據中台,qData 數據中台開源版(社區版本) 提供了靈活的部署方式,滿足不同階段用户的需求:從初學者的快速上手,到研發團隊的日常開發,再到生產環境的大規模部署。本文將詳細介紹三種部署方式的適用場景和特點,幫助你快速找到最適合的方案。 🚀 三種部署方式對比 部署方式 説明 適用場景 Docker C

njwutong 頭像

@njwutong

昵稱 吳大同

@njwutong

輕鬆上手 qData 數據中台開源版:Docker Compose 助你10分鐘跑起來

説在前面 誰適合看這份指南? 初次接觸 qData,希望快速體驗功能的小夥伴 不想折騰複雜環境配置和前端打包的人 想用“一鍵啓動”省事體驗完整平台的用户 我們已經為你準備好“開箱即用”的完整部署包,包括: ✅ 前端靜態資源(打包好的 dist 文件夾) ✅ DolphinScheduler 調度器(無需額外安裝) ✅ Hadoop 全家桶(HDFS + YARN) ✅ Flin

njwutong 頭像

@njwutong

昵稱 吳大同

@njwutong

從兼容到極致性能——qData數據中台商業版核心指標解讀

在數字化轉型的背景下,企業對數據中台的要求越來越高——既要兼容信創環境,又要在性能上經得起大規模業務的考驗。qData 數據中台商業版針對這些關鍵問題,設定了一系列清晰的技術指標和性能指標。 一、技術指標 1. 架構與兼容 信創適配:核心模塊已在國產 X86 CPU、國產操作系統及達夢數據庫環境下完成兼容性驗證。 多引擎支持:批處理(Spark)與流處理(Flink)雙引擎共存,可按業務場

njwutong 頭像

@njwutong

昵稱 吳大同

@njwutong

qData 數據中台:全面支持 ARM 架構與信創國產化環境的兼容性説明

一、概述 qData 數據中台基於 Java、Vue 與 Spring Boot 技術體系構建,具備高度模塊化與跨平台特性,可在多種硬件與操作系統環境中穩定運行。 在國產化與信創體系持續深化的背景下,qData 已完成在 ARM 架構服務器(包括鯤鵬、飛騰、海光等)以及 信創軟硬件生態(涵蓋統信 UOS、銀河麒麟、達夢數據庫等)上的兼容性驗證與適配工作。該系統能夠在國產軟硬件環境下保持性能穩定與功

njwutong 頭像

@njwutong

昵稱 吳大同

@njwutong

qData數據中台【開源版】 v1.0.6 震撼發佈:全面重構,能力躍升!

所見即所得,全流程沉浸式體驗 —— qData 1.0.6 正式上線! 我們很高興地宣佈,qData 開源版 v1.0.6 正式發佈!這是一次從內到外的深度重構與能力升級,不僅帶來了多項重磅新功能,更對核心模塊進行了系統性優化,修復了大量歷史問題,全面提升穩定性、易用性與可維護性。 無論你是初次接觸數據中台的新用户,還是長期關注 qData 的開發者,本次更新都將為你帶來耳目一新的使用體驗。

njwutong 頭像

@njwutong

昵稱 吳大同

@starrocks

StarRocks 助力印度領先即時零售平台 Zepto 構建實時洞察能力

導讀: 開源無國界,在本期 “StarRocks 全球用户精選案例” 中,我們走進印度即時零售品牌 Zepto。 這家以 “10 分鐘送達” 聞名的公司,業務已覆蓋 50+ 城市、45,000+ 商品,品類橫跨生鮮雜貨、電子產品、美妝個護、服飾、玩具等。憑藉前沿技術與戰略佈局的前置倉網絡,Zepto 在短短几年間徹底改變了印度的即時零售格局。 隨着規模擴張,Zepto 藉助 StarRo

starrocks 頭像

@starrocks

昵稱 StarRocks

@zhaoqianglaoshi

【趙渝強老師】Kafka消息的消費模式

Kafka消費者組中的消息消費模型有兩種,即:推送模式(push)和拉取模式(pull)。視頻講解如下: https://www.bilibili.com/video/BV1kG23Y4EZP/?aid=113282815891... 一、消息的推送模式 這種消息的消費模式需要記錄消費者的消費者狀態。當把一條消息推送給消費者後,需要維護消息的狀態。如果這條消息已經被消費將會對消息進行標記。這

zhaoqianglaoshi 頭像

@zhaoqianglaoshi

昵稱 趙渝強老師

@doge_king

入門向:下一代實時計算基礎設施-Fluss

本文在綠泡泡“狗哥瑣話”首發於2024.12.15 -關注不走丟。 上期講Flink Forward Aisa的視頻比較受歡迎,這期加更講Fluss。 為了方便新觀眾瞭解Fluss。簡單介紹一下Fluss,這玩意兒主要是為實時分析而生的流存儲。 所以它會有和Kafka一樣的能力,但是比起Kafka,多一個直接查的能力。 用在數據湖場景,比如配合Paimon,那麼就可以當作一個實時層,整個鏈路的延

doge_king 頭像

@doge_king

昵稱 泊浮目