tag 數據庫

標籤
貢獻699
3246
05:15 PM · Oct 25 ,2025

@數據庫 / 博客 RSS 訂閱

老紀的技術嘮嗑局 - 應對 “讀放大” 問題的新方法 —— OceanBase 中的 Merge-On-Write 表

背景 OceanBase 從 4.3.0 版本開始,推出了加速 AP 查詢的列存引擎,具體包含: 新的列式編碼 列預聚合信息 列存執行引擎 向量化內存格式 新的查詢優化器,能根據規則和代價動態選擇行存和列存引擎。 OceanBase 列存引擎發佈之後,AP 分析能力得到了大幅提升,在與一系列競品的對比測試中都有比較好的表現,正式踏入了 HTAP 領域。 為了節省存儲成本和簡化用户的運

數據庫

收藏 評論

clougence - 百草味數據架構升級實踐:打造 Always Ready 的企業級數據平台

朱齊天,百草味數據部負責人 前言 百草味是國內知名的休閒零食品牌,業務覆蓋線上電商平台與線下零售渠道,服務用户超過 2 億。隨着商品 SKU 數量劇增和渠道多元化發展,百草味在供應鏈、運營、銷售等環節積累了海量數據,對數據的依賴也日益增強。 在這一背景下,百草味選擇與 CloudCanal 合作,構建統一的數據集成平台,支撐數據驅動的業務運營與決策。 業務背景 百草味的業務涵蓋從原料採購、生

大數據 , MySQL , 數據庫 , starrocks , 數據分析

收藏 評論

databend - Databend 十月月報:存儲過程正式可用,數據流程全面自動化

Hi,Databend 的朋友們!🚀 十月,我們專注於生產自動化的落地。存儲過程正式可用並移除了實驗性標記,SQL 腳本引擎支持 dynamic schema introspection,能夠處理複雜的 ETL 流程。同時,我們發佈了 JSON 全文檢索的 inverted index、智能內存溢出控制,並全面升級了運維工具——本月共發佈了十一個版本。 月度數據 22 個新功能,19 個 bug

數據庫

收藏 評論

KaiwuDB - 10 月熱搜精選

1、第三屆開放原子大賽 - KWDB 核心貢獻挑戰賽決賽晉級名單正式公佈! 本屆大賽由開放原子開源基金會主辦,作為國內開源領域的頂尖賽事,是廣大開發者展示才華、交流創新、共建影響力的重要平台。 本次 KWDB 核心貢獻挑戰賽設立 30 萬 元獎金,聚焦物聯網場景下數據寫入與導入的核心課題,自啓動以來備受關注。初賽階段已圓滿結束,共吸引 36 支團隊報名,收到 21 份有效作品。經專家評審團嚴格評定

數據庫

收藏 評論

StarRocks - StarRocks 4.0:FlatJSON,讓 JSON 查詢像列存一樣高效

導讀: StarRocks 4.0 已正式發佈!這一版本帶來了多項關鍵升級。本篇聚焦 JSON 查詢性能的系統性提升——通過全新的 FlatJSON 列式存儲與執行優化機制,StarRocks 4.0 讓 JSON 在實時分析場景中具備接近原生列存的性能。 無論是日誌、埋點還是 IoT 數據,用户都無需額外 ETL,即可直接對 JSON 進行高性能查詢分析,真正讓“靈活的數據結構”與“高效

數據庫 , starrocks , 數據查詢 , Json

收藏 評論

數據集成與治理 - 終於有人把數據庫搭建講清楚了

在信息時代,數據已成為最寶貴的資產。 如何科學地管理這些數據,讓它們從雜亂的信息碎片成為有序的知識寶藏? 我們可以藉助數據庫來實現,數據庫能讓數據管理變得高效可靠。 你看,從網站用户信息到購物記錄,從業務報表到日誌數據,幾乎所有現代應用都離不開數據庫的支撐。 今天我就來給大家聊聊數據庫怎麼搭建,有哪些困難和挑戰,在今後發展中,它有着什麼樣的發展趨勢。 一、數據庫的定義 數據庫,就是一個高度結構化的

觀點 , 大數據 , 教程 , 數據庫

收藏 評論

數據集成與治理 - 一文帶你全面解讀數據治理

先問大家一個問題:公司的數據現在處於一種什麼狀態? 兩年前我幹數據工作時,團隊總是會出現:開會的時候不同部門因為“客户數量”根本對不上而爭吵; 新來的同事想查找信息,卻發現同一個產品叫法有好幾個; 公司想搞個精準營銷,卻發現客户手機號一堆是空的,結果根本就執行不了。 聽着是不是很熟? 其實就是因為沒有進行數據治理。説白了,數據治理可是一項必須要做的基礎性工作。 但是要怎麼做?怎樣做好?有

數據管理 , 教程 , 知識 , 數據庫

收藏 評論

數據集成與治理 - 元數據管理是什麼?怎麼管?

做數據最怕什麼? 需要分析業務時找不到數據在哪;各部門對"活躍用户"等指標定義不一,數據對不上;報表出錯時,還得花大量時間排查問題根源…… 這些情況其實就是缺乏對元數據的有效管理。 找數據難、數據口徑不一致、問題追溯效率低等問題,其實把元數據管理做好了,就能解決這些問題。 下面我就來給大家好好講講元數據管理的概念、作用、管理步驟和重要性,幫你找到切實可行的解決方案。 一、什麼是元數據管理? 咱們先

數據 , 教程 , 知識 , 數據庫

收藏 評論

普郎特 - # Python多進程深度解析:Windows下的進程創建與數據傳遞機制

前言 在使用 Python 的 multiprocessing 模塊時,你是否遇到過這些困惑: 為什麼子進程能訪問 self.url 和 self.headers 這些實例屬性? 子進程是如何獲取類方法、類屬性和模塊函數的? 為什麼數據庫連接不能放在 __init__ 中? if __name__ == '__main__': 到底保護了什麼? 本文將深入剖析 Windows 平台下

教程 , 知識 , 數據庫 , 爬蟲 , Python

收藏 評論

墨天輪 - 2025年10月國產數據庫大事記:達夢前三季度淨利潤大幅增長達3.3億元,移動雲獲CCF科技成果獎……

本文為墨天輪社區整理的2025年10月國產數據庫大事件和重要產品發佈消息。 達夢數據財報顯示,前三季度淨利潤達3.3億元,同比增長89.11%,同時達夢數據屢獲殊榮,包括入選中國軟件百強等。南大通用 GBase 8a 獲評軟博會“2024-2025年度優秀創新軟件產品”;移動云云原生數據庫項目獲CCF科技成果獎;KWDB開發站上線,為開發者提供資源支持;崖山數據庫華東區域總部落地南京;此外,Dol

騰訊雲 , oceanbase , 阿里雲 , 數據庫 , 達夢數據庫

收藏 評論

冷冷的炒麪 - 網站為什麼要HTTPS訪問?

在瀏覽網站時,您可能注意到有些網址以“http://”開頭,而有些則以“https://”開頭。這個額外的“s”代表着安全(Secure),意味着您的連接受到SSL證書的保護。本文將解釋為什麼HTTPS如此重要。 什麼是HTTPS? HTTPS是HTTP的安全版本。它通過SSL(安全套接層)或TLS(傳輸層安全)協議對數據進行加密。當網站使用HTTPS時,瀏覽器和服務器之間的所有通信都會被加密,防

觀點 , HTTP , 知識 , 數據庫 , 前端

收藏 評論

碼雲筆記 - MySQL執行計劃出現 Using filesort 是什麼原因?如何進行優化?

在對以一個SQL的執行計劃進行分析時,我們會關注Extra這個屬性,當這個屬性的值是Using filesort時,就需要看下SQL是否需要優化一下了。 1.Using filesort 比如下面的這個SQL,排序字段上沒有索引,執行計劃Extra就顯示Using filesort: EXPLAINSELECT*FROMtest4ORDERBYtime_stamp; 也可以通過FORMAT=JSO

MySQL , 教程 , 數據庫

收藏 評論

SelectDB技術團隊 - 貨拉拉用户畫像基於 Apache Doris 的數據模型設計與實踐

貨拉拉是國內領先的同城貨運數字化平台,成立於 2013 年。截⾄2025 年 4⽉ ,貨拉拉業務覆蓋全球 14 個市場 ,400+ 城市 ,其中中國內地總共覆蓋 363 座城市 ,⽉活司機達 120 萬 ,⽉活⽤户達 1400 萬, 並在全球設有 6 個數據中⼼。作為共享經濟模式的代表企業 ,貨拉拉通過移動互聯⽹技術整合社會運⼒資源 ,為⽤户提供即時貨運、企業物流、搬家服務等多元化解決⽅案。 在龐

數據庫 , apache

收藏 評論

SelectDB技術團隊 - 從 OpenSearch 到 Apache Doris:領創集團日誌系統升級實踐,降本 45%

隨着業務全球化擴展與數字化運營的深入推進,日誌系統的規模和複雜度不斷攀升,原有基於 OpenSearch 的日誌平台逐漸難以滿足成本控制、性能保障和可維護性等多維需求。為應對持續增長的數據壓力和更靈活的分析場景,領創集團技術團隊啓動了日誌系統的架構升級實踐,並最終選擇 Apache Doris 作為新一代日誌系統的核心。實現了綜合成本下降超 45%、查詢性能提升 5 倍、日誌寫入達到準實時以及靈活

資訊 , 數據庫

收藏 評論

access開發 - Access導出帶圖表的 HTML 報表:技術實現詳解

Hi,大家好! 上週我分享了把表中數據導出為 HTML 的實現;這次聚焦進階:如何把圖表也導出到 HTML 中並保持交互性與可移植性。開始前,給大家再彙報一下框架的情況,由於近兩月參與其他項目的交付,框架開發有所延後;現已調整優先級,計劃本月先發布一版可用實現,後續再按需迭代與優化。本來我也是遊刃有餘,現在是匆匆忙忙,不過這個Flag先立下了。 在 Access 開發中,我們經常需要將

數據庫 , vba , access , HTML , Javascript

收藏 評論

得物技術 - 得物TiDB升級實踐

一、背 景 得物DBA自2020年初開始自建TiDB,5年以來隨着NewSQL數據庫迭代發展、運維體系逐步完善、產品自身能力逐步提升,接入業務涵蓋了多個業務線和關鍵場景。從第一套TIDB v4.0.9 版本開始,到後來v4.0.11、v5.1.1、v5.3.0,在經歷了各種 BUG 踩坑、問題調試後,最終穩定在 TIDB 5.3.3 版本。伴隨着業務高速增長、數據量逐步增多,對 TiDB 的穩定性

數據庫性能優化 , 數據庫 , 數據庫開發 , tidb

收藏 評論

墨天輪 - Oracle 19c ADG 搭建

本文為墨天輪數據庫管理服務團隊第138期技術分享,內容原創,作者為技術顧問楊玉壯,如需轉載請聯繫小墨(VX:modb666)並註明來源。如需查看更多文章可關注【墨天輪】公眾號。 注意:本文測試搭建,正式環境搭建按需修改 所需環境:兩台服務器 主庫:192.168.100.19(自己設置) 主機名:oracle19c 預裝了oracle19c-db軟件 監聽和庫都是正常的 備庫:192.168

oracle , 數據庫 , SQL

收藏 評論

灰常酷的領帶 - 數據分析師的基本功總結

你是否對數據分析這個行業充滿好奇,但又不知從何下手? 別擔心,這篇文章將用最通俗易懂的語言,系統地介紹數據分析師需要具備哪些“基本功”, 並且結合實際生活中的例子和Python代碼,為你鋪平通往數據分析世界的大門。 1. 數據分析的“套路”:核心步驟全解析 數據分析就像是偵探破案,需要遵循一套嚴謹的流程,才能從紛繁複雜的數據中找到線索,最終得出結論。 這個過程,我們可以總結為以下六個核心步驟: 1

數據庫

收藏 評論

運維有小鄧 - 數據庫審計 - 網絡安全的重要組成部分

執行數據庫日誌分析可讓您對存儲在數據庫中的機密或敏感企業數據的所有訪問進行審核。審核數據庫日誌還可通過回答誰更改了關鍵數據、何時更改了關鍵數據等一系列問題,來增強您的內部安全框架。數據庫審核還可以幫助您滿足日益苛刻的合規要求。 一、EventLog Analyzer - 全面的數據庫審核軟件 EventLog Analyzer執行: (1)全面管理 EventLog Analyzer集中收集

知識 , 數據庫

收藏 評論

IvorySQL - 無需安裝!PostgreSQL 18 Windows 便攜部署方案

在 Windows 環境中使用 PostgreSQL 的常見做法是下載安裝程序並進行配置。該方式操作簡便,可自動完成依賴組件和系統服務的部署。然而,對於無需 PostgreSQL 持續運行、需要在多個版本之間靈活切換,或希望具備可複製至任意計算機並直接運行的便攜式環境的場景,本文將介紹一種更靈活的實現方案。 該方案僅適用於個人開發環境。在未進行安全加固的情況下,不應將其用於共享或生產部署等場景。

數據庫 , postgresql

收藏 評論

SelectDB技術團隊 - Apache Doris 4.0.1 版本正式發佈

親愛的社區小夥伴們,Apache Doris 4.0.1 版本已於 2025 年 11 月 08 日正式發佈。此版本聚焦核心模塊的打磨與優化,在 AI Search 方面實現了重要能力擴展,同時全面提升了 Lakehouse 與查詢引擎的穩定性和性能。 GitHub 下載:https://github.com/apache/doris/releases 官網下載:https://doris

數據庫 , 人工智能 , apache-doris

收藏 評論

趙渝強老師 - 【趙渝強老師】MySQL集羣解決方案

在實際的生產環境中,由單台MySQL數據庫服務器不能滿足實際的需求。此時數據庫集羣就很好的解決了這個問題了。採用MySQL分佈式集羣,能夠搭建一個高併發、負載均衡的集羣服務器。但是在搭建MySQL集羣之前,必須要保證每台MySQL服務器裏的數據同步。數據同步可以通過MySQL內部配置就可以輕鬆完成,主要有主從複製和主主複製。 視頻講解如下: https://www.bilibili.com/

MySQL , 數據庫

收藏 評論

SelectDB技術團隊 - Apache Doris Summit 2025 圓滿收官,一文速覽峯會高光時刻!

2025 年 11 月 5 日至 6 日,由飛輪科技主辦的 Apache Doris Summit 2025 技術峯會圓滿落下帷幕。本次峯會以 “Powering Real-Time Analytics Search in the AI Era” 為主題,通過線上直播的形式,成功吸引了全球的 10 萬+開發者、架構師和數據技術專家的參與。大家齊聚雲端,共探 AI 時代背景下,數據價值釋放的全新路

資訊 , 數據庫 , 人工智能 , apache

收藏 評論

TDengine濤思數據 - 一文詳解工業數據庫選型:深度解析 PI System vs TDengine

在工業互聯網與智能製造加速發展的今天,企業的數據量正呈爆發式增長。傳統的歷史數據庫在高併發寫入、分佈式架構、AI 原生能力等方面逐漸難以滿足需求。作為國產時序數據庫的代表,TDengine 以高性能、低成本、雲原生與智能化特徵,成為新一代工業數據底座的首選。 本文嚴格基於公開資料與官方文檔,對國內外主流數據庫(包括 PI System、亞控、紫金橋、麥傑、力控、中控、庚頓)與新興國產工業數據平台

觀點 , 數據庫 , 後端

收藏 評論