@數據庫

动态 列表
@jdcdevloper

理解Mysql索引原理及特性 | 京東物流技術團隊

作為開發人員,碰到了執行時間較長的sql時,基本上大家都會説”加個索引吧”。但是索引是什麼東西,索引有哪些特性,下面和大家簡單討論一下。 1 索引如何工作,是如何加快查詢速度 索引就好比書本的目錄,提高數據庫表數據訪問速度的數據庫對象。當我們的請求打過來之後,如果有目錄,就會快速的定位到章節,再從章節裏找到數據。如果沒有目錄,如大海撈針一般,難度可見一斑。這就是我們經常碰到的罪魁禍首,全表掃描。

jdcdevloper 头像

@jdcdevloper

昵称 京東雲開發者

@kunaodehuluobo

數據庫索引回表困難?揭秘PolarDB存儲引擎優化技術

引言 數據庫系統為了高效地存儲、檢索和維護數據,採用了多種不同的數據組織結構。不同的組織結構有其特定的用途和優化點,比如提高查詢速度、優化寫入性能、減少存儲空間等。常見的數據庫記錄組織結構有: B-Tree B-Tree是一種平衡的多路搜索樹,特別適合存儲在外部存儲器(如硬盤)中。它通過減少訪問磁盤的次數來優化讀寫操作。B-Tree廣泛應用於數據庫管理系統和文件系統中,用於存儲索引和

kunaodehuluobo 头像

@kunaodehuluobo

昵称 阿里雲瑤池數據庫

@mirrorship

深入理解 StarRocks Bitmap 索引和 Bitmap 去重

在 StarRocks 中,Bitmap 索引和 Bitmap 去重是兩種基於位圖技術的核心功能,但它們的應用場景、實現機制以及優化目標存在顯著差異。以下從定義、作用、實現原理、適用場景及限制等方面進行詳細對比分析: 一、Bitmap 索引的作用與原理 StarRocks 中的 Bitmap 索引是一種特殊的數據庫索引,其主要作用是優化查詢性能,特別是在處理低基數列(如性別、地區等)和高基數列的過

mirrorship 头像

@mirrorship

昵称 鏡舟科技

@chen_67f9ccbe6f07b

【深度剖析】MySQL 索引下推:原理、案例與性能提升實戰

你是否曾經為 MySQL 查詢性能苦惱?或者聽説過"索引下推",但不太明白它是如何工作的?今天我就和大家聊聊 MySQL 中一個強大卻常被忽視的特性 - 索引下推(Index Condition Pushdown,簡稱 ICP)。這個特性從 MySQL 5.6 版本引入,能有效提升查詢性能,減少 IO 操作,但很多開發者對它的理解還不夠深入。 索引下推是什麼? 索引下推是由 MySQL 優化器決定

chen_67f9ccbe6f07b 头像

@chen_67f9ccbe6f07b

昵称 異常君

@mirrorship

StarRocks 向量索引如何讓大模型“記性更好”?

隨着 ChatGPT、DeepSeek 等大語言模型的普及,我們已經能夠與 AI 進行流暢的對話。然而,即使是最先進的大模型也面臨着“記憶困境”,具體表現模型只能記住訓練時接觸的知識,且這些知識在使用時很可能會過期。實際應用或在處理特定領域問題時,可能生成看似合理但實際錯誤的內容。 大模型的“知識固化”問題一定程度上限制了其在企業級應用中的價值。那麼,如何讓大模型擁有更好的“記性”,實現知識的動態

mirrorship 头像

@mirrorship

昵称 鏡舟科技

@abai_681266b7f0de8

MySQL日誌文件之二進制日誌Binlog詳解

Binlog(二進制日誌) 數據庫管理中不可或缺的重要工具,記錄了數據庫中的所有變更操作,為數據恢復、主從複製和審計等關鍵功能提供了基礎 是MySQL 服務器層維護的一種二進制格式的日誌文件,記錄了所有DDL(數據定義語句)和DML(數據操作語句),但不包括 select 和 show 等 作用: 數據恢復:某些場景下的數據恢復工作需要藉助 Bin log 完成 主從複製:在

abai_681266b7f0de8 头像

@abai_681266b7f0de8

昵称 晚上不吃飯

@kaiwudb

常用時序數據壓縮編碼算法淺析

時序數據的概念和特點 時序數據是指時間序列數據,是按時間順序記錄的數據列。時序數據可以是時期數,也可以時點數。對於數據庫而言,時序數據一般是一系列帶有時間戳和數據值的數據點,且各列數據值類型相同、數值隨時間戳遞增(減)或在有限區間內波動。 時序數據常用壓縮編碼方式 從時序數據的特點來看,通用的壓縮算法和按行壓縮並不能很好的壓縮時序數據,因此時序數據庫大多都針對不同類型的數據按列採用不同壓縮編碼方式

kaiwudb 头像

@kaiwudb

昵称 KaiwuDB

@woyaofeidegenggao_6395f006f02b5

數據字典標準與統一的重要性(碼錶&枚舉值)

在日常的軟件開發當中,開發者經常會聽到“公共代碼、編碼、碼錶、枚舉值”這樣的名詞,對這些概念可能會有些混淆和認知不透徹,那麼這篇文章會詳細論述一下關於數據字典的相關概念、應用、標準與統一的重要性及其數據來源。 關於“公共代碼、編碼、碼錶、枚舉值”的含義,其本質都可以統一為碼錶,是對某一領域事務或概念的一定範圍的劃分,有相對固定的取值邊界。其最基本的結構就是鍵值對,一般由中英文名稱編碼組成,由可枚舉

woyaofeidegenggao_6395f006f02b5 头像

@woyaofeidegenggao_6395f006f02b5

昵称 我要飛的更高

@lanyiyun666

藍易雲:GC的前置工作,聊聊GC是如何快速枚舉根節點的

GC 的前置工作:快速而準確的根枚舉是怎麼做到的? ⚡ 在開始標記前,主流運行時都會做一輪“整頓秩序”的前置工作,目標是:以極低停頓時間把 span style="color:red;"GC 根(Roots)/span 找全、找準。根通常來自:線程span style="color:red;"寄存器/span、各線程span style="color:red;"棧幀/span、全局/靜態區、線程本

lanyiyun666 头像

@lanyiyun666

昵称 藍易雲

@ivorysql_xiaozhuli

AI時代雲原生數據庫一體機的思考

本文整理自 IvorySQL 2025 生態大會暨 PostgreSQL 高峯論壇的演講分享,演講嘉賓:唐成,中啓乘數科技 CTO,資深 PostgreSQL 專家。 引言 AI 技術正從訓練轉向推理與應用,數據基礎設施面臨新的挑戰。傳統數據庫難以滿足 AI Agent 對實時性、多模態檢索和彈性擴展的需求。PostgreSQL 因其擴展性成為 AI 時代的數據基石,雲原生數據庫一體機通過存算分離

ivorysql_xiaozhuli 头像

@ivorysql_xiaozhuli

昵称 IvorySQL

@ivorysql_xiaozhuli

IvorySQL文檔共建計劃第一期!提 PR,提 Issue,贏取 Beats 耳機、機械鍵盤、書籍等多重好禮!

文檔是開源項目的重要組成部分。結構清晰、內容詳細且準確、易於理解,這樣的文檔可以讓用户更容易理解並上手使用開源項目,在使用的過程中,大部分問題也可以通過閲讀理解文檔來解決。在開源數據庫的世界裏,一份完整、準確的文檔不僅是技術的指南針,更是社區成長的基石。 作為一款基於 PostgreSQL 的開源數據庫,IvorySQL 一直致力於提供更優質的用户體驗。然而,隨着功能的不斷迭代和任務的增多,Ivo

ivorysql_xiaozhuli 头像

@ivorysql_xiaozhuli

昵称 IvorySQL

@ivorysql_xiaozhuli

PostgreSQL的邏輯複製spill溢出案例和啓停庫邏輯

本文整理自 IvorySQL 2025 生態大會暨 PostgreSQL 高峯論壇的演講分享,演講嘉賓:劉智龍。 引言 在數據庫運維過程中,停庫與起庫是繞不開的核心環節。然而,在複雜的生產環境中,這些操作並非總能順利完成。以下結合實際案例,對 PostgreSQL 在停庫和起庫過程中可能遇到的典型問題進行技術剖析。 WALsender、archiver 如何優雅阻止停庫 WALsender 阻止停

ivorysql_xiaozhuli 头像

@ivorysql_xiaozhuli

昵称 IvorySQL

@ivorysql_xiaozhuli

直播預告|PostgreSQL 18 六大新特性深度解析

PostgreSQL 18 已於 9 月 25 日正式發佈。該版本包含大量改進,其中有多項新特性。在 PostgreSQL 18 發佈後,IvorySQL 社區推出了一篇六大新特性解讀的文章聚焦六大功能:PostgreSQL 18 新特性深度解析,引發了多人關注。 本次直播,我們邀請到了本文的六位作者,為大家深度解析每一個功能的變化。同時,我們特別邀請了彭衝老師擔任本次直播的主持人。 觀看直播即有

ivorysql_xiaozhuli 头像

@ivorysql_xiaozhuli

昵称 IvorySQL

@ivorysql_xiaozhuli

IvorySQL 亮相第 27 屆中國國際軟件博覽會:開源創新,共築軟件新生態

2025 年 10 月 15 日至 17 日,第 27 屆中國國際軟件博覽會(簡稱軟博會)將在鄭州國際會展中心盛大舉辦。作為我國軟件和信息技術服務領域規模最大、影響力最強的專業盛會,軟博會已成功舉辦 26 屆,歷來備受國家和社會各界高度關注。本屆軟博會以“開源構築新生態,軟件智造新未來”為主題,聚焦 AI 重塑軟件、軟件定義未來、工業軟件創新發展、開源鴻蒙生態體系建設等前沿領域,匯聚基礎軟件、工業

ivorysql_xiaozhuli 头像

@ivorysql_xiaozhuli

昵称 IvorySQL

@ivorysql_xiaozhuli

直播回顧|PostgreSQL 18 六大新特性深度解析

10 月 16 日,IvorySQL 社區組織了一場線上直播,主題為:PostgreSQL 18 六大新特性深度解析。以下為本場直播的回顧。 嘉賓簡介 王世鑫,數據庫軟件工程師 張虎,數據庫軟件工程師 權宗亮,數據庫軟件工程師 蘭柯,數據庫軟件工程師 史躍飛,數據庫軟件工程師 胡勳棋,數據庫軟件工程師 矯順田,數據庫軟件工程師 特邀主持人:彭衝,PostgreSQL ACE,Po

ivorysql_xiaozhuli 头像

@ivorysql_xiaozhuli

昵称 IvorySQL

@ivorysql_xiaozhuli

在一台機器上搭建一體化 Ceph 存儲集羣

概述 Ceph 是一個開源的軟件定義存儲平台,它在單個分佈式計算機集羣上實現對象存儲,並提供對象級、塊級和文件級存儲的三合一接口。Ceph 存儲集羣由 Ceph 監視器、Ceph 管理器、Ceph 元數據服務器和 OSD 組成,它們協同工作來存儲和複製數據,供應用程序、Ceph 用户和 Ceph 客户端使用。Ceph 還提供了使用 PostgreSQL 來利用網絡存儲的選項。 在這篇文章中,我將指

ivorysql_xiaozhuli 头像

@ivorysql_xiaozhuli

昵称 IvorySQL

@ivorysql_xiaozhuli

災難恢復工具內核細節探究與分享

本文整理自 IvorySQL 2025 生態大會暨 PostgreSQL 高峯論壇的演講分享,演講嘉賓:張晨,公眾號《ZhangChen-PDU》主理人。 前言 在數據庫運維中,災難恢復始終是保障業務連續性和系統可靠性的核心環節。隨着數據庫規模和複雜性的增加,傳統工具在極端場景下的侷限性愈發明顯,因此需要更專業、高效的解決方案來應對數據損壞或不可啓動的情況。 PDU 的快速介紹 在數據庫運維場景中

ivorysql_xiaozhuli 头像

@ivorysql_xiaozhuli

昵称 IvorySQL

@zhaoqianglaoshi

【趙渝強老師】PostgreSQL的內存結構

PostgreSQL的內存結構分為兩種不同的類型,它們分別是本地內存和共享內存。它們的關係如下圖所示: 視頻講解如下: https://www.bilibili.com/video/BV1EBs2zgE5B/?aid=115444912492... 一、 本地內存 PostgreSQL的本地內存是指每個後台進程(backend process)自己使用的內存區域,下面列舉了Postg

zhaoqianglaoshi 头像

@zhaoqianglaoshi

昵称 趙渝強老師

@motianlun_5d0766992e67a

技術分享 | PG基於備份和WAL日誌恢復數據

本文為墨天輪數據庫管理服務團隊第137期技術分享,內容原創,作者為技術顧問羅海鷗,如需轉載請聯繫小墨(VX:modb666)並註明來源。如需查看更多文章可關注【墨天輪】公眾號。 適用範圍 PG:ALL 方案概述 PG數據庫發生誤操作,造成數據丟失後如何恢復數據。 實施步驟 一、實驗環境 column1 源庫 目標庫 IP地址 192.1

@ivorysql_xiaozhuli

使用 PostgreSQL 時間點恢復(Point-In-Time Recovery)的多種數據恢復技術

引言 本文面向那些已經具備一定數據庫經驗、但希望進一步學習 PostgreSQL 基礎知識的初學者。假設已在 Ubuntu 環境中正確安裝 PostgreSQL,本文的全部操作基於 PostgreSQL 16(開發版本)與 Ubuntu 22.10 系統完成。文章將介紹三種常用的數據恢復方法: 恢復至最新狀態。 基於日誌序列號(LSN, Log Sequence Number)的恢復。 基

ivorysql_xiaozhuli 头像

@ivorysql_xiaozhuli

昵称 IvorySQL

@seatunnel

一行代碼引發 12G 內存 5 分鐘爆倉!SeaTunnel Kafka 連接器"內存溢出"元兇抓到了

轉載 | 滑思眉Philip 問題背景 在Apache SeaTunnel 2.3.9版本的Kafka連接器實現中,存在一個潛在的內存溢出風險。當用户配置流式作業從Kafka讀取數據時,即使設置了讀取速率限制(read_limit.rows_per_second),系統仍可能出現內存持續增長直至OOM(Out Of Memory)的情況。 問題現象 用户在實際部署中觀察到以下現象: 在8核1

seatunnel 头像

@seatunnel

昵称 SeaTunnel

@bytebase

保護我方水晶,2024 數據庫安全工具盤點

在數據價值堪比石油的數字時代,對每個組織而言,保護這一核心資產顯得尤為重要。無論是來自外部的黑客攻擊和惡意軟件,還是源於內部的人為失誤和內鬼行為,威脅無處不在。本文將介紹幾款先進的數據庫安全工具,從不同維度確保數據安全。 網絡安全:Tailscale 數據庫密鑰管理:Infisical 按需數據庫訪問:Indent 全方位人到數據庫操作管理:Bytebase Tailscale Tai

bytebase 头像

@bytebase

昵称 Bytebase

@openeuler

tornado 4.2.1 移植指南(openEuler 20.03 LTS SP1)

介紹 簡要介紹 Tornado是一個Python Web框架和異步網絡庫,最初由FriendFeed開發。 通過使用非阻塞網絡I / O,Tornado可以擴展到成千上萬的開放連接,非常適合長時間輪詢,WebSocket和需要與每個用户建立長期連接的其他應用程序。 本案例使用x86_64架構虛擬機,通過評估工具x2openEuler評估tornado 4.2.1軟件移植到openEuler操

openeuler 头像

@openeuler

昵称 openEuler

@infinilabs

Easysearch Java SDK 2.0.x 使用指南(一)

各位 Easysearch 的小夥伴們,我們前一陣剛把 easysearch-client 更新到了 2.0.2 版本!藉此詳細介紹下新版客户端的使用。 新版客户端和 1.0 版本相比,完全重構,拋棄了舊版客户端的一些歷史包袱,從裏到外都煥然一新!不管是剛入門的小白還是經驗豐富的老司機,2.0.x 客户端都能讓你開發效率蹭蹭往上漲! 到底有啥新東西? 更輕更快: 以前的版本依賴了一堆亂七八糟

infinilabs 头像

@infinilabs

昵称 極限實驗室