tag 數據庫

標籤
貢獻699
3241
05:15 PM · Oct 25 ,2025

@數據庫 / 博客 RSS 訂閱

數據集成與治理 - 數據怎麼分層?從ODS、DW、ADS三大層一一拆解!

備選標題: 數據分層,不止分層那麼簡單! 數據為什麼要分層?三招搞定多源異構數據 數據又多又亂,用的時候: 找不到? 算得慢? 還容易出錯? 別頭疼了!數據分層就是解決這些問題的“法寶”。 簡單説,它就是: ​給數據建個清晰有序的“家”,讓每一類數據都有固定的位置和職責​。 今天,我就帶大家拆解數據分層最核心的三大層: 數據運營層(ODS) 數據倉庫層(DW) 數據應用層(ADS

數據結構 , 數據庫

收藏 評論

小亦智能運維 - Linux應急手冊第四期

小亦平台會持續給大家科普一些運維過程中可能會用到的的應急手冊內容,運維朋友們可以在往期方案中查看更多案例 OP019 rhel6進入救援模式 操作步驟: Linux進入rescue mode,需要用系統重啓用ISO引導 ,ISO版本和系統版本應保持一致。系統成功從ISO映像啓動後: 選擇Rescue installed system 選擇鍵盤和語言

運維 , linux運維 , 數據庫 , Linux , 程序員

收藏 評論

vivo互聯網技術 - 慢SQL優化實戰:從一例線上慢SQL探究執行引擎工作過程

作者: vivo 互聯網服務器團隊- Li Xin 本文通過一個線上慢SQL案例,介紹了Join的兩種算法和Order by的工作原理,並通過Explain和Optimizer_trace工具完整推演了慢SQL的執行過程。基於對原理和執行過程的分析,本文給出一種“引導執行引擎選擇效率更高的算法”的方案,從而使查詢性能得到大幅提升。 1、線上慢 SQL 背景 慢 SQL 會影響用户使用體驗,

索引 , 算法 , join , 數據庫 , mysql優化

收藏 評論

趙渝強老師 - 【趙渝強老師】Oracle客户端與服務器端連接建立的過程

Oracle數據庫採用的客户端-服務器的Client-Server的架構。Oracle的客户端需要通過使用Oracle數據庫提供的網絡環境來建立與服務器端通信,從而實現正常的數據庫訪問。Oracle的網絡環境如下圖所示。 監聽程序在Oracle網絡服務的作用是非常重要的。監聽程序會負責為客户端建立與數據庫服務器之間的連接。Oracle提供了命令lsnrctl用於啓動和停止監聽程序。下圖展示

oracle , 數據庫

收藏 評論

StarRocks - 從多引擎到統一平台:去哪兒網的 StarRocks 實踐

作者:任志民,2023 年加入去哪兒旅行數據平台團隊,主要負責數據平台 OLAP 引擎基礎建設和相關數據產品研發工作。 導讀: 在去哪兒網新一代數據平台架構中,StarRocks 作為統一 OLAP 引擎,替代了原有的 Trino、Presto、Druid、Impala、Kudu、Iceberg、ClickHouse 等多個引擎。如今,去哪兒網 StarRocks 集羣覆蓋全司業務線,支撐

數據結構 , 數據庫 , starrocks , 物化視圖 , olap

收藏 評論

大丸子 - 使用 C# 從SQL數據庫讀取數據庫導出為 Excel 文件

在實際開發中,我們經常需要將數據庫中的查詢結果導出為 Excel 報表,以便進行數據分析、歸檔或分享。在這個過程中,DataTable 通常作為數據載體,而 Excel 則是最常見的導出格式之一。 本文將演示如何: 從 SQL Server 數據庫讀取數據到 DataTable 使用 C# 將 DataTable 插入到 Excel 文件 對導出的 Excel 進行格式化美化 本示例使用

數據庫 , excel , c# , .net , SQL

收藏 評論

煩惱的沙發 - Redis的性能比Memcached好嗎,NoSQL三巨頭怎麼選?

Web開發永遠離不開數據庫,NoSQL的三大數據庫,Redis、Memcached 和 MongoDB,應該選擇哪一個?尤其是前兩者,總是離不開比較,垂垂老矣的 Memcached 似乎已經無力阻擋 Redis 一統江湖了。那麼今天就來介紹一下這三者的區別,提供一個基於實際需求的選型指南。 核心定位:理解它們的根本差異 要做出正確的選擇,首先必須理解每個工具的核心定位。 Memcached

redis , nosql , mongodb , 數據庫 , memcached

收藏 評論

趙渝強老師 - 【趙渝強老師】Redis Cluster分佈式集羣

主從複製是Redis集羣實現的一種方式,而Redis集羣的另一種實現方式就是Redis Cluster。它是Redis提供的數據分佈式存儲解決方案。 一、 什麼是Redis Cluster? 日常在對於Redis的使用中經常會遇到一些問題,例如:如何保證Redis的持續高可用性?如何實現單實例Redis擴充?如何提升高併發時的性能問題?針對這些問題,在Redis 3.0版本中推出了Redis Cl

redis , nosql , 數據庫

收藏 評論

KaiwuDB - KWDB 分佈式架構探究——數據分佈與特性

本期直播我們邀請到 KaiwuDB 高級研發工程師馮友旭為大家分享《KWDB 分佈式架構探究——數據分佈與特性》,點擊下方視頻觀看完整版回放 ↓↓↓ KWDB 分佈式架構探究——數據分佈與特性 📌以下為重點內容節選,點擊上方視頻查看完整版內容。 背景介紹 數據分佈在數據庫中的作用至關重要,它直接影響到數據庫系統的性能、可擴展性、可用性、管理效率和成本。特別是在處理海量數據和高併發請求的現代應用中

架構 , 數據庫 , 分佈式

收藏 評論

數據集成與治理 - 數據字典是什麼?和數據庫、數據倉庫有什麼關係?

公眾號不引流 工作中處理數據時,你是否曾被這些問題所困擾: 數據庫裏的字段名到底是什麼意思?報表裏的指標是怎麼算出來的?某個數據是從哪裏來的? 數據字典就是專門解答這些問題的工具。 它​詳細記錄了數據的名稱、具體含義、類型、長度、可能的取值範圍、從哪裏來、怎麼算的等關鍵信息​。無論是寫代碼的開發者、用數據做分析的同事,還是管理數據的人員,都需要數據字典來準確理解和使用數據。今天這篇文章會直接告訴你

數據結構 , 數據庫

收藏 評論

老紀的技術嘮嗑局 - 技術解讀 | OceanBase高併發場景下的性能保障

本文摘自《OceanBase社區版在泛互場景的應用案例研究》電子書,點擊鏈接獲取完整版內容。 作者:高山岩,OceanBase資深技術專家 海量數據日益增長的今天,越來越多的業務系統面臨高併發、高性能訪問的壓力,以至於企業對業務系統的性能保障訴求越來越強烈。數據庫系統作為業務系統的基礎組件,具備高併發、高性能的能力,是支撐業務系統、滿足客户訴求的關鍵。本文通過闡述數據庫組件的設計,解讀做好系統性能

性能優化 , oceanbase , 數據庫

收藏 評論

Tully_L - Firebase、LeanCloud 與 MongoDB(免費方案)數據庫方案

目錄 推薦數據庫選擇及核心優勢 快速遷移步驟(分方案説明) 上線注意事項 方案選型總結 Firebase、LeanCloud 與 MongoDB(免費方案)數據庫方案 “選擇合適的工具,是高效開發的第一步。” 現有一款已備案的“學生作業及積分管理微信小程序”,後端當前需替換適配免費數據庫,核心需求為快速高效上線、功能覆蓋作業管理/積分統計/用户交互,且控制成本。以下推薦三類免費數據庫方

mongodb , firebase , 數據庫 , leancloud , 後端

收藏 評論

墨天輪 - 技術分享 | 某銀行核心數據庫無法歸檔,Oracle數據庫hang問題分析

本文為墨天輪數據庫管理服務團隊第108期技術分享,內容原創,作者為技術顧問肖傑,如需轉載請聯繫小墨(VX:modb666)並註明來源。如需查看更多文章可關注【墨天輪】公眾號。 一、問題概述 在線日誌無法歸檔,全為active狀態。客户跑批任務受到嚴重影響,客户臨時增加多組在線日誌,用於臨時支撐業務繼續運行。 同時發現節點1大量等待日誌切換,同時也在等待節點2的日誌切換,6:00左右嘗試用正常方式關

oracle , 數據庫 , SQL

收藏 評論

程序員一諾python - redis數據庫筆記第7篇:安裝包,調⽤模塊

🚀🚀🚀本篇主要內容 安裝包 安裝Redis的有3種方式https://github.com/andymccurdy/redis-py 第一種:進⼊虛擬環境,聯⽹安裝包redis pip install redis 第二種:進⼊虛擬環境,聯⽹安裝包redis easy_install redis 第三種:到中⽂官⽹-客户端下載redis包的源碼,使⽤

redis , 數據庫

收藏 評論

煩惱的沙發 - Redis到底什麼,該怎麼用

大家有沒有發現一個問題,新項目剛上線時跑得可快了,自己點點還挺得意。可時間一長,用户一多,網頁就開始轉圈,查個數據庫比綠皮火車還慢。 這時候,可別急着把鍋都甩給數據庫。這是因為架構裏少了一個提速的好幫手,那就是Redis。 Redis到底是什麼 官方文檔會跟你扯一堆“基於內存的非關係型數據庫”,字分開都認識,合在一起就看不懂了。 打個比方,把主數據庫(比如MySQL)當成一個巨大的倉庫。這時候你

觀點 , redis , nosql , 數據庫

收藏 評論

StarRocks - 淘寶閃購實時分析黑科技:StarRocks + Paimon撐起秋天第一波奶茶自由

作者:馬龍傑(澄諾) 阿里巴巴中國電商事業羣-餓了麼-DIC數據智能中心-數據研發流量組 摘要:實時湖倉架構賦能即時零售,在多端流量與億級營銷投入下支撐分鐘級決策與體驗升級。 導讀: 當“秋天的第一杯奶茶”衝上熱搜時,很多人看到的是用户的熱情與訂單的暴漲,而在背後,技術團隊同樣在全力以赴。自 4 月 30 日淘寶閃購上線以來,短短 100 天,業務團隊創造了一個奇蹟,技術團隊則在高併發與

阿里巴巴 , 數據庫 , starrocks , paimon , 物化視圖

收藏 評論

RestCloud - Oracle到ClickHouse:異構數據庫ETL的坑與解法

在數字化浪潮席捲全球的當下,企業數據量呈指數級增長,傳統 OLTP 數據庫 Oracle 在海量數據實時分析場景中逐漸顯得力不從心。而 ClickHouse 作為開源列式存儲數據庫,憑藉超高的查詢性能和並行處理能力,成為企業構建實時數據倉庫的 “新寵”。然而,從 Oracle 到 ClickHouse 的異構數據庫 ETL 遷移之路卻佈滿荊棘,數據類型不兼容、索引機制差異導致的查詢性能拉胯、數據丟

oracle , 數據庫 , clickhouse , etl , 數據傳輸

收藏 評論

趙渝強老師 - 【趙渝強老師】OceanBase的部署模式

為保證單一機器故障時同一分區的多數派副本可用,OceanBase數據庫會保證同一個分區的多個副本不調度在同一台機器上。由於同一個分區的副本分佈在不同的Zone/Region下,在城市級災難或者數據中心故障時既保證了數據的可靠性,又保證了數據庫服務的可用性,達到可靠性與可用性的平衡。OceanBase數據庫創新的容災能力有三地五中心可以無損容忍城市級災難,以及同城三中心可以無損容忍數據中心級故障。下

oracle , MySQL , oceanbase , 數據庫

收藏 評論

墨天輪 - 技術分享 | Oracle19c SYSAUX表空間清理

本文為墨天輪數據庫管理服務團隊第111期技術分享,內容原創,作者為技術顧問肖傑,如需轉載請聯繫小墨(VX:modb666)並註明來源。如需查看更多文章可關注【墨天輪】公眾號。 場景:Oracle19c SYSAUX表空間使用率不足,且無存儲擴容,需要手動清理表空間下的數據。 SYSAUX是SYSTEM表空間的輔助表空間,SYSTEM表空間包含系統的數據字典和數據庫的管理信息,輔助表空間SYSAUX

oracle , 數據庫 , SQL

收藏 評論

SeaTunnel - 一行代碼引發 12G 內存 5 分鐘爆倉!SeaTunnel Kafka 連接器"內存溢出"元兇抓到了

轉載 | 滑思眉Philip 問題背景 在Apache SeaTunnel 2.3.9版本的Kafka連接器實現中,存在一個潛在的內存溢出風險。當用户配置流式作業從Kafka讀取數據時,即使設置了讀取速率限制(read_limit.rows_per_second),系統仍可能出現內存持續增長直至OOM(Out Of Memory)的情況。 問題現象 用户在實際部署中觀察到以下現象: 在8核1

數據同步 , 數據庫 , 開源 , seatunnel , kafka

收藏 評論

趙渝強老師 - 【趙渝強老師】達夢數據庫實例的狀態

達夢數據庫實例包含MOUNT、OPEN和SUSPEND三種狀態。下表説明了數據庫實例每種狀態的含義。 注意:OPEN狀態與MOUNT和SUSPEND能相互轉換,但是MOUNT和SUSPEND之間不能相互轉換。 視頻講解如下: https://www.bilibili.com/video/BV1H5HQznE6A/?aid=115180017029... 達夢數據庫實例包含NORMAL

oracle , 數據庫 , 達夢數據庫

收藏 評論

程序員一諾python - redis數據庫筆記第8篇:配置機器2,數據驗證

🚀🚀🚀本篇主要內容 配置機器2 在演示中,172.16.179.131為當前ubuntu機器的ip 在172.16.179.131上進⼊Desktop⽬錄,創建conf⽬錄 在conf⽬錄下創建⽂件7003.conf,編輯內容如下 port 7003 bind 172.16.179.131 daemonize yes pidfile 7003.pid cluster-enable

redis , 數據庫

收藏 評論

雲輕雨細 - Spring Boot配置優化:Tomcat+數據庫+緩存+日誌,全場景教程

前言 Spring Boot配置優化,每個配置都附有代碼和詳解,即使剛接觸也能輕鬆上手(注:具體配置需結合實際使用的Spring Boot版本進行調整)。 一、Tomcat連接池配置:應對高併發的“交通指揮官” Spring Boot默認集成Tomcat服務器,但默認連接池參數偏保守,高併發時容易出現“請求排隊、響應變慢”的問題,就像“窄馬路容不下太多車”。我們需要調整參數,讓Tomcat能“容納

tomcat , 數據庫 , springboot

收藏 評論

SelectDB技術團隊 - 愛瑪集團:All In SelectDB 構建極速統一數據平台,領航 AI 數智化實踐

愛瑪集團作為電動車行業的領軍企業,在經過三年多的數智化轉型實踐,成功構建了 All In SelectDB 的統一數據平台,實現了從傳統 Hadoop 多組件架構到 SelectDB 輕量級一體化平台的轉變,數據處理效率提高 5-8 倍,系統穩定性顯著提升。與此同時,引入 MCP Server 智能交互查詢,這背後,是愛瑪集團在數據技術選型、架構設計和平台建設方面的深度思考與實踐。 在電動車

運維 , 數據庫 , 人工智能 , apache

收藏 評論