博客 / 列表

趙渝強老師 - 【趙渝強老師】Memcached的路由算法

Memcached支持兩種不同方式的客户端路由算法,即:求餘數Hash算法和一致性Hash算法。下面分別進行介紹。 一、 求餘數的路由算法 求餘數Hash算法的客户端路由是對插入數據的鍵進行求餘數,根據餘數來決定存儲到哪個Memcached實例。視頻講解如下: https://www.bilibili.com/video/BV1qJStYqEAB/?aid=113389888084... 例

nosql , 數據庫 , memcached

趙渝強老師 - 【趙渝強老師】HBase的體系架構

HBase是大表(BigTable)思想的一個具體實現。它是一個列式存儲的NoSQL數據庫,適合執行數據的分析和處理。簡單來説,就是適合執行查詢操作。從體系架構的角度看,HBase是一種主從架構,包含:HBase HMaster、Region Server和ZooKeeper,下圖展示了這一架構。 其中: HBase HMaster負責Region的分配及數據庫的創建和刪除等操作。

hdfs , nosql , hadoop , 數據庫 , hbase

趙渝強老師 - 【趙渝強老師】HBase的邏輯存儲結構

HBase的邏輯存儲結構主要包括:命名空間(NameSpace)、表(Table)和列族(Column Family)。視頻講解如下: https://www.bilibili.com/video/BV1T3BrYcE8a/?aid=113529894410... 下面分別進行介紹。 一、 命名空間(NameSpace) HBase的命名空間相當於Oracle和MySQL中的數據庫,它是對錶

hdfs , nosql , hadoop , 數據庫 , hbase

趙渝強老師 - 【趙渝強老師】HBase的物理存儲結構

HBase的存儲結構分為邏輯存儲結構與物理存儲結構,並且HBase通過邏輯存儲結構來管理物理存儲結構。而最終物理存儲對應的文件又是存儲在HDFS之上。而HBase的物理存儲結構主要包括StoreFile、HFile和HLog日誌。視頻講解如下: https://www.bilibili.com/video/BV1T3BrYcE8a/?aid=113529894410... 一、 數據文件HF

hdfs , nosql , hadoop , 數據庫 , hbase

趙渝強老師 - 【趙渝強老師】Redis的主從複製集羣

Redis的主從複製是指將一台Redis服務器的數據,複製到其他的Redis服務器。前者稱為Master主節點,後者稱為Slave從節點。數據的複製是單向的,只能由主節點到從節點。在默認情況下每台Redis服務器都是主節點。一個主節點可以有多個從節點或者沒有從節點,但一個從節點只能有一個主節點。主從複製的作用: 數據備份:Redis主從複製實現了數據的熱備份,是數據持久化之外的一種數據冗餘方式

redis , nosql , 數據庫 , redis集羣

趙渝強老師 - 【趙渝強老師】大數據日誌採集引擎Flume

Apache Flume支持採集各類數據發送方產生的日誌信息,並且可以將採集到的日誌信息寫到各種數據接收方。其核心是把數據從數據源(Source)收集過來,在將收集到的數據送到指定的目的地(Sink)。為了保證輸送的過程一定成功,在送到目的地(Sink)之前,會先緩存數據(Channel),待數據真正到達目的地(Sink)後,Flume再刪除自己緩存的數據。 一、 Apache Flume的體系架

大數據 , hadoop , flume , etl

趙渝強老師 - 【趙渝強老師】Oracle RMAN的目錄數據庫

在默認情況下,Oracle RMAN將備份時產生的元信息保存到控制文件中。RMAN在執行恢復時,就需要讀取控制文件,從而找到備份的信息來完成數據庫的恢復。因此,如果控制文件發生了丟失和損壞將導致數據庫無法執行恢復。另一方面隨着備份的不斷增多,也會導致控制文件的大小無限增長。為了更好地管理RMAN備份的元信息,Oracle可以使用一個專門的備份信息存儲地來存儲這些信息,這就是RMAN的目錄數據庫(C

oracle , rman , 數據庫

趙渝強老師 - 【趙渝強老師】OceanBase租户的資源管理

OceanBase數據庫是多租户的數據庫系統,一個集羣內可包含多個相互獨立的租户,每個租户提供獨立的數據庫服務。在OceanBase數據庫中,使用資源配置(Unit Config)、資源單元(Unit)和資源池(Resource Pool)三個概念,對各租户的可用資源進行管理。 視頻講解如下: https://www.bilibili.com/video/BV1PQ8qzMEiM/?aid=

oracle , MySQL , 信創 , oceanbase , 數據庫

趙渝強老師 - 【趙渝強老師】Oracle客户端與服務器端連接建立的過程

Oracle數據庫採用的客户端-服務器的Client-Server的架構。Oracle的客户端需要通過使用Oracle數據庫提供的網絡環境來建立與服務器端通信,從而實現正常的數據庫訪問。Oracle的網絡環境如下圖所示。 監聽程序在Oracle網絡服務的作用是非常重要的。監聽程序會負責為客户端建立與數據庫服務器之間的連接。Oracle提供了命令lsnrctl用於啓動和停止監聽程序。下圖展示

oracle , 數據庫

趙渝強老師 - 【趙渝強老師】OceanBase的部署模式

為保證單一機器故障時同一分區的多數派副本可用,OceanBase數據庫會保證同一個分區的多個副本不調度在同一台機器上。由於同一個分區的副本分佈在不同的Zone/Region下,在城市級災難或者數據中心故障時既保證了數據的可靠性,又保證了數據庫服務的可用性,達到可靠性與可用性的平衡。OceanBase數據庫創新的容災能力有三地五中心可以無損容忍城市級災難,以及同城三中心可以無損容忍數據中心級故障。下

oracle , MySQL , oceanbase , 數據庫

趙渝強老師 - 【趙渝強老師】達夢數據庫實例的狀態

達夢數據庫實例包含MOUNT、OPEN和SUSPEND三種狀態。下表説明了數據庫實例每種狀態的含義。 注意:OPEN狀態與MOUNT和SUSPEND能相互轉換,但是MOUNT和SUSPEND之間不能相互轉換。 視頻講解如下: https://www.bilibili.com/video/BV1H5HQznE6A/?aid=115180017029... 達夢數據庫實例包含NORMAL

oracle , 數據庫 , 達夢數據庫

趙渝強老師 - 【趙渝強老師】Oracle數據庫配置助手:DBCA

Oracle提供了數據庫配置助手DBCA來創建Oracle數據庫。DBCA的全稱是Oracle Database Configuration Assistant,它的運行模式有圖形界面和靜默執行兩種方式。使用DBCA可以非常方便地創建Oracle數據庫,也可以配置和刪除Oracle數據庫。 視頻講解如下: https://www.bilibili.com/video/BV1t6pczsE6c

oracle , 數據庫

趙渝強老師 - 【趙渝強老師】使用NetManager創建Oracle數據庫的監聽器

Oracle數據庫軟件安裝成功後需要使用NetManager創建監聽器,然後才可以創建Oracle數據庫並啓動數據庫的實例。Oracle NetManager是Oracle數據庫的網絡配置工具,主要用於管理客户端與服務器之間的網絡連接配置,支持監聽程序配置、服務命名解析及網絡命名方法的維護。NetManager主要提供以下功能: ‌ 配置監聽器:NetManager管理服務器上的監聽進程

oracle , 數據庫

趙渝強老師 - 【趙渝強老師】基於PostgreSQL的分佈式數據庫:Citus

由於PostgreSQL具有強大的功能和良好的可擴展性,因此基於PostgreSQL很容易就可以實現分佈式架構。Citus便是具體的一種實現方式。它以擴展的插件形式與PostgreSQL進行集成,且獨立於PostgreSQL內核,部署也比較簡單。Citus是現在非常流行的基於PostgreSQL的分佈式解決方案。 一、 Citus基礎 下面是百度百科中對分佈式數據庫的定義: 分佈式數據庫系統通

數據庫 , postgresql , 開源 , 分佈式 , SQL

趙渝強老師 - 【趙渝強老師】MongoDB的分佈式存儲架構

在MongoDB存在另一種集羣就是MongoDB的分片技術。通過使用分片可以滿足MongoDB數據量大量增長的需求。當MongoDB存儲海量的數據時,一台MongoDB服務器可能不能滿足存儲數據的要求,也可能不足以提供可接受的讀寫吞吐量。MongoDB為了解決這一系列的問題提出了將數據分割存儲在多台服務器上,使得數據庫系統能存儲和處理更多的數據,以實現數據的分佈式存儲。這就是MongoDB的分片。

nosql , mongodb , 數據庫

趙渝強老師 - 【趙渝強老師】Redis Cluster分佈式集羣

主從複製是Redis集羣實現的一種方式,而Redis集羣的另一種實現方式就是Redis Cluster。它是Redis提供的數據分佈式存儲解決方案。 一、 什麼是Redis Cluster? 日常在對於Redis的使用中經常會遇到一些問題,例如:如何保證Redis的持續高可用性?如何實現單實例Redis擴充?如何提升高併發時的性能問題?針對這些問題,在Redis 3.0版本中推出了Redis Cl

redis , nosql , 數據庫

趙渝強老師 - 【趙渝強老師】TiDB PD集羣存儲的信息

TiDB是PingCAP公司自主設計、研發的開源分佈式關係型數據庫,是一款同時支持在線事務處理與在線分析處理(Hybrid Transactional and Analytical Processing,HTAP)的融合型分佈式數據庫產品,具備水平擴容或者縮容、金融級高可用、實時HTAP、雲原生的分佈式數據庫、兼容MySQL協議和MySQL生態等重要特性。目標是為用户提供一站式OLTP(Onlin

MySQL , 數據庫 , tidb

趙渝強老師 - 【趙渝強老師】Docker容器的資源管理機制

在一台Docker宿主機上可以同時啓動多個容器。在默認情況下,Docker的引擎對運行的容器沒有限制硬件資源的使用。而在實際環境下,容器的負載過高會導致佔用宿主機的大量資源。這裏的資源主要是指宿主機的CPU、內存和I/O帶寬這3個方面。 視頻講解如下: https://www.bilibili.com/video/BV1JFxezrEwe/?aid=115337622199... 一、 什麼

kubernetes , Linux , 雲原生 , Docker

趙渝強老師 - 【趙渝強老師】TiDB的底層存儲機制

在內核設計上,TiDB分佈式數據庫將整體架構拆分成了多個模塊,各模塊之間互相通信,組成完整的TiDB系統。對應的架構圖如下: 與傳統的單機數據庫相比,TiDB具有以下優勢: 純分佈式架構,擁有良好的擴展性,支持彈性的擴縮容 支持SQL,對外暴露MySQL的網絡協議,併兼容大多數MySQL的語法,在大多數場景下可以直接替換MySQL 默認支持高可用,在少數副本失效的情況下,數據庫本身

MySQL , 數據庫 , tidb

趙渝強老師 - 【趙渝強老師】MySQL的事務隔離級別

數據庫允許多個客户端同時訪問。當這些客户端併發訪問數據庫中同一部分的數據時,如果沒有采取必要的隔離措施就容易造成併發一致性問題,從而破壞數據的完整性。考慮下圖的場景: 在時間點1上,var的數值是100。客户端A在時間點2的時候更新了它的值為200,但沒有提交事務。在時間點3的時候,客户端B讀取到了客户端A還未提交的數值200。但在時間點4,客户端A執行了回滾操作。那麼,對於客户端B來説,

MySQL , 數據庫 , 事務

趙渝強老師 - 【趙渝強老師】OceanBase的內存管理

OceanBase數據庫是多租户設計的數據庫,同一個進程會運行着多個租户的請求,從租户資源劃分上可以分為三類,500租户內存、系統租户內存、業務租户內存。 500是個特殊的虛擬租户,共享性的、非實體租户消耗的內存都被OceanBase數據庫劃歸500租户。 系統租户是OceanBase數據庫自動創建的第一個實體租户,管理着集羣相關的內部表,這些內部表上的請求觸發的內存就劃歸到了sys租户。

oracle , MySQL , oceanbase , 數據庫

趙渝強老師 - 【趙渝強老師】基於PostgreSQL的MPP集羣:Greenplum

Greenplum本質上是一個基於PostgreSQL的關係型數據庫集羣,實際上是由多個獨立的數據庫服務組合而成的一個邏輯數據庫。與Oracle的RAC不同,這種數據庫集羣採取的是MPP(Massively Parallel Processing,大規模並行處理)架構。Greenplum最大的特點就是基於低成本的開放平台基礎上提供強大的並行數據計算性能和海量數據管理能力。下圖展示了Greenplu

greenplum , 數據庫 , postgresql , SQL

趙渝強老師 - 【趙渝強老師】達夢的數據庫故障類型

達夢數據庫數據庫出現的故障有很多,但主要可以劃分為幾下幾種主要的類型:語句錯誤、用户進程錯誤、網絡故障、用户錯誤、實例錯誤和介質故障。下面分別介紹這幾種故障類型以及相應的解決方案。 視頻講解如下: https://www.bilibili.com/video/BV1Nn4izfEy2/?aid=115377400975... 語句錯誤 語句錯誤是指在操作單個數據庫時發生了失敗,如執行sele

備份恢復 , 數據庫 , SQL , 達夢數據庫

趙渝強老師 - 【趙渝強老師】Hadoop HDFS的快照

HDFS的快照(Snapshot)是一個全部文件系統、或者某個目錄在某一時刻的鏡像。這裏其實可以把HDFS的快照理解成是HDFS提供的一種備份機制。快照應用在以下場景中: 防止用户的錯誤操作 備份 試驗/測試 災難恢復 視頻講解如下: https://www.bilibili.com/video/BV1eTYCzVE4b/?aid=115043685437... 由於HDFS的快

hdfs , 大數據 , hadoop , JAVA