博客 / 列表

雲掣科技 - 開源大數據集羣部署(二十一)Spark on yarn 部署

作者:櫰木 1 spark on yarn安裝(每個節點) cd /root/bigdata/ tar -xzvf spark-3.3.1-bin-hadoop3.tgz -C /opt/ ln -s /opt/spark-3.3.1-bin-hadoop3 /opt/spark chown -R spark:spark /opt/spark-3.3.1-bin-hadoop3 2 配置環境變量及

大數據 , 集羣

雲掣科技 - 開源大數據集羣部署(二十)Trino部署

作者:櫰木 1 解壓trino的包到opt目錄 cd /root/bigdata tar -xzvf trino-server-389.tar.gz -C /opt/ ln -s /opt/trino-server-389 /opt/trino 2 創建trino用户,並配置專屬jdk11 useradd trino su – trino chown -R trino:hadoop /opt/tr

大數據 , 雲原生 , 集羣

雲掣科技 - 開源大數據集羣部署(十九)Hbase部署

作者:櫰木 1 HBASE 安裝部署 hbase組件 部署主機 HMaster hd1.dtstack.com,hd2.dtstack.com HRegionServer hd3.dtstack.com,hd2.dtstack.com,hd1.dtstack.com 2 創建hbase Kerberos主體

大數據 , 雲原生 , 集羣

雲掣科技 - 開源大數據集羣部署(八)Ranger編譯部署

作者:櫰木 在hd1.dtstack.com主機root權限下操作。 1、 編譯ranger ranger二進制包編譯過程在本次過程中不做詳細説明。簡單説明如下: 在pom.xml中更改對應hadoop集羣組件版本。 ranger2編譯前提條件是python3和mvn已安裝完成。 編譯命令: mvn clean compile package install -Pranger-jd

部署 , 大數據 , 集羣

雲掣科技 - 開源大數據集羣部署(六)Keytab文件生成

作者:櫰木 Keytab文件用於在不輸入密碼的情況下對主體(用户或服務)進行身份驗證。以下是創建Kerberos身份驗證的步驟。 1、創建keytab文件 除了使用明文密碼登錄之外,Kerberos還可以使用keytab密碼文件登陸,現在為testcuser創建它的keytab文件 ipa-getkeytab -s ipa.hdp.hadoop -p testcuser@HDP.HADOOP

大數據 , 開源 , 集羣

雲掣科技 - 開源大數據集羣部署(三)集羣mysql數據庫部署

開源大數據集羣部署(一)集羣實施規劃 開源大數據集羣部署(二)集羣基礎環境實施準備 作者:櫰木 本文將介紹mysql部署,其中在hd1.dtstack.com主機root權限下安裝配置 1 解壓文件 解壓名為mysql-8.0.31-linux-glibc2.12-x86_64.tar.xz的壓縮包,其內容解壓到/opt/目錄下。然後通過符號鏈接將目錄/opt/mysql-8.0.31

大數據 , MySQL , 數據庫 , 集羣

雲掣科技 - MySQL運維實戰(1.2)安裝部署:使用二進制安裝部署

作者:俊達 引言 上一篇我們使用了RPM進行安裝部署,這是一種安裝快速、簡化部署和管理過程、與操作系統提供的包管理工具緊密集成的部署方法。此外,當你需要更高的靈活性和自定義性,並且願意承擔一些額外的手動配置和管理工作,那麼二進制安裝是一個值得考慮選擇。 以下是二進制安裝的一些優勢: 處理單機多實例:在某些情況下,希望在一台計算機上開啓多個不同的服務器 ,運行多個MySQL服務進程,同時保

MySQL , 運維 , 二進制