安裝配置Cloudera Manager
(1)配置n1節點
通過工具將下面的安裝包上傳到/tmp目錄
cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz
CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel
CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1
manifest.json
拷貝CM安裝包到/opt目錄下
|
＃cp /tmp/cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz /opt/ |
把CM解壓縮
|
＃cd /opt/ ＃tar -zxvf cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz |
將解壓出來的兩個目錄的所有者改成root
|
# chown -R root.root /opt/cloudera/ # chown -R root.root /opt/cm-5.13.0/ |
把除CM外的三個文件拷貝到CM解壓後的/opt/cloudera/parcel-repo下
|
＃cp /tmp/CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel /opt/cloudera/parcel-repo ＃cp /tmp/CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1 /opt/cloudera/parcel-repo ＃cp /tmp/manifest.json /opt/cloudera/parcel-repo |
把CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1後面的1去掉
|
# cd /opt/cloudera/parcel-repo # mv CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1 CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha |
配置映射服務器的機器名
|
＃vi /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini server_host=n1 |
創建cloudera-scm-agent的pid目錄
|
＃mkdir /opt/cm-5.13.0/run/cloudera-scm-agent |
將mysql的JDBC驅動放入CM的/opt/cm/share/cmf/lib/目錄下
|
＃cp /tmp/mysql-connector-java-5.1.45-bin.jar /opt/cm-5.13.0/share/cmf/lib |
在mysql中創建CM所用數據庫
|
--hive數據庫 mysql>create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; --oozie數據庫 mysql>create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; --hue數據庫 mysql>create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci; --reports數據庫 mysql>create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 訪問授權 mysql>grant all privileges on *.* to 'root'@'n1' identified by 'jtv.123456' with grant option; mysql>flush privileges; |
為CM創建數據庫
|
＃/opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql cm -h localhost -uroot -pjtv.123456 --scm-host localhost scm scm scm |
設置swap空間
|
＃vi /etc/sysctl.conf 末尾加上 vm.swappiness=10 |
創建cloudera-scm用户 (所有節點)
|
＃useradd --system --home=/opt/cm-5.13.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm |
(2)配置子節點
拷貝/etc/sysctl.conf到子節點
|
＃scp /etc/sysctl.conf root@n2:/etc/sysctl.conf ＃scp /etc/sysctl.conf root@n3:/etc/sysctl.conf |
拷貝/opt/ cm-5.13.0到其餘節點
|
＃scp -r /opt/cm-5.13.0 root@n2:/opt/ ＃scp -r /opt/cm-5.13.0 root@n3:/opt/ |
(3)啓動服務
三台機器分別重啓
|
＃reboot |
啓動CM server服務(n1節點)
|
＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-server start |
分別啓動CM agent服務(n1，n2，n3節點)
|
＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start |
啓動服務需要等待幾分鐘，然後訪問安裝界面
n1:7180/cmf/login
用户名／密碼默認(admin/admin)
2.2.安裝配置CDH
(1)登錄後，選擇免費版本，已經沒有節點限制了
(2)當前管理的主機正確的話可以看到三台，n1，n2，n3，選中點擊繼續，如果看不全主機可能有三種原因
原因1:各個節點沒有指向n1服務器
＃vi /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini
server_host=n1
原因2:刪除各節點隨機uuid
＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop
＃rm /opt/cm-5.13.0/lib/cloudera-scm-agent/uuid
＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start
原因3:檢查ssh是否設置免密訪問
＃ssh root@n2
＃ssh root@n3
(3)選擇CDH-5.13.0-1.cdh5.13.0.p0.29這個版本，然後點擊繼續
集羣安裝，Parcel，正常的話可以安裝完成，需要十幾分鍾，若出現主機不良
＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop
＃rm -f /opt/cm-5.13.0/lib/cloudera-scm-agent/cm_guid
＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start
若出現Failure due to stall on seeded torrent
重啓提示節點的agent服務
(4)集羣安裝
(5)繼續，部分警告沒有關係，當然是可以解決的。解決方案如下：
解決方法：
|
# echo 0 > /proc/sys/vm/swappiness # echo never > /sys/kernel/mm/transparent_hugepage/defrag # echo "echo 0 > /proc/sys/vm/swappiness" >>/etc/rc.d/rc.local # echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >>/etc/rc.d/rc.local |
執行解決方法之後點擊重新運行：
(6)機器配置不高的話可選擇自定義服務，選擇當前所需，後續可以再追加安裝。
這裏選擇所有服務。
(7)服務配置，一般情況下保持默認就可以了(Cloudera Manager會根據機器的配置自動進行配置，如果需要特殊調整，自行進行設置就可以了)
(8)接下來是數據庫的設置，檢查通過後就可以進行下一步的操作了：
如果出現以下錯誤。
解決方案：(主節點)依次執行以下命令。
|
# yum install python-psycopg2 # yum install libxml2-python # yum install mysql* |
(9)下面是集羣設置的審查頁面，全部保持默認配置即可：
(10)終於到安裝各個服務的地方了，注意，這裏安裝Hive，或oozie的時候可能會報錯，因為我們使用了MySql作為hive的元數據存儲，hive默認沒有帶mysql的驅動，通過以下命令拷貝一個就行了：
(裏面的部分目錄不對，請根據實際的做修正)：
|
# cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib/ # cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/oozie/lib/ # cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /var/lib/oozie/ # cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar |
大約十幾分鍾，安裝完成。
注：但是運行到這裏可能會出現以下錯誤：
返回cloudera manager主頁,查看已經有了oozie的服務,直接啓動它!
大功告成！！！
末尾設置：設置HADOOP_CLASSPATH
# vi ~/.bash_profile
|
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib/* PATH=$PATH:$HOME/bin:$HOME/.local/bin export PATH # source ~/.bash_profile |
