一、paimon部署(每個節點都需要部署,節點為xx.xx.xx.xx1-xx.xx.xx.xx5五個節點)
1.1 添加JAR包
在/opt/cloudera/parcels/CDH/lib/hive/auxlib/目錄下添加jar包
沒有auxlib就創建auxlib文件夾
mkdir /opt/cloudera/parcels/CDH-6.3.2.1.cdh6.3.2.p0.1605554/lib/hive/auxlib/
將paimonjar包添加到auxlib並查看權限
cp /home/bigdata/paimon-hive-connector-2.1-cdh-6.3-1.1.1.jar /opt/cloudera/parcels/CDH-6.3.2.1.cdh6.3.2.p0.1605554/lib/hive/auxlib/
查看權限
ls -ltrh /opt/cloudera/parcels/CDH-6.3.2.1.cdh6.3.2.p0.1605554/lib/hive/auxlib/paimon-hive-connector-2.1-cdh-6.3-1.3-20250715.003327-26.jar
1.2 集羣設置
在hive配置中搜索hive.aux.jars.path
在 Hive 輔助 JAR ⽬錄 新增 /opt/cloudera/parcels/CDH-6.3.2.1.cdh6.3.2.p0.1605554/lib/hive/auxlib/ ⽬錄,如下:
配置後重啓hiveserver2服務
1.3 修改zstd版本
當前的zstd版本可能過低
下載相應版本的zstd
下載地址為:https://repo1.maven.org/maven2/com/github/luben/zstd-jni/1.5.5-11/zstd-jni-1.5.5-11.jar
上傳到hive的lib⽬錄
調整yarn上對應的版本(mapreduce.application.framework.path)
查看3.0.0-cdh6.3.2-mr-framework.tar.gz文件或zstd-jni-1.3.8-1.jar文件所在路徑
sudo find / -type d -iname "*mr-framework*" 2>/dev/null
或者直接查看(優先使用,需要替換兩個目錄下的jar包)
sudo find / -type f -name "zstd-jni-1.3.8-1.jar" 2>/dev/null
將上傳的zstd-jni-1.5.5-11.jar傳入3.0.0-cdh6.3.2-mr-framework.tar.gz文件,並刪除低版本的zstd-jni-1.3.8-1.jar
#上傳文件
sudo cp /home/bigdata/zstd-jni-1.5.5-11.jar /opt/yarn/nm/filecache/10/3.0.0-cdh6.3.2-mr-framework.tar.gz/
#刪除文件
sudo rm /opt/yarn/nm/filecache/10/3.0.0-cdh6.3.2-mr-framework.tar.gz/zstd-jni-1.3.8-1.jar
操作完畢以後,需要修改權限,否則yarn⽆權限訪問
sudo chown -R yarn:hadoop /opt/yarn/nm/filecache/10/3.0.0-cdh6.3.2-mr-framework.tar.gz/
將zstd-jni-1.5.5-11.jar文件傳入hive的
/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib/目錄和/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/目錄下
將jar包傳入hive目錄
sudo cp /home/bigdata/zstd-jni-1.5.5-11.jar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib/
傳入jars目錄
sudo mv zstd-jni-1.5.5-11.jar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/
刪除文件
sudo rm /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/zstd-jni-1.3.8-1.jar
上傳完成後重啓集羣
1.4 操作paimon(主節點執行,10.8.16.201)
進入beeline模式
beeline -u jdbc:hive2://10.8.15.240:10000 -n root
set hive.metastore.warehouse.dir = hdfs:///user/hive/warehouse;
-- 上述的其實是默認值,不配置也可
-- 如果使⽤alluxio,也可以配置alluxio的地址:hive.metastore.warehouse.dir=allu
xio://zk@hadoop1:2181,hadoop2:2181,hadoop3:2181/user/hive/warehouse
set hive.cbo.enable=false;
set paimon.hadoop-load-default-config =false;
1.5 創建庫和表
create database paimon;
#創建表
CREATE TABLE hive_paimon_t1(
age INT COMMENT '年齡',
name STRING COMMENT '姓名'
)
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler';
1.6 插入數據,並查看數據
insert into hive_paimon_t1 values(12,'zs'),(18,'ls'),(15,'wmz');
select * from hive_paimon_t1;
查看數據