一、paimon部署(每個節點都需要部署,節點為xx.xx.xx.xx1-xx.xx.xx.xx5五個節點)

1.1 添加JAR包

在/opt/cloudera/parcels/CDH/lib/hive/auxlib/目錄下添加jar包
沒有auxlib就創建auxlib文件夾

mkdir /opt/cloudera/parcels/CDH-6.3.2.1.cdh6.3.2.p0.1605554/lib/hive/auxlib/

將paimonjar包添加到auxlib並查看權限

cp /home/bigdata/paimon-hive-connector-2.1-cdh-6.3-1.1.1.jar /opt/cloudera/parcels/CDH-6.3.2.1.cdh6.3.2.p0.1605554/lib/hive/auxlib/

查看權限

ls -ltrh /opt/cloudera/parcels/CDH-6.3.2.1.cdh6.3.2.p0.1605554/lib/hive/auxlib/paimon-hive-connector-2.1-cdh-6.3-1.3-20250715.003327-26.jar

1.2 集羣設置

在hive配置中搜索hive.aux.jars.path

新一代數據湖存儲技術Apache Paimon入門Demo_Leonardo_#架構

在 Hive 輔助 JAR ⽬錄 新增 /opt/cloudera/parcels/CDH-6.3.2.1.cdh6.3.2.p0.1605554/lib/hive/auxlib/ ⽬錄,如下:

新一代數據湖存儲技術Apache Paimon入門Demo_Leonardo_#架構_02


新一代數據湖存儲技術Apache Paimon入門Demo_Leonardo_#sql_03


配置後重啓hiveserver2服務

1.3 修改zstd版本

當前的zstd版本可能過低

新一代數據湖存儲技術Apache Paimon入門Demo_Leonardo_#sql_04

下載相應版本的zstd
下載地址為:https://repo1.maven.org/maven2/com/github/luben/zstd-jni/1.5.5-11/zstd-jni-1.5.5-11.jar

上傳到hive的lib⽬錄

新一代數據湖存儲技術Apache Paimon入門Demo_Leonardo_#架構_05


調整yarn上對應的版本(mapreduce.application.framework.path)

新一代數據湖存儲技術Apache Paimon入門Demo_Leonardo_jar_06

新一代數據湖存儲技術Apache Paimon入門Demo_Leonardo_hive_07


查看3.0.0-cdh6.3.2-mr-framework.tar.gz文件或zstd-jni-1.3.8-1.jar文件所在路徑

sudo find / -type d -iname "*mr-framework*" 2>/dev/null

或者直接查看(優先使用,需要替換兩個目錄下的jar包)

sudo find / -type f -name "zstd-jni-1.3.8-1.jar" 2>/dev/null

新一代數據湖存儲技術Apache Paimon入門Demo_Leonardo_jar_08


將上傳的zstd-jni-1.5.5-11.jar傳入3.0.0-cdh6.3.2-mr-framework.tar.gz文件,並刪除低版本的zstd-jni-1.3.8-1.jar

#上傳文件
sudo cp /home/bigdata/zstd-jni-1.5.5-11.jar /opt/yarn/nm/filecache/10/3.0.0-cdh6.3.2-mr-framework.tar.gz/
#刪除文件
sudo rm /opt/yarn/nm/filecache/10/3.0.0-cdh6.3.2-mr-framework.tar.gz/zstd-jni-1.3.8-1.jar

操作完畢以後,需要修改權限,否則yarn⽆權限訪問

sudo chown -R yarn:hadoop /opt/yarn/nm/filecache/10/3.0.0-cdh6.3.2-mr-framework.tar.gz/

將zstd-jni-1.5.5-11.jar文件傳入hive的
/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib/目錄和/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/目錄下

將jar包傳入hive目錄

sudo cp /home/bigdata/zstd-jni-1.5.5-11.jar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib/

傳入jars目錄

sudo mv zstd-jni-1.5.5-11.jar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/

刪除文件

sudo rm /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/zstd-jni-1.3.8-1.jar

上傳完成後重啓集羣

1.4 操作paimon(主節點執行,10.8.16.201)

進入beeline模式

beeline -u jdbc:hive2://10.8.15.240:10000 -n root
set hive.metastore.warehouse.dir = hdfs:///user/hive/warehouse;
-- 上述的其實是默認值,不配置也可
-- 如果使⽤alluxio,也可以配置alluxio的地址:hive.metastore.warehouse.dir=allu
xio://zk@hadoop1:2181,hadoop2:2181,hadoop3:2181/user/hive/warehouse
set hive.cbo.enable=false;
set paimon.hadoop-load-default-config =false;

1.5 創建庫和表

create database paimon;
#創建表
CREATE TABLE hive_paimon_t1(
 age INT COMMENT '年齡',
 name STRING COMMENT '姓名'
)
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler';

1.6 插入數據,並查看數據

insert into hive_paimon_t1 values(12,'zs'),(18,'ls'),(15,'wmz');
select * from hive_paimon_t1;

新一代數據湖存儲技術Apache Paimon入門Demo_Leonardo_#sql_09


查看數據

新一代數據湖存儲技術Apache Paimon入門Demo_Leonardo_hive_10