Hive安裝部署
Hive 安裝及配置
配置已經完成, 在此處啓動hadoop集羣
Hive 常用命令
將本地文件導入 Hive 案例
安裝MySql
Hive 元數據配置到 MySql
Hive 安裝及配置
下載地址:
https://pan.baidu.com/s/1_7g8Bw85Nw03t40H67sLfQ
提取碼: gj4n
把 apache-hive-1.2.1-bin.tar.gz 上傳到 linux 的/opt/software 目錄下
解壓 apache-hive-1.2.1-bin.tar.gz 到/opt/module/目錄下面
tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/
一鍵獲取完整項目代碼
修改 apache-hive-1.2.1-bin.tar.gz 的名稱為 hive-1.2.1
mv apache-hive-1.2.1-bin/ hive-1.2.1
一鍵獲取完整項目代碼
bash
1
複製conf 目錄下的 hive-env.sh.template 名稱為 hive-env.sh
cp hive-env.sh.template hive-env.sh
一鍵獲取完整項目代碼
bash
1
配置 hive-env.sh 啓動文件
(a)配置 HADOOP_HOME 路徑
(b)配置 HIVE_CONF_DIR 路徑
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export HIVE_CONF_DIR=/opt/module/hive-1.2.1/conf
配置已經完成, 在此處啓動hadoop集羣
hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
Hive 常用命令
在hive 目錄 /opt/module/hive-1.2.1
常用的命令
# 啓動 hive
bin/hive
# 查看數據庫
show databases;
# 打開默認數據庫
hive> use default;
# 顯示 default 數據庫中的表
hive> show tables;
# 創建一張表
hive> create table student(id int, name string);
# 顯示數據庫中有幾張表
hive> show tables;
# 查看錶的結構
hive> desc student;
# 向表中插入數據
hive> insert into student values(1000,"ss");
# 查詢表中數據
hive> select * from student;
# 退出 hive
hive> quit;
將本地文件導入 Hive 案例
注意以 tab 鍵間隔
# 常見一個tab鍵間隔的數據表
create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED
BY '\t';
# 導入本地數據
load data local inpath '/opt/module/data/student.txt' into table student;
# 導入hadoop根目錄數據
load data inpath '/student.txt' into table student;
# 還可以通過 Hadoop上傳數據
hadoop fs -put stu1.txt /user/hive/warehouse/student
安裝MySql
Hive 元數據配置到 MySql
在/opt/software/mysql-libs 目錄下解壓 mysql-connector-java-5.1.27.tar.gz 驅動 包
tar -zxvf mysql-connector-java-5.1.27.tar.gz
一鍵獲取完整項目代碼
bash
拷貝 mysql-connector-java-5.1.27-bin.jar 到/opt/module/hive/lib/
cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-c onnector-java-5.1.27-bin.jar/opt/module/hive-1.2.1/lib/
一鍵獲取完整項目代碼
bash
在/opt/module/hive/conf 目錄下創建一個 hive-site.xml
touch hive-site.xml
vim hive-site.xml
一鍵獲取完整項目代碼
bash
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>
配置完畢後,如果啓動 hive 異常,可以重新啓動虛擬機。(重啓後,別忘了啓 動 hadoop 集羣)
注意 如果啓動hive報錯如下 ,刪除mysql 多餘的用户