博客 / 詳情

返回

Cloudera Hue實戰:如何高效利用這款數據查詢工具

Hue 的介紹

HUE 是一個開源的 Apache Hadoop UI 系統,早期由 Cloudera 開發,它是基於 Python Web 框架 Django 實現,後來貢獻給開源社區。它包括 3 個部分 hue ui,hue server, hue db。通過使用 Hue 我們可以通過瀏覽器方式操縱 Hadoop 集羣,查看修改 hdfs 的 文件,管理 hive 的元數據,運行 Sqoop,編寫 Oozie 工作流等大量工作。Hue 的安裝依賴 hive 和 oozie,首先需要安裝 Hive 和 oozie。

1.選擇集羣,添加服務:

圖片

  1. 添加服務嚮導: 選擇“hue”服務,點擊“繼續”:

圖片

選擇依賴的 HDFS,點擊“繼續”:

圖片

角色按照默認配置即可,點擊“繼續”,完成 hue 的安裝。

圖片

Hue的使用

以上將 hue 安裝在 cm1 節點上,這裏登陸 hue 時,地址為:http://cm1:8888,首次 登陸 hue 需要登陸 hue 的賬號密碼,這裏輸入 user:myhue,password:myhue。最 好這裏使用 hdfs 用户。因為 hdfs 用户可以操作 hdfs 中的文件,如果使用其他用户只 能在當前用户的目錄下創建文件。

圖片

  1. hue 創建用户點擊“管理用户”可以創建用户,並且可以指定權限,是否在 HDFS 中創建主目錄。

圖片

  1. hue 操作 HDFS 文件可以創建新的文件,也可以修改,最好 HDFS 中大文件不要在 hue 中操作。hue 中的用户默認是進入當前用户的主目錄進行操作。3. hue 操作 hive 中的數據登錄 hue 之後,點擊“Query Editors”->“Hive”,編寫 sql 創建 Hive 表:

圖片

創建完成後,點擊 hive 數據庫刷新,可以看到剛才創建的 Hive 表:

圖片

創建表完成之後,可以點擊“Metastore Manager”,點擊剛才創建的表名,可以導入數據,選擇的數據可以是 HDFS 中也可以是本地中的文件數據:

圖片

上傳完數據之後,選擇上傳的數據,導入到表中。點擊瀏覽表中的數據如下:點擊“Query Editors”,在查詢編輯器中執行查詢 sql 語句:

圖片

之後 sql 語句之後,hql 轉換成 MR 作業,可以點擊“Job Browser”查看任務:

圖片

點擊點擊“Query Editors”->“Hive”->“查看結果”,可以看到任務執行的結果:

圖片

  1. hue 添加 rdbms 數據庫登錄 hue 之後,點擊“Query Editors”->“DB 查詢”,發現沒有 rdbms 數據庫。

圖片
配置關係型數據庫步驟如下:進入 CDH,找到 Hue 選項,點擊配置:

圖片

在配置中搜索“hue_safety_valve.ini”配置項,保存更改,配置如下內容:

1. [librdbms]
2. [[databases]]
3. [[[mysql]]]
4. nice_name="all mysql databases" 
5. engine=mysql
6. host=192.168.179.14
7. port=3306
8. user=root
9. password=123456
10. options={ "init_command":"SET NAMES 'utf8'"}

圖片

以上參數中,nice_name 指定在 hue 中顯示的連接名稱。name 指定連接的 mysql 數據庫名稱,不指定這個參數,將默認顯示全部的數據庫。engine 指定 mysql 數據庫類型。host 指定數據庫地址。port 指定數據庫端口號。user 指定連接用户名。password 指定密碼。options 中指定的“init_command”指定數據庫 編碼為 utf8,防止有中文時亂碼。

以上配置完成之後,重啓hue。在 hue webui 中點擊“Query Editors”->“DB 查詢”,可以看到出現配置的 mysql 數據庫。
圖片


以上就是今天分享的全部內容

如果你想了解更多關於:Cloudera 系統環境準備、基礎環境安裝、集羣部署以及應用組件安裝等全方位的技術的問題,可以後台聯系我們在線諮詢,我們團隊提供 7x24 小時不間斷的技術支持服務,確保大家在任何時間遇到問題都能得到及時響應。感謝你的閲讀,如果喜歡我的文字,可以持續關注我,會陸續為你更新更多幹貨小知識。

圖片

如果你想深入探討了解 Cloudera 大數據技術的(內存擴容/縮容策略,故障診斷與問題排查)的方法論,歡迎找我:15928721005

user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.