一、HDFS的Shell操作

(一)、進程啓停管理

        1.一鍵啓停腳本

                (1)$HADOOP_HOME/sbin/start-dfs.sh,一鍵啓動HDFS集羣

                        

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#hadoop

                注:輸入後可能會出現如下情況

                        c.輸入後顯示連接出現問題,只需將其他兩個虛擬機(node2,node3)打開即可

                            

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_hadoop_02

                       b.輸入後顯示警告,只需要在另外兩個虛擬機執行$HADOOP_HOME/sbin/start-dfs.sh即可,當然這個警告並不會影響HDFS核心功能的啓動。

                        

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#大數據_03

                (2)$HADOOP_HOME/sbin/stop-dfs.sh,一鍵啓動HDFS集羣

                

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#hdfs_04

        2.單進程啓停

                (1)$HADOOP_HOME/sbin/hadoop-daemon.sh,此腳本可以單獨控制所在機器的進程的啓停

                用法:$HADOOP_HOME/sbin/hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)

                

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#hdfs_05

                通過代碼可知當前代碼不適用在這個較新的Hadoop版本

                (2)$HADOOP_HOME/bin/hdfs --daemon,此程序也可以用以單獨控制所在機器的進程的啓停

                用法:$HADOOP_HOME/bin/hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)

              這裏只演示三個例子:

                

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#hdfs_06

                

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#hdfs_07

                

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#hdfs_08

(二)、文件系統操作命令

        1.介紹

                關於HDFS文件系統的操作命令,Hadoop提供了2套命令體系

                •hadoop命令(老版本用法),用法:hadoop fs [genericoptions]

                •hdfs命令(新版本用法),用法:hdfs dfs [genericoptions]

        2.創建文件夾

                新版命令:hdfs dfs -mkdir [-p] <path> ...

                舊版命令:hadoop fs -mkdir [-p] <path> ...

                

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#大數據_09

        3.查看指定目錄下內容

                新版命令:hdfs dfs -ls [-h] [-R] [<path> ...]

                舊版命令:hadoop fs -ls [-h] [-R] [<path> ...]

                

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#大數據_10

        4.上傳文件到HDFS指定目錄下

                新版命令:hdfs dfs -put [-f] [-p] <localsrc> ... <dst>

                舊版命令: hadoop fs -put [-f] [-p] <localsrc> ... <dst>

                

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_hdfs_11

        5.查看HDFS文件內容

                新版命令:hdfs dfs -cat <src> ...

                舊版命令:hadoop fs -cat <src> ...

                

                

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_hdfs_12

        6.下載HDFS文件

                新版命令:hdfs dfs -get [-f] [-p] <src> ...<loacldst>

                舊版命令:hadoop fs -get [-f] [-p] <src> ...<loacldst>

                

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#hdfs_13

        7.拷貝HDFS文件

        新版命令:hdfs dfs -cp [-f] <src> ...<dst>

        舊版命令:hadoop fs -cp [-f] <src> ...<dst>

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#hdfs_14

       8.追加數據到HDFS文件中

        hadoopfs-appendToFile<localsrc>...<dst>

        hdfsdfs-appendToFile<localsrc>...<dst>

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_#hadoop_15

        9.HDFS數據移動操作

        hadoopfs-mv<src>...<dst>

        hdfsdfs-mv<src>...<dst>

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_hadoop_16

        10.HDFS數據刪除操作

        hadoopfs-rm-r[-skipTrash]URI[URI...]

        hdfsdfs-rm-r[-skipTrash]URI[URI...]

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_hadoop_17

        11.HDFSWEB瀏覽

2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -_hdfs_18