一、HDFS的Shell操作
(一)、進程啓停管理
1.一鍵啓停腳本
(1)$HADOOP_HOME/sbin/start-dfs.sh,一鍵啓動HDFS集羣
注:輸入後可能會出現如下情況
c.輸入後顯示連接出現問題,只需將其他兩個虛擬機(node2,node3)打開即可
b.輸入後顯示警告,只需要在另外兩個虛擬機執行$HADOOP_HOME/sbin/start-dfs.sh即可,當然這個警告並不會影響HDFS核心功能的啓動。
(2)$HADOOP_HOME/sbin/stop-dfs.sh,一鍵啓動HDFS集羣
2.單進程啓停
(1)$HADOOP_HOME/sbin/hadoop-daemon.sh,此腳本可以單獨控制所在機器的進程的啓停
用法:$HADOOP_HOME/sbin/hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)
通過代碼可知當前代碼不適用在這個較新的Hadoop版本
(2)$HADOOP_HOME/bin/hdfs --daemon,此程序也可以用以單獨控制所在機器的進程的啓停
用法:$HADOOP_HOME/bin/hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)
這裏只演示三個例子:
(二)、文件系統操作命令
1.介紹
關於HDFS文件系統的操作命令,Hadoop提供了2套命令體系
•hadoop命令(老版本用法),用法:hadoop fs [genericoptions]
•hdfs命令(新版本用法),用法:hdfs dfs [genericoptions]
2.創建文件夾
新版命令:hdfs dfs -mkdir [-p] <path> ...
舊版命令:hadoop fs -mkdir [-p] <path> ...
3.查看指定目錄下內容
新版命令:hdfs dfs -ls [-h] [-R] [<path> ...]
舊版命令:hadoop fs -ls [-h] [-R] [<path> ...]
4.上傳文件到HDFS指定目錄下
新版命令:hdfs dfs -put [-f] [-p] <localsrc> ... <dst>
舊版命令: hadoop fs -put [-f] [-p] <localsrc> ... <dst>
5.查看HDFS文件內容
新版命令:hdfs dfs -cat <src> ...
舊版命令:hadoop fs -cat <src> ...
6.下載HDFS文件
新版命令:hdfs dfs -get [-f] [-p] <src> ...<loacldst>
舊版命令:hadoop fs -get [-f] [-p] <src> ...<loacldst>
7.拷貝HDFS文件
新版命令:hdfs dfs -cp [-f] <src> ...<dst>
舊版命令:hadoop fs -cp [-f] <src> ...<dst>
8.追加數據到HDFS文件中
hadoopfs-appendToFile<localsrc>...<dst>
hdfsdfs-appendToFile<localsrc>...<dst>
9.HDFS數據移動操作
hadoopfs-mv<src>...<dst>
hdfsdfs-mv<src>...<dst>
10.HDFS數據刪除操作
hadoopfs-rm-r[-skipTrash]URI[URI...]
hdfsdfs-rm-r[-skipTrash]URI[URI...]