2023年大数据分析之HDFS文件系统的操作.pdf

《2023年大数据分析之HDFS文件系统的操作.pdf》由会员分享，可在线阅读，更多相关《2023年大数据分析之HDFS文件系统的操作.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、HDFS 文件系统的操作 HDFS 是一个分布式文件系统，就像任何其它文件系统，它允许用户使用 shell 命令操作文件系统。接下来我们结合之前搭建好的分布式集群通过 HDFS 的 shell 命令行交互来进一步认识 HDFS，并演示怎样使用 HDFS shell 命令。值得注意的是，HDFS 命令大多与 Unix 命令有一对一的关系。首先打开我们的 master、slave1、slave2 三台虚拟机，然后在 master的终端中输入如下命令来启动 HDFS，start-dfs.sh 启动过程如下图所示，启动完成后执行命令 jps 查看进程是否启动 创建路径 mkdir 如果你的 HDFS

2、home 目录不存在，请先创建它并修改权限。创建 HDFS home 目录的命令如下：hdfs dfs mkdir/user hdfs dfs mkdir/user/hduser#这样的用法只能一级一级创建目录，父目录不存在使用此命令会报错 或者 hdfs dfs mkdir p/user/hduser#所创建的目录如果父目录不存在就创建该目录 上面创建的/user/hduser 相当于 HDFS 中的用户当前目录，后面可以看到复制文件时无需指定绝对目录。查看目录 ls 运行下面的命令，列出 HDFS home 目录的内容。hdfs dfs ls#列出用户主目录的内容 hdfs dfs ls/

3、#列出 hdfs 文件系统根目录下的目录和文件 hdfs dfs ls R/#列出 hdfs 文件系统所有目录 读取文档 cat HDFS 文件系统有一个/作为根目录。如下面的命令是读取/user/hduser/fib.csv 文件并打印到屏幕上，就像 Unix 系统中的 cat 命令：hdfs dfs cat/user/hduser/fib.csv 更改文件属性 chmod chown HDFS 中针对文件和目录的权限模式与传统操作系统类似，一共提供三类权限模式：只读权限（r）、写入权限（w）、可执行权限（x）。读取文件或列出目录内容时需要只读权限，写入一个文件或是在一个目录上新建及删除文件

4、、目录需要写入权限。不过可执行权限可以忽略，因为你不可能在 hdfs上执行一个文件，这是与一般操作系统的文件系统是有区别的地方。一的关系首先打开我们的三台虚拟机然后在的终端中输入如下命令来启动启动过程如下图所示启动完成后执行命令查级创建目录父目录不存在使或者用此命令会报错所创建的目录如果父目录不存在就创建该目录上面创建的相当于中的录的内容列出文件系统根目录下的目录和文件列出文件系统所有目录读取文档文件系统有一个作为根目录如下面的命修改 HDFS home目录权限的命令如下：hdfs dfs chmod R 755/user/hduser hdfs dfs chown hduser/user/h

5、duser 上传文档 运行下面的命令，在你的 HDFS home 目录中创建一个新的 input 目录：hdfs dfs mkdir input 运行如下的命令来列出在 HDFS 中新创建的目录的内容：hdfs dfs-ls input 运行如下的命令，将本地 readme.txt 文件拷贝到 input 目录中：hdfs dfs copyFromLocal readme.txt input 或 hdfs dfs put readme.txt input#hdfs file 的父目录一定要存在，否则命令不会执行 运行如下的命令，将本地文件夹 wc-input 上传到 HDFS 文件系统：hdf

6、s dfs copyFromLocal wc-input.或者 hdfs dfs copyFromLocal wc-input input/wc-input 运行如下的命令，列出 input 目录：hdfs dfs ls input 从键盘读取输入到 hdfs 命令格式如下：一的关系首先打开我们的三台虚拟机然后在的终端中输入如下命令来启动启动过程如下图所示启动完成后执行命令查级创建目录父目录不存在使或者用此命令会报错所创建的目录如果父目录不存在就创建该目录上面创建的相当于中的录的内容列出文件系统根目录下的目录和文件列出文件系统所有目录读取文档文件系统有一个作为根目录如下面的命hdfs dfs

7、put-从键盘读取输入到 hdfs file 中，按 Ctrl+D 结束输入,hdfs file不能存在，否则命令不会执行，将本地文件移至 hdfs moveFromLocal hdfs dfs moveFromLocal 与 put 相类似，命令执行后源文件 local src 被删除，也可以从从键盘读取输入到 hdfs file 中 copyFromLocal hdfs dfs copyFromLocal 与 put 相类似，也可以从从键盘读取输入到 hdfs file 中.get hdfs dfs get local file 不能和 hdfs file 名字不能相同，否则会提示文件已存

8、在，没有重名的文件会复制到本地 hdfs dfs get 拷贝多个文件或目录到本地时 本地要为文件夹路径 注意：如果用户不是 root，local 路径要为用户文件夹下的路径，否则会出现权限问题，copyToLocal hdfs dfs copyToLocal 与 get 相类似 rm 一的关系首先打开我们的三台虚拟机然后在的终端中输入如下命令来启动启动过程如下图所示启动完成后执行命令查级创建目录父目录不存在使或者用此命令会报错所创建的目录如果父目录不存在就创建该目录上面创建的相当于中的录的内容列出文件系统根目录下的目录和文件列出文件系统所有目录读取文档文件系统有一个作为根目录如下面的命删除文

9、件或目录 hdfs dfs rm#删除一个文件 hdfs dfs rm r#每次删除多个文件或目录 cp hdfs dfs cp 目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件还存在 hdfs dfs cp 目标文件夹要存在，否则命令不能执行 mv hdfs dfs mv 目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件不存在 hdfs dfs mv 源路径有多个时，目标路径必须为目录，且必须存在。注意：跨文件系统的移动（local 到 hdfs 或者反过来）都是不允许的 count hdfs dfs count 统计 hdfs 对应路径下的目录个数，

10、文件个数，文件总计大小 显示为目录个数，文件个数，文件总计大小，输入路径 tail hdfs dfs tail 一的关系首先打开我们的三台虚拟机然后在的终端中输入如下命令来启动启动过程如下图所示启动完成后执行命令查级创建目录父目录不存在使或者用此命令会报错所创建的目录如果父目录不存在就创建该目录上面创建的相当于中的录的内容列出文件系统根目录下的目录和文件列出文件系统所有目录读取文档文件系统有一个作为根目录如下面的命 在标准输出中显示文件末尾的 1KB 数据 dfsadmin hdfs dfsadmin help 管理员可以通过 dfsadmin 管理 HDFS，用法可以通过上述命令查看 hdfs dfsadmin report hdfs dfsadmin report 显示文件系统的基本数据 hdfs dfsadmin safemode enter：进入安全模式；leave：离开安全模式；get：获知是否开启安全模式；wait：等待离开安全模式 一的关系首先打开我们的三台虚拟机然后在的终端中输入如下命令来启动启动过程如下图所示启动完成后执行命令查级创建目录父目录不存在使或者用此命令会报错所创建的目录如果父目录不存在就创建该目录上面创建的相当于中的录的内容列出文件系统根目录下的目录和文件列出文件系统所有目录读取文档文件系统有一个作为根目录如下面的命