【Hadoop】【持续更新】hdfs 常见命令

本贴最后更新于 195 天前,其中的信息可能已经斗转星移

hdfs fsck 命令

详细参见:

HDFS中的fsck命令(检查数据块是否健康) - 花未全开*月未圆 - 博客园

【知识讲解篇-17】HDFS块检查命令Fsck 详解

hdfs distcp 命令

DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用 Map/Reduce 实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为 map 任务的输入,每个任务会完成源列表中部分文件的拷贝。

hadoop distcp hdfs://nn1:8020/foo/bar \
                    hdfs://nn2:8020/bar/foo

详细参见:https://hadoop.apache.org/docs/r1.0.4/cn/distcp.html

hdfs archive 命令

Hadoop archives 是特殊的档案格式。一个 Hadoop archive 对应一个文件系统目录。 Hadoop archive 的扩展名是*.har。Hadoop archive 包含元数据(形式是_index 和_masterindx)和数据(part-*)文件。_index 文件包含了档案中的文件的文件名和位置信息。

hadoop archive -archiveName name <src>* <dest>

详细参考:https://hadoop.apache.org/docs/r1.0.4/cn/hadoop_archives.html

hdfs dfsadmin

hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> <dirname>...<dirname>] [-clrQuota <dirname>...<dirname>] [-help [cmd]]

详细参考:https://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html#dfsadmin

hdfs mradmin

刷新 tasktracker 信息:

https://blog.csdn.net/u011500419/article/details/95760981

  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    86 引用 • 122 回帖 • 627 关注
  • 转载

    转载的帖子不会出现在社区全局列表上。

    11 引用 • 62 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
zeekling
应无所住,而生其心。 --《金刚经》 吾生也有涯,而知也无涯。 --《庄子》 西安