1. HDFS基础入门从零认识分布式文件系统第一次接触HDFS时我也被那些专业术语搞得晕头转向。但后来发现它其实就是个超大号的网盘只不过这个网盘是由很多台电脑一起组成的。想象一下你有一个1TB的电影要存但手头只有10台128GB硬盘的旧电脑。HDFS就是帮你把电影切成小块分散存到这些电脑上的神奇工具。HDFS最核心的设计理念可以用三句话概括大文件切割存储自动把超大文件切成固定大小的块默认128MB多副本容错每个块会自动复制3份存到不同机器移动计算代替移动数据计算程序会被调度到数据所在的机器执行我刚开始用HDFS时犯过一个典型错误 - 试图用它存大量小图片。结果性能惨不忍睹后来才知道HDFS最适合存单个大于128MB的大文件。这种踩坑经历让我明白技术选型不能只看名气得看实际场景。2. 命令行操作全攻略手把手教你玩转HDFS2.1 必须掌握的20个核心命令在终端里操作HDFS就像用Linux命令管理本地文件一样简单。下面这些命令我几乎每天都会用到# 查看HDFS根目录 hdfs dfs -ls / # 创建目录记得用-p参数自动创建父目录 hdfs dfs -mkdir -p /user/hadoop/input # 上传本地文件到HDFS两种方式 hdfs dfs -put localfile.txt /user/hadoop/ hdfs dfs -copyFromLocal localfile.txt /user/hadoop/ # 下载文件到本地 hdfs dfs -get /user/hadoop/localfile.txt . hdfs dfs -copyToLocal /user/hadoop/localfile.txt . # 查看文件内容适合查看日志 hdfs dfs -cat /user/hadoop/log.txt | head -n 100有个特别实用的技巧用-text命令可以自动解压并查看压缩文件内容。有次我忘了某个.gz文件里存的是什么用这个命令直接看到了原始内容省去了下载解压的麻烦。2.2 高级操作技巧与避坑指南新手常会遇到文件已存在的错误这时候可以用-f参数强制覆盖hdfs dfs -put -f updated_file.txt /user/hadoop/更高级的空间管理命令也很有用。比如查看目录大小# 查看/user目录总大小人类可读格式 hdfs dfs -du -h /user # 查看各子目录大小排序 hdfs dfs -du /user | sort -n -r我遇到过最坑的问题是误删生产数据。后来养成了重要操作前先检查路径的习惯# 删除前先确认路径 hdfs dfs -ls /user/hadoop/old_data hdfs dfs -rm -r /user/hadoop/old_data3. Java API编程实战从Hello World到生产级应用3.1 环境搭建与第一个程序配置开发环境时我推荐直接用Maven管理依赖。在pom.xml中添加dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version3.3.4/version /dependency第一个程序通常是文件读写。这段代码我优化过很多次是最稳定的版本public class HDFSBasic { public static void main(String[] args) throws IOException { Configuration conf new Configuration(); // 关键配置设置重试次数和超时 conf.set(dfs.client.block.write.replace-datanode-on-failure.enable, true); conf.set(dfs.client.block.write.replace-datanode-on-failure.policy, ALWAYS); try (FileSystem fs FileSystem.get(conf)) { Path filePath new Path(/test/hello.txt); // 使用try-with-resources确保流关闭 try (FSDataOutputStream out fs.create(filePath)) { out.writeUTF(Hello HDFS!); } } } }3.2 生产环境最佳实践在大规模集群上有几点特别重要连接池管理不要每次操作都新建FileSystem异常处理网络波动时自动重试性能调优合理设置缓冲区大小这是我常用的工具类片段public class HDFSUtil { private static volatile FileSystem fs; public static synchronized FileSystem getFileSystem() throws IOException { if (fs null) { Configuration conf new Configuration(); // 设置连接超时为60秒 conf.set(dfs.client.socket-timeout, 60000); fs FileSystem.get(conf); } return fs; } public static void uploadWithRetry(Path src, Path dst, int maxRetry) throws IOException { int retry 0; while (retry maxRetry) { try { FileSystem fs getFileSystem(); fs.copyFromLocalFile(false, true, src, dst); return; } catch (IOException e) { retry; if (retry maxRetry) throw e; Thread.sleep(1000 * retry); } } } }4. 高级特性与性能优化4.1 文件合并与小文件处理处理大量小文件是HDFS的痛点。我常用的解决方案是使用HAR文件归档用SequenceFile合并上游系统控制文件大小这是用Java创建HAR文件的示例public void createHarFile(String inputPath, String harPath) throws Exception { Configuration conf new Configuration(); Path input new Path(inputPath); Path output new Path(harPath); HarFileSystem harFs new HarFileSystem(FileSystem.get(conf)); harFs.initialize(new URI(har:// output.toString()), conf); try (HarWriter writer new HarWriter(harFs, output, input)) { writer.build(); } }4.2 读写性能调优通过这几年的实践我总结出几个关键参数参数名默认值推荐值作用dfs.client.read.shortcircuitfalsetrue启用短路本地读dfs.client.socket-timeout60000120000增加超时时间dfs.client.write.packet.size65536131072增大数据包大小在代码中设置这些参数conf.set(dfs.client.read.shortcircuit, true); conf.set(dfs.client.socket-timeout, 120000); conf.set(dfs.client.write.packet.size, 131072);对于超大规模集群还需要考虑机架感知和副本放置策略。曾经有个项目因为忽略这点跨机房流量把网络都打满了。后来调整了副本策略性能提升了3倍多。