简介这份华为云大数据实验报告面向高校大数据、云计算相关课程的学习者与实验备考学生围绕在华为云上部署和管理大数据平台的关键技术展开帮助读者打通从云主机到云服务、再到一站式大数据方案的实践链路。压缩包内共1个docx文档约4.36MB以图文实验记录形式呈现便于按实验顺序对照操作与复盘。内容覆盖实验一云主机实现大数据中的ECS与OBS配置、Hadoop集群搭建与节点通信实验二云服务实现大数据综合实验一BigData Pro的环境准备、Hadoop与Spark集群搭建及OBS互联测试以及综合实验四基于Spark SQL等工具的大数据交互式查询。目录结构按实验分节包含访问密钥配置、SSH互信、集群测试等细节记录可作为课程实验参考与排错思路借鉴。目前已有2490人学习下载适合需要完成同类实验或梳理华为云大数据流程的读者参考。1. 云上大数据实验一张从 ECS 到交互式查询的知识地图很多人第一次接触云上大数据实验会把它当成“买台服务器、装个 Hadoop”的流水线操作结果做完一遍脑子里只剩几条命令换个环境就全忘了。真正值得记住的是这条链路背后的结构底层是弹性云服务器 ECS 提供算力中间是对象存储 OBS 承担数据落地的角色上层才是 Hadoop 与 Spark 集群最后用交互式查询把数据变成能看懂的结果。四个实验其实对应四个层次——云主机实现大数据、云服务实现大数据、BigData Pro 一站式方案、大数据交互式查询。复习时如果只按实验顺序背步骤很容易散按“资源层、存储层、计算层、查询层”去串整张地图就立起来了。这篇笔记适合正在系统学云上大数据部署、或者准备实验考核的人把散落的操作收成体系。2. 资源与存储底座ECS、OBS 与访问密钥的复习重点云上大数据和本地机房最大的差别是“机器”和“硬盘”都不在你面前。实验里所有集群节点都跑在弹性云服务器 ECS 上所有需要跨节点共享的数据都放在对象存储 OBS 里。这一层没打通后面搭集群就是空中楼阁。梳理下来会发现这一章真正的考点不是“怎么点购买按钮”而是三件事节点规格与网络怎么选、OBS 桶和并行文件系统有什么区别、AK/SK 这对密钥到底在哪些环节被用到。2.1 ECS 节点规划与网络配置要点实验里用的是四台节点命名习惯是 node1 到 node4也有资料写成 Node0001 这类形式。不管叫什么核心是每台机器要有固定内网 IP并且彼此能通。原文里出现的地址段是 192.168.0.x四台分别落在 .10、.53、.169、.77 这类位置复习时要记住集群内部通信走内网公网 IP 只是给你远程登录用的不要把节点互信配到公网地址上。节点规划上一般一台做 masternode1其余做 worker。购买 ECS 时容易忽略的是安全组和防火墙实验里明确写了“关闭防火墙”因为 Hadoop 各组件之间要开一堆端口初学阶段先关掉能少踩很多坑。但复习时要理解关防火墙是实验环境的简化手段生产里应该按端口放行而不是一关了之。配置节点主机名和 hosts 是搭建前的固定动作。四台机器都要能通过主机名互相解析否则后面 SSH 互信和集群通信都会翻车。典型做法是在每台的/etc/hosts里写全四行映射# 每台节点都要有完整的四行映射不能只写自己 192.168.0.10 node1 192.168.0.53 node2 192.168.0.169 node3 192.168.0.77 node4这段配置的含义很直白把 IP 和主机名绑定让ssh node2这种写法能直接解析。参数上要注意 IP 必须换成你自己实例的真实内网地址主机名要和后面 SSH 互信、Hadoop 配置文件里用到的名字完全一致大小写都别改。失败时先看ping node2通不通再查 hosts 有没有写错行。2.2 OBS 桶、并行文件系统与 AK/SK 的关系OBS 是对象存储实验里既创建了普通桶也创建了并行文件系统。这两者的区别是复习重点普通桶适合存放离散对象并行文件系统则更适合 Hadoop 这类需要目录语义和较高吞吐的场景。原文里给出的服务地址是obs.cn-north-4.myhuaweicloud.com双栈地址是obs.dualstack.cn-north-4.myhuaweicloud.com复习时记住区域要和你的 ECS 保持一致跨区域访问会慢甚至不通。访问 OBS 靠的是访问密钥也就是 AK/SK。实验里下载到的credentials.csv打开就是三列User Name、Access Key Id、Secret Access Key。原文里出现过类似roy_yuki, I2UWDVZUAAFW5RZXBKIR, jpU0nHcXWVjftBFo7lAdgbq6JjCOPENZylB1fOTg这样的记录复习时不要记具体值要记住结构AK 是身份标识SK 是签名密钥两者配对使用缺一不可。提示AK/SK 属于敏感凭据实验报告里出现真实密钥要及时作废重建复习笔记里只保留字段名和用途即可。Hadoop 要读写 OBS需要在配置里填入 AK/SK 和 endpoint。最容易忽略的是 endpoint 的写法要和桶所在区域匹配并且 Hadoop 侧通常需要额外的 OBS 连接器 jar 包。原文里提到“下载 jar 包”这个 jar 就是让 Hadoop 认识 OBS 协议的桥梁少了它集群能起来但连不上存储。2.3 节点互信SSH 免密登录的完整链路Hadoop 集群启动时master 需要能免密登录到所有 worker否则启动脚本会卡在输密码。实验里的做法是每台节点生成密钥对把公钥汇总到一个文件里再分发到各节点的authorized_keys。原文里能看到大量ssh-rsa AAAA...开头的公钥以及rootecs-ca89-0001这类结尾说明是以 root 用户操作的。复习时要把这条链路记成四步生成密钥、收集公钥、分发授权、验证跳转。验证的标准是ssh node2能直接进去不提示密码。原文里写“选择 yes 后确保能够无密码跳转到目的节点”这个 yes 是首次连接时确认主机指纹属于正常现象。# 在每台节点生成密钥对一路回车即可 ssh-keygen -t rsa # 把各节点公钥追加到同一个授权文件 cat /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys # 把汇总后的 authorized_keys 分发到四台节点 scp /root/.ssh/authorized_keys node2:/root/.ssh/参数说明-t rsa指定密钥类型实验环境用默认即可authorized_keys的权限通常要求 600权限过宽会导致免密失效。失败时先看~/.ssh目录权限再看公钥有没有真的追加进去最后确认 hosts 里的主机名能解析。这一块是血泪经验高发区很多人卡半天其实是权限问题。3. Hadoop 与 Spark 集群安装、配置与联调的复习主线资源层打通之后就进入计算层。这一章是整个实验的重头戏也是复习时最容易“看着会、动手废”的部分。Hadoop 负责分布式存储和批处理Spark 负责更快的内存计算两者要协同工作还要能读写 OBS。梳理下来考点集中在三块JDK 与安装包准备、Hadoop 核心配置文件、Spark 与 Hadoop 的对接。3.1 OpenJDK 安装与 Hadoop 安装包准备实验里明确写了“下载 OpenJDK”说明 JDK 是前置依赖。Hadoop 和 Spark 都跑在 JVM 上JDK 版本不匹配会直接导致启动失败。复习时要记住先装 JDK配好JAVA_HOME再解压 Hadoop 安装包。原文里提到“在线下载安装包”说明实验环境是联网的但复习时要理解离线场景下需要提前把包传到节点上。安装路径建议统一比如都放在/opt或/usr/local下方便后面写环境变量。环境变量要写进/etc/profile或用户级的.bashrc并且source生效。容易错的地方是只在一台节点配了环境变量其他节点没配结果集群启动时部分进程找不到 Java。# 解压并配置环境变量每台节点都要做 tar -zxvf hadoop-*.tar.gz -C /opt/ echo export JAVA_HOME/usr/lib/jvm/openjdk /etc/profile echo export HADOOP_HOME/opt/hadoop /etc/profile echo export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin /etc/profile source /etc/profile这段脚本的关键注释在于“每台节点都要做”。参数上JAVA_HOME要指向真实的 JDK 目录HADOOP_HOME指向解压后的 Hadoop 根目录。验证方式是java -version和hadoop version都能正常输出任何一个报“command not found”都说明环境变量没生效。3.2 Hadoop 核心配置文件与集群启动Hadoop 的配置集中在etc/hadoop目录下复习时要能说出几个核心文件各自管什么。core-site.xml管全局比如默认文件系统hdfs-site.xml管副本数、数据目录yarn-site.xml管资源调度workers文件列出所有 worker 节点。原文里集群能成功跑起 wordcount说明这套配置是通的。复习时不要死记 XML 全文要记住每个文件“改哪个参数、为什么改”。比如默认文件系统要指向 OBS 或 HDFS副本数在实验环境通常设小一点省资源workers 里要写全 node2 到 node4。配置改完要分发到所有节点保持一致性否则会出现 master 认为有三个 worker、实际只起来两个的情况。启动流程一般是先格式化 namenode再启动 HDFS 和 YARN。格式化只能做一次重复格式化会导致集群 ID 不一致这是经典翻车点。启动后用jps看进程master 上应该有 namenode 和 resourcemanagerworker 上应该有 datanode 和 nodemanager。3.3 Spark 集群搭建与和 Hadoop 的协同Spark 集群搭建在 Hadoop 之后因为它通常要复用 Hadoop 的 HDFS 和 YARN。原文里“Spark 集群搭建”单独成节说明它是独立考点。复习时要抓住Spark 有 standalone 和 on YARN 两种部署模式实验里更可能是 on YARN这样资源统一由 YARN 管。Spark 的配置重点在spark-env.sh里指定HADOOP_CONF_DIR让它能找到 Hadoop 的配置spark-defaults.conf里可以指定 master 地址。和 Hadoop 协同的关键是版本兼容Spark 版本要和 Hadoop 版本对得上否则会出现类找不到的错误。注意Spark 读写 OBS 同样依赖 OBS 连接器配置方式和 Hadoop 类似AK/SK 和 endpoint 要填对否则任务能提交但读不到数据。联调验证的经典方式是跑 wordcount。原文里“执行 hadoop wordcount 成功实现”这个成功标志很关键它同时验证了 HDFS 能存、YARN 能调度、节点互信没问题。复习时要把 wordcount 当成一个端到端自检用例任何一环断了它都跑不通。4. 易漏易错点四个最容易在实验里翻车的地方这一章单独拎出来是因为实验报告里步骤看着顺实际动手时错误往往集中在几个固定位置。梳理下来会发现大部分翻车不是不会而是漏了某个前置条件。下面四条按“易漏点 → 为什么漏 → 怎么补”展开复习时对着自查一遍能省不少时间。4.1 易漏点一hosts 与主机名不一致为什么漏很多人改完一台节点的 hosts 就以为完事或者主机名大小写和配置里写的不一样。Hadoop 和 SSH 都依赖主机名解析名字对不上互信和集群通信都会断。怎么补四台节点逐一检查/etc/hosts确保 IP 和主机名映射完整且一致用hostname确认本机名用ping 主机名验证解析。改完 hosts 不需要重启但已建立的 SSH 连接要重开才生效。4.2 易漏点二authorized_keys 权限过宽为什么漏手动cat追加公钥时文件权限可能变成 644 甚至更宽SSH 出于安全会直接忽略这个文件表现就是“明明配了还是让输密码”。怎么补执行chmod 700 ~/.ssh和chmod 600 ~/.ssh/authorized_keys再重新ssh node2验证。这个点极其隐蔽因为没有任何报错只能靠权限自查。4.3 易漏点三OBS endpoint 与区域不匹配为什么漏创建桶时选了一个区域配 Hadoop 时随手填了另一个区域的 endpoint或者把双栈地址和普通地址混用。表现是集群正常但读写 OBS 超时。怎么补回到 OBS 控制台确认桶所在区域endpoint 严格按obs.区域.myhuaweicloud.com的格式填需要双栈时再用obs.dualstack.区域...。AK/SK 也要确认是同一个账号下生成的。4.4 易漏点四重复格式化 namenode为什么漏集群起不来时第一反应是“再格式化一次试试”结果集群 ID 变了原有数据目录对不上问题反而更复杂。怎么补格式化前确认数据目录是干净的如果已经重复格式化需要清空 namenode 和 datanode 的数据目录再重新格式化。复习时把“格式化只做一次”当成铁律记住起不来先看日志别急着格式化。5. 交互式查询与复习清单从跑通到查漏补缺最后一个实验是大数据交互式查询原文提到可能用 Spark SQL 或 Flink SQL 这类工具对大规模数据做快速分析和探索。这一层是把前面存下来、算出来的数据变成能回答问题的结果。复习时不要只记“写 SQL 查数据”要理解它依赖前面所有层数据在 OBS 或 HDFS 里计算资源由 YARN 提供查询引擎负责解析和执行。任何一层没通查询都会失败。落到复习方法上我习惯用一张自查表把四个实验串起来按“资源、存储、计算、查询”四层逐项打勾。下面这张表是我自己复习时用的版本列的是每层必须能独立验证的动作而不是步骤流水账。层次必查动作通过标准常见失败表现资源层四台 ECS 互 ping 主机名四向都能通主机名解析失败互信层ssh node2免密跳转不提示密码仍要求输密码存储层OBS 桶可读写能上传下载对象超时或 403计算层Hadoop wordcount任务成功结束卡在调度或读不到数据查询层建表并跑一条 SQL返回结果集表找不到或权限错这张表的价值在于它把“实验做完了”变成“每一层都能单独证明是通的”。复习时如果某一行打不了勾就回到对应章节补而不是从头再跑一遍。比如互信层不过就只查权限和 hosts不用碰 Hadoop 配置存储层不过就只查 endpoint 和 AK/SK不用重装集群。再补一个查漏补缺的具体技巧把每个实验的“成功标志”记下来而不是记步骤。实验一的成功标志是 wordcount 跑通实验二的成功标志是桶里能看到对象综合实验一的成功标志是 Hadoop 和 Spark 都能连 OBS综合实验四的成功标志是一条查询能返回结果。复习时先问自己“这个标志我能不能复现”能复现就说明这一层真掌握了不能复现再去看细节。从那以后我每次复习这类云上实验都强制先画四层地图、再逐层打勾绝不按实验顺序从头背到尾。因为顺序是给别人看的层次才是自己脑子里的结构。希望这份梳理能帮到你把散落的操作收成一张能反复查的地图。本文还有配套的精品资源点击获取