存储分布式文件系统缓存大数据【免费下载链接】alluxioAlluxio, data orchestration for analytics and machine learning in the cloud项目地址https://gitcode.com/gh_mirrors/al/alluxio点击查看免费下载导读本文以 docs/cn/solutions/Deep-Learning.md 为主体系统讲解深度学习训练场景下数据访问面临的存储挑战以及 Alluxio 如何通过统一命名空间、FUSEPOSIX接口与本地缓存三大能力化解这些难题并以 TensorFlow 图像识别与基准测试为例给出从底层存储挂载、FUSE 挂载到读/写策略调优的完整可复现步骤。读完本文你将掌握在 Alluxio 之上透明访问 S3/HDFS 等远程数据、让深度学习框架以本地文件方式读写数据并通过数据本地化提升 GPU 利用率与训练吞吐量的实战方法。深度学习的存储挑战随着数据集规模增长与算力提升深度学习已成为人工智能领域的流行技术。模型性能持续提升的背后是更大规模数据与更大神经网络的支撑但深度学习的兴起也同时暴露了数据访问与存储系统中的一系列难题。数据可达性并非所有数据都能用于训练深度学习依赖大量可用数据更大的数据量通常带来更好的性能。然而并非所有训练数据都能被深度学习框架如 TensorFlow、Caffe、Torch直接使用深度学习框架与某些存储系统已有集成但并非所有存储集成都是可用的数据子集可能无法用于训练直接导致训练性能与效果下降分布式存储HDFS、Ceph与云存储AWS S3、Azure Blob Store、GCS形态多样习惯本地文件系统的使用者往往对这些远程系统不熟悉为每种存储单独配置和使用新工具成本很高跨系统取数困难。计算与存储分离网络 I/O 拖慢训练计算资源与存储资源逐步分离已成为趋势在云计算中使用远程存储可以实现按需资源分配提升利用率、灵活性与弹性并降低成本。但深度学习训练数据位于远程存储时数据必须通过网络传输增加训练时间额外的网络 I/O 会提高成本并延长数据处理时间缓慢的远程存储访问可能成为 I/O 瓶颈使 GPU 资源无法被充分利用。正是这些挑战让 Alluxio 这样的数据编排层有了用武之地。Alluxio 如何帮助解决深度学习的存储问题简单来说Alluxio 是一个虚拟文件系统它透明地连接现有存储系统并将它们作为一个统一系统呈现给用户。面对深度学习的数据访问难题Alluxio 主要提供三方面能力。统一命名空间一份数据入口覆盖所有存储通过 统一命名空间包括 S3、Azure、GCS 在内的众多存储技术都可以挂载mount进 Alluxio。由于 Alluxio 已经完成与各存储系统的集成深度学习框架只需与 Alluxio 交互就能访问任何已连接存储中的数据——来自任何数据源的数据都可参与训练从而提升模型训练性能。从实现角度看根挂载点由 master 上的alluxio.master.mount.table.root.ufs指定见 统一命名空间文档例如alluxio.master.mount.table.root.ufshdfs://HDFS_HOSTNAME:8020嵌套挂载点则可在运行时通过mount命令添加例如把 S3 存储桶挂载到 Alluxio 的/training-data/imagenet下并附带访问凭证$ ./bin/alluxio fs mount /training-data/imagenet/ s3://alluxio-tensorflow-imagenet/ \ --option s3a.accessKeyIDACCESS_KEY_ID --option s3a.secretKeySECRET_KEYFUSE 接口像本地文件一样访问数据Alluxio 包含一个FUSE 接口POSIX API可将 Alluxio 实例挂载到本地文件系统与 Alluxio 交互就像与本地文件和目录交互一样简单。用户可以继续使用熟悉的工具ls、cat等和编程范式由于 Alluxio 连接多个存储任何存储中的数据都可像本地文件/目录一样被访问。下图直观展示了 Alluxio 通过 FUSE 将分布式文件系统呈现为本地文件系统的方式从源码看Alluxio-FUSE 的挂载由 integration/fuse/src/main/java/alluxio/fuse/AlluxioFuse.java 承载它支持将 Alluxio 路径--alluxio-path或直接指向 UFS 地址--root-ufs例如s3://my_bucket/my_folder挂载到本地挂载点对应 C/C/Python 等应用可经标准 POSIX 接口open、write、read读写 Alluxio 数据无需任何 Alluxio 客户端集成与设置见 POSIX-API 文档。本地缓存为常用数据消除网络 I/OAlluxio 为常用数据提供 本地缓存。当数据离计算较远时这一能力尤其有用数据被缓存在本地后访问不再产生网络 I/O深度学习训练因此更经济高效、耗时更短。Alluxio 将存储分为两类详见 缓存文档UFS底层文件系统不受 Alluxio 管理的外部持久存储如 HDFS、S3长期保存大量数据Alluxio 存储由 Alluxio 作为分布式缓存管理的 worker 本地存储含内存用于存放热数据/暂态数据。即便数据当前不在 Alluxio 存储中通过 Alluxio 连接的 UFS 文件对客户端依然可见客户端首次读取时数据会被复制进 Alluxio 存储。缓存空间由 worker 上的配置决定常用配置包括对应源码core/common/src/main/java/alluxio/conf/PropertyKey.java中的WORKER_RAMDISK_SIZE、WORKER_TIERED_STORE_LEVELS等属性# 每个 worker 的 ramdisk 大小 alluxio.worker.ramdisk.size16GB # 启用多层存储如 MEM、SSD、HDD alluxio.worker.tieredstore.levels2 alluxio.worker.tieredstore.level0.aliasMEM alluxio.worker.tieredstore.level0.dirs.path/mnt/ramdisk alluxio.worker.tieredstore.level0.dirs.mediumtypeMEM alluxio.worker.tieredstore.level0.dirs.quota16GBworker 侧的读取路径由DefaultBlockWorker、TieredBlockStore等实现承载见 core/server/worker/src/main/java/alluxio/worker/block/DefaultBlockWorker.java其中CachedSeekableInputStreamcore/server/worker/src/main/java/alluxio/worker/block/CachedSeekableInputStream.java提供了带缓存的可定位读取能力是远程数据 → 本地缓存 → 训练框架读取链路的关键组件之一。在 Alluxio FUSE 上使用 TensorFlow本页以 TensorFlow 为例说明 Alluxio 如何帮助数据访问与管理。完整的安装与运行说明可参考 TensorFlow 集成文档下面给出在其指导下于 Alluxio FUSE 上运行 TensorFlow 基准测试的要点。一次挂载透明访问将底层存储一次性挂载进 Alluxio 后各类底层存储中的数据都可通过 Alluxio 立即访问基准测试程序无需对 TensorFlow 或基准脚本做任何修改即可透明读取数据。这极大简化了应用开发——否则开发方需要为每个特定存储系统做集成并配置访问凭证。典型操作流程详见 TensorFlow 文档准备环境Java 8u6064 位、正常运行的 Alluxio、TensorFlow该文档使用 v1.15安装 FUSELinux 下执行yum install fuse fuse-develmacOS 下安装 osxfuse创建训练数据目录并挂载$ ./bin/alluxio fs mkdir /training-data $ sudo mkdir -p /mnt/fuse $ sudo chown $(whoami) /mnt/fuse $ chmod 755 /mnt/fuse $ ./integration/fuse/bin/alluxio-fuse mount /mnt/fuse /training-data $ ./integration/fuse/bin/alluxio-fuse stat # 查看 FUSE 进程状态将远程数据如 S3 中的 ImageNet挂载为/training-data/imagenet本地/mnt/fuse/imagenet即可见$ ./bin/alluxio fs mount /training-data/imagenet/ s3://alluxio-tensorflow-imagenet/ \ --option s3a.accessKeyIDACCESS_KEY_ID --option s3a.secretKeySECRET_KEY凭证与挂载点关联后后续访问无需再提供凭证。若数据不在远程存储也可直接复制进 Alluxio 命名空间./bin/alluxio fs copyFromLocal ...。挂载完成后aws s3 ls、bin/alluxio fs ls与ls -l /mnt/fuse/三个命令在 S3、Alluxio、本地挂载点三处看到完全一致的文件列表——这正是统一命名空间与 FUSE 透明性的直观体现。训练流程的三个资源阶段基准测试以**图像/秒images/sec**为单位根据输入训练图像评估训练模型的吞吐量。训练过程涉及三类资源利用的三个阶段数据读取I/O从数据源中选择并读取图像文件图像处理CPU将图像记录解码为图像、预处理并组织成小批次mini-batch模型训练GPU计算并更新多个卷积层的参数。任何一阶段成为瓶颈都会拖慢整体吞吐当存储访问缓慢时I/O 阶段最先成为瓶颈。数据本地化带来的性能收益通过将Alluxio worker 与深度学习框架并置部署co-locationAlluxio 会把远程数据缓存到本地供后续访问实现数据本地化。没有 Alluxio 时缓慢的远程存储访问可能导致 I/O 瓶颈使 GPU 资源利用不足。例如在基准测试的模型中AlexNet 架构相对简单存储变慢时更容易出现 I/O 瓶颈在 EC2 p2.8xlarge 机器上Alluxio 可实现近 2 倍的性能提升。注意该 2 倍提升是原文档在特定机型EC2 p2.8xlarge、特定基准模型如 AlexNet下给出的实测结论实际收益取决于网络环境、数据规模与模型结构。读/写策略调优MUST_CACHE 与 CACHE_PROMOTE许多 TensorFlow 应用在工作流中会生成大量短期有效的临时中间文件这些文件并不需要持久化到远程存储。若将 TensorFlow 直连远程存储所有文件数据文件、临时文件、结果等都会被写入并持久化到远程借助 Alluxio 这层缓存可以减少不必要的远程持久化操作、缩短读写时间见 TensorFlow 文档 中的提示章节。对应配置属性定义于 core/common/src/main/java/alluxio/conf/PropertyKey.javaUSER_FILE_WRITE_TYPE_DEFAULT、USER_FILE_READ_TYPE_DEFAULT将alluxio.user.file.writetype.default设为MUST_CACHE写入只进入 Alluxio 并存储于 Alluxio worker 存储顶层通常为内存层不落远程将alluxio.user.file.readtype.default设为CACHE_PROMOTE读取时若数据已在 Alluxio 存储中则将其提升至最高层并缓存供后续访问。alluxio.user.file.writetype.defaultMUST_CACHE alluxio.user.file.readtype.defaultCACHE_PROMOTE从内存读写可显著加速 TensorFlow 工作流当远程存储为 S3 这类云存储时收益更加明显。实践建议小结存储统一入口将 S3/HDFS/GCS 等一次性挂载进 Alluxio 命名空间训练框架只面向 Alluxio 编程使用 FUSE 而非重写应用通过alluxio-fuse mount将数据目录挂载到本地把挂载点路径传给 TensorFlow 的data_dir等数据位置参数即可无需修改应用与 worker 并置部署让训练任务运行在 Alluxio worker 所在节点发挥本地缓存与数据本地化优势缓解远程存储 I/O 瓶颈按需调读写策略临时中间文件场景使用MUST_CACHE避免无谓的远程持久化热点数据用CACHE_PROMOTE提升到内存层容量与生命周期管理按训练数据量设置alluxio.worker.ramdisk.size与分层存储配置可通过alluxio fs free/load/persist及 TTL 管理缓存空间详见 缓存文档。延伸阅读统一命名空间挂载 API、根/嵌套挂载点与元数据同步机制缓存Alluxio 存储分层、块注释策略与数据生命周期管理FUSE 基础上的 POSIX APIFUSE 挂载/卸载、libfuse 版本选择与已知局限性在 Alluxio-FUSE 上运行 TensorFlow图像识别示例、TensorFlow 基准与更多调优提示。赞分享存储分布式文件系统缓存大数据【免费下载链接】alluxioAlluxio, data orchestration for analytics and machine learning in the cloud项目地址https://gitcode.com/gh_mirrors/al/alluxio点击查看免费下载相关推荐Alluxio在深度学习框架中的应用与优化实践Alluxio在深度学习框架中的应用与优化实践 深度学习面临的数据存储挑战 随着数据规模不断扩大和计算能力持续提升深度学习已成为人工智能领域的主流技术。然而存储分布式文件系统缓存大数据终极Java深度学习实战JavaCPP Presets集成TensorFlow与PyTorch完整指南终极Java深度学习实战JavaCPP Presets集成TensorFlow与PyTorch完整指南 JavaCPP Presets是Java生态中连接原生开发工具跨平台Presto 数据缓存实战指南Alluxio SDK 本地缓存与 Alluxio Cache Service 分布式缓存Presto 数据缓存实战指南Alluxio SDK 本地缓存与 Alluxio Cache Service 分布式缓存 Presto 作为分布式 SQL 查大数据数据库后端上一篇Photoshop 直连 Stable Diffusion 完整教程Auto-Photoshop 插件从安装到出图下一篇ComfyUI-VideoHelperSuite从加载视频到合成视频的完整流程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考