LiteRT-LM Builder实战如何打包与解包.litertlm模型文件【免费下载链接】LiteRT-LMLiteRT-LM is Googles production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.项目地址: https://gitcode.com/GitHub_Trending/li/LiteRT-LMLiteRT-LM 是 Google 开源的高性能边缘端大模型推理框架而LiteRT-LM Builder正是它的文件打包器通过litert-lm-builder命令行工具或 Python API你可以把 TFLite 模型、分词器、元数据等零散组件一键打包成标准的.litertlm模型文件也能随时把它解包还原、逐段检查。本文带你从安装到实战完整掌握打包与解包全流程。LiteRT-LM Builder 是什么3分钟看懂 .litertlm 格式.litertlm本质是一个模型压缩包它把大模型部署所需的全部资产——主模型prefill_decode 或 embedder、SentencePiece / HuggingFace 分词器、LLM 元数据、执行器元数据等——按固定顺序写入多个Section分区并带有一个记录分区信息的文件头。理解打包之前先认识两个官方工具安装后即可获得工具作用入口源码litert-lm-builder打包 / 解包.litertlm文件litertlm_builder_cli.pylitert-lm-peek查看文件头、系统元数据、分区信息litertlm_peek_main.py核心打包逻辑位于 litertlm_builder.py官方使用指南见 docs/litert_lm_builder.md。一键安装litert-lm-builder 快速上手推荐用虚拟环境安装一条命令即可uv venv source .venv/bin/activate uv pip install litert-lm-builder如果想使用仓库自带的测试素材模型与分词器做实验可先克隆仓库git clone https://gitcode.com/GitHub_Trending/li/LiteRT-LM仓库里自带了可直接用于打包演示的素材测试模型schema/testdata/attention.tfliteSentencePiece 分词器runtime/components/testdata/sentencepiece.model各模型的 LLM 元数据样例如 models/gemma4/LlmMetadataProto.pbtext打包 .litertlm用链式子命令组装模型文件litert-lm-builder最灵活的设计是链式子命令把多个组件参数按顺序串联顺序即输出文件中分区的顺序。一个最小可用的打包命令如下litert-lm-builder \ system_metadata --str Authors ODML Team \ tflite_model --path schema/testdata/attention.tflite --model_type prefill_decode \ sp_tokenizer --path runtime/components/testdata/sentencepiece.model \ output --path demo.litertlm支持的子命令见 _SUBCOMMANDS 定义system_metadata写入键值对元数据--str/--int可多次指定llm_metadataLLM 元数据 proto文本或二进制均可tflite_model/tflite_weightsTFLite 模型与权重需指定--model_type如prefill_decode、embeddersp_tokenizer/hf_tokenizerSentencePiece 或 HuggingFace 分词器output指定最终输出路径unpack解包模式下节介绍用 TOML 配置文件批量打包组件多、流程固定时更适合把配置写成 TOML 文件再用toml子命令驱动打包便于版本管理和团队协作litert-lm-builder toml --path example.toml output --path real_via_toml.litertlmTOML 中每个[[section]]对应文件中的一个分区section_type可为LlmMetadata、SP_Tokenizer、TFLiteModel等还可附加additional_metadata键值对完整示例见 litertlm_builder_cli.py 文件头注释。元数据字段定义可参考 runtime/proto/llm_metadata.proto。解包 .litertlm还原模型组件与 model.toml拿到别人给的.litertlm文件想看看里面装了什么用unpack子命令即可把各分区文件逐字节还原并自动重建一份model.toml配置文件你可以直接改这份 TOML 重新打包实现解包→修改→再打包的循环litert-lm-builder unpack --input demo.litertlm --output ./unpacked_dir解包结果目录中包含提取出的各分区文件以及model.toml。对应的 Python 实现为 unpack() 函数返回值就是生成的model.toml路径反向的打包入口是 pack() 函数。litert-lm-peek不改动文件秒查模型内容只想看一眼而不想落盘解包litert-lm-peek会读取文件头、系统元数据与分区信息并打印到控制台# 打印诊断信息到终端 litert-lm-peek --litertlm_file demo.litertlm # 直接把各分区组件逐字节提取到目录 litert-lm-peek --litertlm_file demo.litertlm --dump_files_dir ./extracted_files它的核心函数peek_litertlm_file同样暴露为 Python API方便在脚本中做文件校验。Python API以编程方式打包与解包对于流水线集成Python API 提供了完整的能力。下面演示打包、查看、解包三步from litert_lm_builder import ( LitertLmFileBuilder, Metadata, DType, TfLiteModelType, Backend, peek_litertlm_file ) builder LitertLmFileBuilder() builder.add_system_metadata(Metadata(keyAuthors, valueODML Team, dtypeDType.STRING)) builder.add_tflite_model( tflite_model_pathschema/testdata/attention.tflite, model_typeTfLiteModelType.PREFILL_DECODE ) builder.add_sentencepiece_tokenizer( sp_tokenizer_pathruntime/components/testdata/sentencepiece.model ) with open(demo_api.litertlm, wb) as f: builder.build(f) # 检查 解包 peek_litertlm_file(demo_api.litertlm, None, sys.stdout) LitertLmFileBuilder.unpack(demo_api.litertlm, ./unpacked_output)打包产物最终交给 LiteRT-LM 运行时加载进入对话与推理流水线如工具调用、格式化解析等环节常见问题与最佳实践分区顺序由谁决定CLI 模式下是你在命令行中排列子命令的顺序TOML 模式下是[[section]]的书写顺序。解包得到的 model.toml 能直接重新打包吗可以用toml --path model.toml output --path new.litertlm即可。如何校验打包结果打包完成后立即执行一次litert-lm-peek检查分区与元数据是良好的习惯。支持哪些模型类型--model_type支持prefill_decode、embedder等见 TfLiteModelType 枚举。小结LiteRT-LM Builder 用一条链式命令或一份 TOML 就能完成.litertlm模型文件打包用unpack/litert-lm-peek即可解包与检查配套 Python API 让一切可编程化。更多细节可查阅 python/litert_lm_builder/README.md 与 docs/litert_lm_builder.md动手打包你的第一个边缘端大模型文件吧【免费下载链接】LiteRT-LMLiteRT-LM is Googles production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.项目地址: https://gitcode.com/GitHub_Trending/li/LiteRT-LM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考