从零跑通 Gemini API覆盖实时音乐生成与多模态应用的完整实战指南【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook如果你刚接触 Gemini API面对几十个 Notebook 不知道从哪读起、又该怎么把零散能力拼成完整应用那这份官方示例库Gemini API Cookbook就是最好的起点。它把 API 的能力拆成了两类可运行的教程quickstarts/目录教单项功能examples/目录演示多能力组合成真实应用。你不需要先啃完官方文档跟着仓库里的路径走每个功能都有现成代码可以跑。 能力速览一个仓库装下整个 Gemini 生态这个仓库的内容量不小但组织方式很简单翻一遍目录就有底了入门主线quickstarts/Get_started.ipynb快速上手教程覆盖基础提示与多模态输入以及quickstarts/Authentication.ipynb教你配置 API Key实时能力Lyria RealTime 流式音乐生成、Live API 低延迟语音/视频流、Live Translation 实时翻译内容生成Nano-Banana 原生图像生成、Veo 与 Omni Flash 视频生成、TTS 语音合成工程能力Function Calling、Grounding搜索增强、Batch 批量调用、Embeddings、流式输出生态集成examples/qdrant/、examples/weaviate/、examples/langchain/等向量库与框架的对接示例它本质是一本能运行的 API 手册每个功能一个 Notebook每个 Notebook 都带完整可复制的代码。⚡ 环境准备3 条命令跑通你的第一次调用准备工作非常轻一台能跑 Python 的电脑加一个从 Google AI Studio 申请的 API Key。先克隆仓库并安装依赖Lyria RealTime 本地脚本额外需要pyaudio和websocketsgit clone https://gitcode.com/GitHub_Trending/coo/cookbook cd cookbook pip install google-genai pyaudio websockets然后设置环境变量直接跑仓库里的本地脚本试试实时音乐生成export GOOGLE_API_KEY你的API密钥 python quickstarts/Get_started_LyriaRealTime.py 80 BPM 的舒缓钢琴曲Get_started_LyriaRealTime.py是一个可独立运行的 Python 脚本它会从命令行接收提示词通过 websocket 流式接收并播放音乐。想先试最简单的文本对话就打开quickstarts/Get_started.ipynb官方推荐的第一个教程。 核心能力拆解实时音乐、多模态与图像生成边听边改的 Lyria RealTime 实时音乐Lyria RealTime 是 DeepMind 的流式音乐生成模型走 websocket 长连接音乐不会生成完再给你而是持续不断地流出来。它的最大亮点是实时可控你可以随时用文本提示词混搭风格描述乐器、流派、情绪还能按权重混合也能直接改参数——bpm节拍速度、scale音阶、guidance提示遵循强度、density音符密度、brightness明暗度模型会平滑过渡到新状态而不是重新生成。本地脚本quickstarts/Get_started_LyriaRealTime.py支持交互式控制台输入play、pause、bpm120这类指令音乐立刻响应。两个小提醒它目前还是预览功能免费但有配额限制在 Colab 里跑受环境限制体验不到真正的实时性建议用本地脚本或 AI Studio 里的 Prompt DJ / MIDI DJ 应用完整体验。一张图、一段视频、一个 PDF 都能聊Gemini 的多模态输入在quickstarts/里被拆成了独立教程Audio.ipynb音频理解、Video_understanding.ipynb视频分析、PDF_Files.ipynbPDF 处理、File_API.ipynb上传音视频图文等文件再操作。下面这张猫图就是仓库里多个入门教程共用的示例素材用来演示把图片塞进提示词这个最基本的多模态操作入门教程中的多模态示例图片文本加图片混合输入是 Gemini 的基本功从草图到成稿原生图像生成quickstarts/Get_Started_Nano_Banana.ipynb教你用 Gemini 原生图像生成能力直接输出图像并支持多轮对话式修改examples/Sketch2Paint.ipynb则演示手绘草图变艺术画。下面这座城堡线稿风格插画就来自examples/Book_illustration.ipynb给开源书自动配图那类实战示例的产出图像生成与结构理解结合的示例产出展示 Gemini 对构图细节的把握 实战场景把示例直接变成你的项目场景一给整本书批量配插画场景描述手头一本开源书籍或电子教材需要风格统一的配图。实现思路用examples/Book_illustration.ipynb里的套路——把章节文本喂给 Gemini结合原生图像生成和结构化输出控制每张插画的构图与风格。关键步骤先跑quickstarts/Get_Started_Nano_Banana.ipynb熟悉图像生成参数再回到 Book_illustration 示例把整章配图拆成逐段出图 结构化校验。场景二给私有文档建可检索问答场景描述想让自己的文档、日志、表格开口说话。实现思路仓库提供两条路线——托管式 RAG 用quickstarts/File_Search.ipynb上传后直接搜索不用自己搭向量库自建路线用quickstarts/Embeddings.ipynb加examples/Talk_to_documents_with_embeddings.ipynb再配合examples/qdrant/含相似度搜索和电影推荐两个完整示例或examples/weaviate/自带docker-compose.yml一键起服务。关键步骤先决定托管还是自建再按对应 Notebook 走通上传 → 向量化 → 检索 → 生成四步。场景三做一个能听语音的硬件小玩意场景描述想把 Gemini 接进 ESP32 这类硬件做语音控制的灯、玩具或艺术装置。实现思路实时音频能力依赖 Live API 的 websocket 协议quickstarts/websockets/目录给了三把钥匙Get_started_LiveAPI.py本地可跑的 Python 脚本、shell_websockets.sh用 websocat 在终端直接和 Live API 对话、Get_started_LiveAPI.ipynbColab 版总览。关键步骤先用examples/gradio_audio.py在本地起一个 Live API 实例熟悉协议再参考examples/iot/esp32/voice_led_controller/里的接线与固件思路把它搬到你的硬件上。仓库 IoT 示例中的接线图麦克风、扬声器与 ESP32 的完整连接关系 进阶技巧 避坑指南你可能遇到的情况建议做法脚本提示找不到 API Key它读的是GOOGLE_API_KEY环境变量export后再运行quickstarts/file-api/的示例改用.env文件存 Key音乐播放有卡顿或延迟Lyria RealTime 脚本里BUFFER_SECONDS参数调大减少断流但增加延迟调小更跟手按网络情况折中长回复等太久用quickstarts/Streaming.ipynb学流式输出逐段拿到结果大批量非实时任务太贵用quickstarts/Batch_mode.ipynb的 Batch API仓库 README 里标注可拿到最高 90% 的折扣速度、成本、稳定性要平衡看quickstarts/Inference_tiers.ipynb学会用 Priority / Flex 两档推理层级异步任务批量、视频生成不知道何时完成配quickstarts/Webhooks.ipynb完成后 API 主动回调通知你想理解底层协议而不只是调 SDKquickstarts/rest/有一整套 REST 版 Notebook函数调用、流式、Embeddings 等对照 SDK 版本看差异️ 资源导航 学习路线按这条由浅入深的路线走两周左右能覆盖仓库里 80% 的内容quickstarts/Authentication.ipynb5 分钟配好 Key这是所有教程的前提quickstarts/Get_started.ipynb完成第一次文本调用和多模态输入quickstarts/Get_started_LyriaRealTime.ipynb配合同名.py脚本体验实时音乐生成的完整交互quickstarts/按需挑专题Streaming.ipynb、JSON_mode.ipynb、Function_calling.ipynb、Grounding.ipynb、Models.ipynbexamples/挑一个贴近你业务的组合应用精读比如Sketch2Paint.ipynb或Search_grounding_for_research_report.ipynbexamples/prompting/14 个提示词技巧的独立 Notebook零样本、少样本、思维链等写提示卡壳时回来翻前端同学可以看看quickstarts-js/里面是 Audio、Counting_Tokens、Image 输出的 JavaScript 版示例别让它躺在收藏夹里——今晚就把quickstarts/Get_started.ipynb打开跑一次第一次调用再挑一个你最想做的场景配图、问答还是实时音乐照着对应示例动手卡住的地方仓库里基本都有现成答案。【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考