【免费下载链接】PickTV项目地址https://gitcode.com/gh_mirrors/pi/PickTV点击查看免费下载PickTV 是一款面向电视与手机的影视聚合播放应用其核心能力之一就是Spider 爬虫引擎它允许开发者用Java、JavaScriptQuickJS或 PythonChaquopy三种语言编写数据源插件通过统一的 Spider 抽象接口加载进应用即可为 PickTV 增加影视、直播、搜索等数据源。本文带你从零理解 PickTV Spider 爬虫的多语言引擎加载原理并给出三语言的实战开发教程。一、Spider 是什么一个接口三种语言在 PickTV 中每个影视来源Site都对应一个 Spider 实例。所有 Spider 都继承同一个抽象基类 Spider.java它定义了完整的爬取生命周期方法作用init(context, extend)初始化接收配置中的ext扩展字段homeContent(filter)获取首页分类homeVideoContent()获取首页推荐影片categoryContent(tid, pg, ...)分类列表支持分页与筛选detailContent(ids)影片详情与播放集数searchContent(key, quick)关键词搜索playerContent(flag, id, vipFlags)播放地址解析liveContent(url)直播频道列表proxy(params)本地代理居中转发媒体数据destroy()释放资源所有方法默认返回空值你只需要覆写用到的部分。完整的参数与 JSON 返回结构规范见官方文档 docs/SPIDER.md。二、多语言引擎的加载原理应用启动时配置中的type与api字段决定了使用哪个引擎。核心分发逻辑位于 BaseLoader.javaif (isPy(api)) return pyLoader.getSpider(key, api, ext); // .py else if (isJs(api)) return jsLoader.getSpider(key, api, ext, jar); // .js else if (isCsp(api)) return jarLoader.getSpider(key, api, ext, jar); // csp_ else return new SpiderNull();typeapi格式引擎加载方式0HTTP URL内建 XML 解析直接 GET 请求1HTTP URL内建 JSONFilter直接 GET 请求3csp_类名JavaDexClassLoader从jar字段加载 .jar3xxx.jsJavaScriptQuickJS加载 .js 脚本3xxx.pyPythonChaquopy加载 .py 脚本三种引擎的加载器实现分别位于 app/src/main/java/com/fongmi/android/tv/api/loader/ 目录Java 引擎JarLoader.java 通过DexClassLoader动态加载 .jar 文件反射实例化com.github.catvod.spider.类名实现真正的热插拔JS 引擎JsLoader.java 调用 QuickJS 模块quickjs/src/main/java/com/fongmi/quickjs/crawler/Spider.java在独立的 JS 上下文中执行脚本脚本通过module.exports.default导出爬虫对象并可使用内置的http请求库与local本地模块Python 引擎PyLoader.java 基于 Chaquopy 启动 Python 运行时chaquo/src/main/java/com/fongmi/chaquo/Spider.java把 Java 调用逐层桥接到 Python 对象的同名方法可直接使用requests、lxml等生态库。三种引擎加载的 Spider 实例会被缓存在ConcurrentHashMap中同一来源不会重复初始化配置重载时统一调用destroy()清理。三、站点配置怎么写在 PickTV 的站点配置JSON中每个来源的关键字段如下完整字段说明见 docs/CONFIG.md{ key: mySite, name: 我的数据源, type: 3, api: my_spider.js, jar: http://example.com/my-spider.jar, ext: https://example.com }api以.js结尾 → JS 引擎以.py结尾 → Python 引擎以csp_开头 → Java 引擎此时jar指定 .jar 地址ext会原样传入init()你可以放首页 URL、Token、JSON 配置等api既可以是远程 URL启动时自动下载到本地缓存也可以直接内嵌脚本内容。四、实战三种语言各写一个爬虫1. JavaScriptQuickJS——最轻量JS 爬虫只需一个 .js 文件通过module.exports.default导出对象即可。可用全局http对象发起请求内置 cheerio 解析 HTMLmodule.exports.default { init: function (extend) {}, home: function (filter) { return { class: [{ type_id: 1, type_name: 电影 }] }; }, detail: function (id) { return { list: [{ vod_id: id, vod_name: 示例电影, vod_play_from: m3u8, vod_play_url: 正片$https://cdn.example.com/a.m3u8 }] }; } };JS 引擎运行细节模块加载、异步执行、代理转发见 quickjs/src/main/assets/js/lib/spider.js 与 quickjs/src/main/assets/js/lib/ 下的内置库。2. PythonChaquopy——生态最丰富Python 爬虫继承基类 spider.py它已经内置了fetch/postrequests、htmllxml、log、getCache/setCache应用内置缓存服务、getProxyUrl等工具方法单例模式保证全局唯一实例from base.spider import Spider class Spider(Spider): def init(self, extend): self.extend extend def detailContent(self, ids): return {list: [{vod_id: 1, vod_name: 示例电影, vod_play_from: m3u8, vod_play_url: 正片$https://cdn.example.com/a.m3u8}]}Python 运行时入口在 chaquo/src/main/python/app.py它会先把远程 .py 脚本下载到应用缓存目录再用SourceFileLoader动态加载。3. JavaJAR——性能最强Java 爬虫继承 Spider.java 抽象类编译成 .jar 后通过配置中的jar字段加载public class MySpider extends com.github.catvod.crawler.Spider { Override public String detailContent(ListString ids) { return {\list\:[{\vod_id\:\1\,\vod_name\:\示例电影\, \vod_play_from\:\m3u8\,\vod_play_url\:\正片$https://cdn.example.com/a.m3u8\}]}; } }Java 版可直接复用应用内的 OkHttpSpider.client()与 catvod/src/main/java/com/github/catvod/net/ 下的网络栈还能通过Proxy.getUrl()获取本地代理地址适合需要高性能并发或复杂加解密场景。五、本地代理 proxy:// ——播放器取不到地址时的救星当媒体地址带 Referer 限制或需要鉴权时可以返回proxy://开头的地址让请求由本应用内的本地代理服务器转发再由对应语言的proxy()方法处理。各语言获取代理地址的方式见 docs/SPIDER.md 中的「爬蟲本地代理 URL」一节HTTP 接口细节见 docs/LOCAL.md。六、学习路径与参考资料 建议按以下顺序上手先读规范 → 选一种语言 → 用内置引擎type 0/1跑通最简单来源 → 再升级到type: 3自定义 Spiderdocs/SPIDER.md — 爬虫 API 完整规格所有方法参数、JSON 结构、返回示例docs/CONFIG.md — 站点配置字段说明docs/LIVE.md — 直播来源开发引擎源码catvod/src/main/java/com/github/catvod/公共层、quickjs/src/main/java/com/fongmi/quickjs/JS 引擎、chaquo/src/main/java/com/fongmi/chaquo/Python 引擎掌握 PickTV Spider 爬虫后你就可以用任意熟悉的语言为自己的影视数据源插上翅膀让 PickTV 的内容世界无限扩展。赞分享【免费下载链接】PickTV项目地址https://gitcode.com/gh_mirrors/pi/PickTV点击查看免费下载相关推荐PickTV点播源接入实战4种type类型对比与JSON API/Spider爬虫配置教程PickTV点播源接入实战4种type类型对比与JSON API/Spider爬虫配置教程 给智能电视装一个好用的影音应用不难难的是有片源。本文以开源项终极Python指南实战Web爬虫开发与反爬虫策略全解析终极Python指南实战Web爬虫开发与反爬虫策略全解析 GitHub 加速计划 / py / python guide 是一份为人类编写的 Python 最文档教程Amlogic电视盒子Armbian系统实战指南从Android到Linux服务器的完美转型Amlogic电视盒子Armbian系统实战指南从Android到Linux服务器的完美转型 amlogic s9xxx armbian项目为Amlogic、嵌入式开发工具构建工具操作系统创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考