简介这是一套面向开发者与数据工程师的开源网页抓取系统源码专为解决自主可控、免依赖第三方API的网站数据采集需求而设计适用于数据挖掘、竞品分析及学术研究等场景。资源共28个文件包含8个核心PHP后端逻辑文件如api.php、wget_site.sh调度脚本、3个CSS与2个JS前端交互文件、3张JPG/PNG演示图直观呈现操作界面另有LICENSE、README.md和.gitignore等工程规范文件整体压缩包仅318KB轻量易部署。已有346人学习下载体现了社区对本地化、高透明度爬虫方案的关注。用户可直接运行并定制wget深度抓取逻辑深入理解任务管理、数据解析与反爬适配等模块实现源码结构清晰含Config.php配置中心、smtp邮件通知、ssh.class.php远程控制等实用组件还提供QQ浏览器截图等真实界面参考便于快速上手与二次开发。1. 这不是“爬虫工具箱”而是一套可审计、可部署、可维护的网站结构化数据采集系统很多人看到“扒站系统”第一反应是黑灰产、版权风险或反爬对抗——但2024年真实工程场景中它早已演变为一种合规前提下的前端资产归档、竞品页面快照比对、SEO结构健康度扫描、静态资源完整性校验等刚需能力。本标题所指的“至白在线扒站系统”核心在于“至白”二字所有逻辑透明、无隐蔽通信、不依赖未声明第三方服务、接口定义清晰可验证。它用 PHP 构建主控调度层底层依赖wget实现稳健的 HTTP 资源抓取非 curl 的轻量级替代并提供原生 API 接口供外部系统调用如 CI/CD 流水线触发站点快照、监控平台拉取 HTML 结构变更。适合运维工程师做定期归档、前端团队做跨版本 DOM 差异分析、SEO 专员批量提取 title/meta/链接拓扑。它不模拟浏览器、不执行 JS、不破解登录态——这恰恰是它能在企业内网、离线环境、审计严格场景中落地的根本原因。2. 为什么选 wget 而非 curl 或 Puppeteer从协议层理解“扒站”的本质需求2.1 wget 的不可替代性递归下载 链接重写 本地路径映射“扒站”在工程上不是简单 GET 一个 URL而是要完整重建目标站点的相对链接语义。curl默认只获取单页内容需手动解析a href、img src并逐个请求Puppeteer 启动 Chromium 开销大、内存占用高、无法离线复现JS 渲染依赖网络资源。而wget原生支持--recursive-r、--page-requisites-p、--convert-links-k三连指令能自动下载 HTML 及其引用的 CSS/JS/图片含嵌套层级将远程绝对链接如https://example.com/css/style.css重写为本地相对路径./css/style.css生成与原始站点结构一致的目录树example.com/index.html,example.com/blog/post1.html提示wget -r -p -k -e robotsoff -U Mozilla/5.0 --no-parent https://example.com是最小可行命令。其中--no-parent阻止向上遍历如/../admin/-e robotsoff绕过 robots.txt仅限授权范围内的目标站点-U伪装 User-Agent 避免被基础 UA 拦截。2.2 PHP 作为调度中枢解耦下载、解析、API 暴露三层职责系统将wget定位为“纯 IO 执行器”PHP 不参与网络请求只负责接收用户提交的目标域名、深度限制、超时阈值等参数校验输入合法性如过滤; rm -rf /类 shell 注入构造安全的escapeshellarg()包裹的 wget 命令监控进程状态、捕获 stderr 日志、判断退出码0成功8I/O 错误6认证失败将下载完成的文件树打包为 ZIP或触发后续解析任务如提取所有title标签// download.php 核心调度逻辑简化版 $target filter_var($_POST[url], FILTER_VALIDATE_URL); if (!$target) die(Invalid URL); // 白名单域名校验生产环境必须 $allowed_domains [example.com, test-site.org]; $host parse_url($target, PHP_URL_HOST); if (!in_array($host, $allowed_domains)) die(Domain not allowed); $depth (int)$_POST[depth] ?: 3; $timeout (int)$_POST[timeout] ?: 300; // 构造命令使用 escapeshellarg 确保参数不逃逸 $cmd sprintf( wget -r -l %d -p -k -e robotsoff -U Mozilla/5.0 --no-parent --timeout%d --tries2 -P /var/www/archive/%s %s 21, $depth, $timeout, escapeshellarg($host), escapeshellarg($target) ); // 执行并捕获输出 $output []; $return_code 0; exec($cmd, $output, $return_code); if ($return_code 0) { echo json_encode([status success, archive_path /archive/{$host}/]); } else { error_log(Wget failed for {$target}: . implode(\n, $output)); echo json_encode([status error, details $output]); }2.1.1 参数安全边界为什么escapeshellarg()不够还需域名白名单escapeshellarg()只防止参数注入但无法阻止恶意 URL 如https://evil.com?x$(rm -rf /)。更危险的是--directory-prefix-P参数若被污染可能写入系统关键路径。因此必须强制要求url参数含http://或https://协议头parse_url($url, PHP_URL_HOST)提取域名后与预设白名单硬匹配存储路径固定为/var/www/archive/{host}/禁止用户指定任意路径3. API 接口设计RESTful 风格 请求体校验 状态机管理3.1 接口路由与方法定义聚焦“发起扒站”和“查询状态”两个原子操作系统提供两个核心端点全部基于 PHP 原生$_POST和file_get_contents(php://input)解析 JSON方法路径用途认证方式POST/api/v1/submit提交扒站任务返回任务 IDIP 白名单或简单 Token如X-API-Key: abc123GET/api/v1/status/{task_id}查询任务进度queued/running/success/failed同上注意不提供/api/v1/cancel等复杂操作。wget进程一旦启动取消需kill -TERM但会破坏文件一致性。工程实践是“让任务自然结束”失败任务由定时脚本清理。3.2/api/v1/submit的完整请求体与服务端校验逻辑{ url: https://example.com, depth: 3, timeout: 300, include_assets: true, user_agent: SiteArchiver/1.0 }PHP 后端校验步骤按顺序执行任一失败即返回 400JSON 解析验证json_last_error() JSON_ERROR_NONE必填字段检查url存在且为字符串depth为 1~5 整数timeout为 60~600 整数URL 协议与域名白名单同 2.1.1 节额外拒绝ftp://、file://等非常规协议User-Agent 合理性长度 5~100 字符不含控制字符不匹配已知爬虫 UA 黑名单如SemrushBot并发控制检查/tmp/archiver.lock文件是否存在flock()加锁避免同一服务器同时运行 3 个 wget// api/submit.php关键校验片段 $data json_decode(file_get_contents(php://input), true); if (json_last_error() ! JSON_ERROR_NONE) { http_response_code(400); echo json_encode([error Invalid JSON]); exit; } // 深度限制防止无限递归拖垮服务器 if (!isset($data[depth]) || !is_int($data[depth]) || $data[depth] 1 || $data[depth] 5) { http_response_code(400); echo json_encode([error depth must be integer between 1 and 5]); exit; } // 域名白名单生产环境应从数据库或配置文件读取 $allowed [example.com, docs.php.net]; $host parse_url($data[url], PHP_URL_HOST); if (!in_array($host, $allowed)) { http_response_code(403); echo json_encode([error Domain not authorized]); exit; }3.1.1 任务 ID 生成策略时间戳随机数主机哈希确保全局唯一为避免 UUID 依赖扩展采用轻量方案$task_id sprintf( %s_%s_%s, date(YmdHis), substr(md5(uniqid(, true)), 0, 6), substr(md5(gethostname()), 0, 4) ); // 示例20240520143022_abc123_de4f该 ID 写入/var/www/tasks/{$task_id}.json含提交时间、参数、状态供/status接口读取。4. 源码结构解析从index.php到archive/目录的完整文件映射4.1 项目根目录标准布局共 7 个核心文件/目录. ├── index.php # 前端提交表单HTML JS ├── api/ # API 入口目录 │ ├── submit.php # 处理 POST /api/v1/submit │ └── status.php # 处理 GET /api/v1/status/{id} ├── lib/ # 工具函数库 │ ├── WgetRunner.php # 封装 wget 执行、日志、超时控制 │ └── TaskManager.php # 任务创建、状态更新、过期清理 ├── archive/ # 下载文件存储根目录需 755 权限 ├── tasks/ # 任务元数据存储需 755 ├── logs/ # wget 日志输出需 755 └── config.php # 数据库连接、白名单域名、API 密钥等提示archive/和tasks/必须为 Web 服务器用户如www-data可写。Nginx 配置需禁用该目录下 PHP 执行location ^~ /archive/ { deny all; }防止上传漏洞利用。4.2WgetRunner.php的健壮性设计超时、重试、错误分类该类不直接调用exec()而是封装为可测试单元?php class WgetRunner { private $timeout; private $max_retries 2; public function __construct($timeout 300) { $this-timeout $timeout; } public function run($url, $options []) { $cmd $this-buildCommand($url, $options); // 使用 proc_open 更精细控制比 exec 更安全 $descriptorspec [ 0 [pipe, r], 1 [pipe, w], 2 [pipe, w] ]; $process proc_open($cmd, $descriptorspec, $pipes); if (!is_resource($process)) { throw new Exception(Failed to start wget process); } // 设置超时stream_set_timeout 对 pipes 无效改用 pcntl_alarmLinux only pcntl_alarm($this-timeout 30); // 预留 30 秒缓冲 $stdout stream_get_contents($pipes[1]); $stderr stream_get_contents($pipes[2]); fclose($pipes[1]); fclose($pipes[2]); $return_code proc_close($process); pcntl_alarm(0); // 取消闹钟 return [ code $return_code, stdout $stdout, stderr $stderr, timed_out $return_code 124 // GNU wget 超时返回 124 ]; } private function buildCommand($url, $options) { $base wget -r -p -k -e robotsoff -U . ($options[ua] ?? SiteArchiver/1.0) . --no-parent; $base . --timeout . $this-timeout; $base . --tries . $this-max_retries; $base . -P . escapeshellarg(/var/www/archive/ . parse_url($url, PHP_URL_HOST)); $base . . escapeshellarg($url); return $base; } }4.1.1 错误码映射表wget 退出码与业务含义对照退出码含义应对措施0成功下载所有资源标记任务为success生成 ZIP2用户中断CtrlC不应出现于 API 场景记录为failed4网络故障DNS 失败、连接超时自动重试--tries2已覆盖6服务器返回 401/403检查目标是否需登录记录auth_required8I/O 错误磁盘满、权限不足立即告警检查archive/目录空间与权限124pcntl_alarm触发的超时增加timeout参数或降低depth5. 生产环境部署 checklist从 CentOS 7 到 Nginx PHP-FPM 的最小化配置5.1 系统依赖安装CentOS 7# 安装 wget默认已存在和 PHP 7.4 sudo yum install -y wget php php-fpm php-json php-mbstring # 启用并启动服务 sudo systemctl enable php-fpm sudo systemctl start php-fpm # 创建归档目录并赋权 sudo mkdir -p /var/www/archive /var/www/tasks /var/www/logs sudo chown -R www-data:www-data /var/www/archive /var/www/tasks /var/www/logs sudo chmod 755 /var/www/archive /var/www/tasks /var/www/logs5.2 Nginx 配置关键段/etc/nginx/conf.d/archiver.confserver { listen 80; server_name archiver.example.com; root /var/www/html; index index.php; # 禁止访问敏感目录 location ^~ /archive/ { deny all; } location ^~ /tasks/ { deny all; } location ^~ /logs/ { deny all; } location ~ /\.ht { deny all; } # API 接口走 PHP-FPM location /api/ { try_files $uri $uri/ /api/index.php?$query_string; } # PHP 处理 location ~ \.php$ { include fastcgi_params; fastcgi_pass unix:/var/run/php-fpm/www.sock; fastcgi_index index.php; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; } # 静态资源缓存 location ~* \.(html|css|js|png|jpg|jpeg|gif|ico|svg)$ { expires 1h; add_header Cache-Control public, no-transform; } }提示fastcgi_param中必须包含SCRIPT_FILENAME否则 PHP 无法定位入口文件。/api/路由通过try_files落到api/index.php再由其分发到submit.php或status.php。5.3 安全加固三项实操动作限制 wget 网络出口使用iptables仅允许wget访问 80/443 端口sudo iptables -A OUTPUT -m owner --uid-owner www-data -p tcp --dport 80 -j ACCEPT sudo iptables -A OUTPUT -m owner --uid-owner www-data -p tcp --dport 443 -j ACCEPT sudo iptables -A OUTPUT -m owner --uid-owner www-data -j DROPPHP 配置收紧/etc/php-fpm.d/www.conf; 禁用危险函数 disable_functions exec,passthru,shell_exec,system,proc_open,popen,curl_exec,curl_multi_exec,parse_ini_file,show_source ; 限制脚本执行时间 max_execution_time 600 ; 限制内存 memory_limit 512M任务队列防爆添加 cron 每 5 分钟清理 24 小时前的失败任务# /etc/cron.d/archiver-cleanup */5 * * * * root find /var/www/tasks -name *.json -mtime 1 -exec rm {} \;6. 验证与调试用三组 curl 命令确认系统端到端可用6.1 第一步确认 API 基础连通性与认证# 发送空 JSON 测试 400 错误响应 curl -X POST http://archiver.example.com/api/v1/submit \ -H Content-Type: application/json \ -H X-API-Key: abc123 \ -d {} # 预期返回{error:url must be provided}HTTP 4006.2 第二步提交一个合法任务并提取 task_id# 提交 example.com需提前加入白名单 curl -X POST http://archiver.example.com/api/v1/submit \ -H Content-Type: application/json \ -H X-API-Key: abc123 \ -d { url: https://example.com, depth: 1, timeout: 120 } # 预期返回{task_id:20240520143022_abc123_de4f,status:queued}6.3 第三步轮询状态直至完成并验证文件落地# 每 5 秒查一次直到 status 变为 success curl http://archiver.example.com/api/v1/status/20240520143022_abc123_de4f # 预期最终返回{task_id:...,status:success,archive_path:/archive/example.com/} # 登录服务器验证文件存在 ls -la /var/www/archive/example.com/ # 应看到index.html styles.css images/icon.png 等与官网结构一致的文件6.1.1 日志分析技巧从stderr定位 wget 具体失败原因当status返回failed时查看对应任务的stderr字段或/var/www/logs/{task_id}.log若含Resolving timed out after 30000 milliseconds→ DNS 解析慢需优化/etc/resolv.conf若含ERROR 403: Forbidden→ 目标站有 UA 或 Referer 拦截修改user_agent参数若含Cannot write to .../example.com/→archive/目录权限错误检查chown www-data:www-data至此你已掌握从概念理解、技术选型、代码实现、API 设计、生产部署到故障排查的全链路能力。这套系统不追求“全能”而专注在“确定性”和“可审计性”上——它不会绕过登录但能精确告诉你某个公开页面的 HTML 结构在今天是否发生了意外变更。本文还有配套的精品资源点击获取