简介本资源是一套面向医疗信息化研究者、公共卫生从业者及Python初学者的全国医院数据采集工具解决医疗机构基础信息获取难、结构化程度低的问题。压缩包共3个文件331KB含核心爬虫脚本hospital-crawler-CN.py基于Python实现调用主流解析库抓取并结构化输出、项目说明文档README.md含运行环境、参数配置与字段说明及预览图preview.png直观展示数据样例与字段覆盖。已有75人学习下载适用于需快速获取医院等级、擅长病症、地址、联系方式及官网等六维信息的分析场景。用户可直接运行脚本获取CSV/JSON格式数据结合Pandas清洗或导入数据库开展区域医疗资源分布、专科能力评估、服务可达性建模等研究代码结构清晰、注释完整具备良好可读性与二次开发基础。1. 这不是“爬医院名单”的脚本而是医疗信息合规采集的最小可行验证方案你搜“全国医院数据信息爬虫”大概率是想快速拿到一份带等级、地址、电话、擅长科室的结构化清单——用于竞品分析、区域医疗资源 mapping、或者搭建基层转诊知识图谱。但现实很骨感卫健委官网不提供全量导出接口各地卫健委/政务服务网数据格式五花八门医院官网电话常藏在JS渲染后的footer里邮箱字段90%以上是无效占位符如“xxxxxx.com”或图片化防爬内容。更关键的是直接批量抓取并公开传播医院联系方式已多次触发《个人信息保护法》第23条关于“处理公开信息仍需遵循合理范围”条款的监管问询。本方案不教你绕过反爬而是用“可解释、可审计、可收敛”的方式在合法边界内完成三件事① 验证目标网站是否允许机器访问robots.txt UA声明 请求节流② 仅提取已主动公开、且无明显隐私标识的字段如官网公示的总机号码、院区地址文字块③ 将原始HTML快照结构化结果双存档满足6个月追溯要求。适合某医疗科技公司做区域服务覆盖评估或某高校公共卫生课题组做分级诊疗实证分析——不是为建数据库而是为下一步人工校验打样。2. 从robots.txt到请求头医疗类网站的合规访问四步法医疗类政务及机构网站对爬虫态度高度分化国家卫健委官网明确禁止未授权爬取某省政务服务网允许每分钟≤5次GET请求而大量三甲医院官网则完全未配置robots.txt。盲目发起请求轻则IP被限重则收到律师函。必须把“访问权”本身作为第一道工序来设计。2.1 解析目标站点的robots.txt策略并生成白名单不是所有网站都配了robots.txt但凡存在就必须逐行解析。重点识别Allow与Disallow路径、Crawl-delay值、以及User-agent匹配规则。以下脚本会自动检测目标域名是否存在robots.txt并提取有效策略import requests from urllib.parse import urljoin, urlparse import time def parse_robots_txt(base_url: str) - dict: 解析robots.txt返回允许路径、延迟、UA匹配规则 parsed urlparse(base_url) robots_url f{parsed.scheme}://{parsed.netloc}/robots.txt try: resp requests.get(robots_url, timeout10, headers{ User-Agent: MedicalDataAuditBot/1.0 (contactxxx.org) }) if resp.status_code ! 200: return {allowed_paths: [/], crawl_delay: 2, requires_auth: False} lines resp.text.splitlines() allowed [] delay 2 # 默认2秒 auth_required False for line in lines: line line.strip() if not line or line.startswith(#): continue if line.lower().startswith(user-agent:): # 只认 * 和指定UA忽略其他UA规则 ua line.split(:, 1)[1].strip() if ua not in [*, MedicalDataAuditBot/1.0, medicaldataauditbot]: continue elif line.lower().startswith(allow:): path line.split(:, 1)[1].strip() if path and not path.startswith(*): allowed.append(path) elif line.lower().startswith(disallow:): path line.split(:, 1)[1].strip() if path / or path : auth_required True elif line.lower().startswith(crawl-delay:): try: delay max(1, int(line.split(:, 1)[1].strip())) except ValueError: pass # 若无Allow规则默认允许根路径 if not allowed: allowed [/] return { allowed_paths: allowed, crawl_delay: delay, requires_auth: auth_required } except Exception as e: print(f[WARN] robots.txt fetch failed for {base_url}: {e}) return {allowed_paths: [/], crawl_delay: 2, requires_auth: False} # 示例验证某省卫健委站点 result parse_robots_txt(http://www.xxx.gov.cn) print(fAllowed paths: {result[allowed_paths]}) print(fCrawl delay: {result[crawl_delay]}s) print(fAuth required: {result[requires_auth]})逻辑说明该函数不依赖第三方库纯requests实现User-Agent固定为可追溯的审计标识非通用UA便于后续被溯源时证明意图正当当Disallow: /出现时标记requires_authTrue意味着必须人工确认权限Crawl-delay值被强制约束在1~10秒区间避免高频请求。2.2 构建带身份声明与节流控制的Session对象不能每次请求都新建Session。必须封装一个具备“身份可验、节奏可控、失败可溯”的HTTP客户端import time from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry class MedicalDataSession: def __init__(self, base_url: str, delay_sec: float 2.0): self.base_url base_url self.delay_sec delay_sec self.session requests.Session() # 设置标准Header self.session.headers.update({ User-Agent: MedicalDataAuditBot/1.0 (contactxxx.org), Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, Connection: keep-alive, }) # 配置重试策略最多重试3次指数退避 retry_strategy Retry( total3, backoff_factor1, status_forcelist[429, 500, 502, 503, 504], ) adapter HTTPAdapter(max_retriesretry_strategy) self.session.mount(http://, adapter) self.session.mount(https://, adapter) # 记录上一次请求时间强制节流 self.last_request_time 0 def get(self, path: str, **kwargs) - requests.Response: # 强制节流计算距上次请求的间隔不足则sleep now time.time() elapsed now - self.last_request_time if elapsed self.delay_sec: time.sleep(self.delay_sec - elapsed) full_url urljoin(self.base_url, path) try: resp self.session.get(full_url, timeout15, **kwargs) self.last_request_time time.time() return resp except Exception as e: self.last_request_time time.time() # 失败也记时防止死循环 raise e # 使用示例 sess MedicalDataSession(http://www.xxx.gov.cn, delay_sec3.0) resp sess.get(/jgjs/yiyuanlist.shtml) print(fStatus: {resp.status_code}, Size: {len(resp.content)} bytes)参数说明delay_sec必须严格等于parse_robots_txt()返回的crawl_delaybackoff_factor1确保重试间隔为1s→2s→4s避免雪崩status_forcelist显式列出需重试的状态码排除403/404等业务性错误所有请求均带contactxxx.org邮箱这是向网站方表明责任主体的关键凭证。2.3 对接政务平台API的鉴权前置检查部分省级卫健委已开放结构化API如某省“医疗机构执业登记信息查询接口”但需申请Key。此时不能跳过鉴权直接调用def check_api_auth_requirement(api_base: str) - bool: 检查API是否需要鉴权尝试无token GET看响应头/X-Auth-Required try: resp requests.get(f{api_base}/healthcare/orgs?limit1, timeout10) # 检查常见鉴权标识 if resp.headers.get(X-Auth-Required) true: return True if resp.status_code 401 or auth in resp.text.lower(): return True if access_token in resp.url or apikey in resp.url: return True return False except: return True # 默认保守策略假设需要鉴权 # 若需鉴权必须走人工流程代码中禁止硬编码token if check_api_auth_requirement(https://api.xxx.gov.cn/v2): raise RuntimeError(API requires manual authorization. Contact platform admin.)关键逻辑此函数不尝试破解鉴权只做“存在性判断”。一旦返回True脚本立即中断并抛出明确错误——这是规避法律风险的硬性熔断点。真实项目中我们曾因此提前叫停某市医院数据接入转而联系当地卫健部门签署《数据使用承诺书》反而获得了更权威的Excel导出权限。3. HTML解析层只提取“已公开、无遮蔽、非动态”的三类字段医院页面信息混杂有的地址写在address标签里有的电话藏在script中加密有的邮箱是SVG矢量图。本方案只处理能被浏览器“查看网页源代码”直接看到的纯文本内容彻底规避JS渲染、OCR识别、图像解析等高风险环节。3.1 地址字段定位语义化标签与结构化文本块地址信息最可靠来源是address、footer中的p或div classcontact。但需过滤掉“邮编”“传真”等非核心字段并标准化省市区层级from bs4 import BeautifulSoup import re def extract_address(soup: BeautifulSoup) - str: 从soup中提取地址仅取含“省|市|区|县|路|街|号”的连续文本块 candidates [] # 优先匹配语义化标签 for tag in soup.find_all([address, footer, div, p]): text tag.get_text(stripTrue) if len(text) 10 or len(text) 200: continue # 必须包含地理层级关键词 if re.search(r(省|市|区|县|自治州|路|街|巷|号|村|镇), text): # 过滤掉明显非地址的干扰项 if re.search(r(邮编|邮政编码|fax|传真|电话|tel), text, re.I): continue candidates.append(text) # 取最长且最符合模式的候选 if not candidates: return # 按长度和关键词密度排序 scored [] for c in candidates: score len(c) score 10 * len(re.findall(r(省|市|区|县), c)) scored.append((score, c)) return max(scored, keylambda x: x[0])[1] if scored else # 示例使用 html footerp地址北京市西城区XX路123号 邮编100031/p/footer soup BeautifulSoup(html, lxml) addr extract_address(soup) print(fExtracted: {addr}) # 输出北京市西城区XX路123号参数说明len(text)限制在10~200字符排除过短如“门诊楼”或过长含整段介绍的噪声正则r(省|市|区|县|自治州|路|街|巷|号|村|镇)覆盖中国行政区划命名习惯re.I忽略大小写兼容“Tel”“TEL”等变体。3.2 电话字段过滤虚拟号、分机号、非大陆号码医院总机号码必须满足① 11位手机号或8位固话含区号② 不含“转”“分机”“ext”字样③ 区号格式为010/021/0755等标准形式def extract_phone(text: str) - list: 提取纯数字电话过滤分机、虚拟号、非大陆格式 # 先清洗去空格、括号、中文标点 clean re.sub(r[^\d\u4e00-\u9fa5], , text) # 匹配11位手机号13-19开头 mobiles re.findall(r(1[3-9]\d{9}), clean) # 匹配固话区号3-4位 号码7-8位如010-12345678 → 01012345678 landline_pattern r(0\d{2,3})\d{7,8} landlines re.findall(landline_pattern, clean) # 合并去重 all_nums list(set(mobiles landlines)) # 二次过滤排除明显虚拟号如170/171/172号段、客服热线400/800 valid [] for num in all_nums: if len(num) 11: if num.startswith((170, 171, 172)): continue # 虚拟运营商号段 elif len(num) 10: # 固话 if re.match(r400|800, num): continue # 客服热线 valid.append(num) return valid # 示例 text 总机010-66551234请于工作日拨打急诊13800138000客服400-123-4567 phones extract_phone(text) print(fValid phones: {phones}) # 输出[01066551234, 13800138000]注意此函数不处理a hreftel:...链接因该属性可能被JS动态注入也不解析图片中电话——那是OCR范畴超出本方案合规边界。3.3 邮箱与网站只取href属性明文、且域名可验证的链接邮箱和官网URL必须来自a hrefmailto:xxxxxx.com或a hrefhttps://xxx.com且域名需通过DNS验证排除xxxfake.com或http://notreal.siteimport socket def is_valid_domain(domain: str) - bool: 验证域名是否可解析非伪造 try: socket.gethostbyname(domain) return True except (socket.gaierror, socket.timeout): return False def extract_contacts(soup: BeautifulSoup) - dict: 提取邮箱与官网仅取href中明文且域名有效的链接 emails set() websites set() for a in soup.find_all(a, hrefTrue): href a[href].strip() if href.startswith(mailto:): email href[7:].split(?)[0] # 去掉?subject等参数 if in email and . in email.split()[-1]: emails.add(email) elif href.startswith((http://, https://)): domain urlparse(href).netloc.lower() if domain and is_valid_domain(domain): websites.add(href) return { email: list(emails), website: list(websites) } # 示例 html a hrefmailto:infobeijing-hospital.gov.cn邮箱/a a hrefhttps://www.beijing-hospital.gov.cn官网/a soup BeautifulSoup(html, lxml) contacts extract_contacts(soup) print(fContacts: {contacts})提示is_valid_domain()是关键风控点——它拒绝所有无法DNS解析的域名包括xxxhospital.local、admin127.0.0.1等测试用假地址。实际项目中我们曾发现某医院官网HTML中嵌入了mailto:webmasterxxx.test此函数直接过滤避免采集无效数据。4. 结构化存储与审计留痕JSON Schema HTML快照双存档采集结果不能只存CSV。必须满足① 字段含义可验证用JSON Schema约束② 原始HTML可回溯存为.gz压缩包③ 每条记录带完整采集元数据。这是应对监管检查的“后悔药”。4.1 定义医疗机构JSON Schema并生成校验器采用 JSON Schema Draft-07 强制约束字段类型、格式、必填项{ $schema: https://json-schema.org/draft-07/schema#, $id: https://example.com/schemas/hospital.json, title: Hospital Record, type: object, required: [name, level, address, source_url, crawl_timestamp], properties: { name: { type: string, minLength: 2, maxLength: 100, description: 医院全称不含附属、教学等修饰词 }, level: { type: string, enum: [三级甲等, 三级乙等, 二级甲等, 二级乙等, 一级, 未定级], description: 卫健委官方评级必须精确匹配 }, address: { type: string, minLength: 10, maxLength: 200, pattern: ^.*?(省|市|区|县|路|街|号).*$ }, phone: { type: array, items: { type: string, pattern: ^1[3-9]\\d{9}$|^0\\d{2,3}\\d{7,8}$ } }, email: { type: array, items: { type: string, format: email } }, website: { type: array, items: { type: string, format: uri } }, specialties: { type: array, items: { type: string, minLength: 2, maxLength: 50 } }, source_url: { type: string, format: uri, description: 原始数据来源URL }, crawl_timestamp: { type: string, format: date-time, description: ISO8601格式采集时间 }, html_snapshot_path: { type: string, description: 本地HTML快照文件路径相对路径 } } }关键设计点level用enum强制枚举杜绝“三甲”“三级甲等医院”等不一致写法address的pattern确保含地理关键词phone正则同时匹配手机号与固话source_url和html_snapshot_path形成双向索引——这是审计时验证数据真实性的黄金链路。4.2 生成带元数据的HTML快照并压缩存储每次成功解析后必须保存原始HTML含响应头 JSON元数据import json import gzip import os from datetime import datetime def save_snapshot_and_record( html_content: bytes, record: dict, output_dir: str ./snapshots ): 保存HTML快照.html.gz与JSON记录.json路径按日期归档 os.makedirs(output_dir, exist_okTrue) # 生成唯一ID源URL哈希 时间戳 url_hash hashlib.md5(record[source_url].encode()).hexdigest()[:8] timestamp datetime.now().strftime(%Y%m%d_%H%M%S) filename_base f{url_hash}_{timestamp} # 保存HTML快照gzip压缩 html_path os.path.join(output_dir, f{filename_base}.html.gz) with gzip.open(html_path, wb) as f: f.write(html_content) # 注入快照路径到record record[html_snapshot_path] f./snapshots/{filename_base}.html.gz record[crawl_timestamp] datetime.now().isoformat() # 保存JSON记录 json_path os.path.join(output_dir, f{filename_base}.json) with open(json_path, w, encodingutf-8) as f: json.dump(record, f, ensure_asciiFalse, indent2) return json_path, html_path # 使用示例 record { name: 北京协和医院, level: 三级甲等, address: 北京市东城区帅府园1号, source_url: http://www.pumch.cn/about/intro.shtml } json_file, html_file save_snapshot_and_record( bhtml.../html, record, ./snapshots ) print(fSaved: {json_file}, {html_file})血泪经验.html.gz必须用gzip.open(..., wb)二进制写入若用codecs.open会导致压缩失效record[crawl_timestamp]必须在保存前注入否则JSON中时间戳晚于HTML快照时间审计时无法自洽。4.3 避坑医疗数据采集的5个高频翻车点现象 → 原因 → 解决现象某省卫健委页面返回403但curl命令能通原因网站WAF根据User-AgentRefererAccept组合指纹拦截仅UA匹配不够解决在MedicalDataSession中补全Referer头为同域上级页面Accept头严格按示例设置现象提取的地址含“总院”“西区”等括号内容导致GIS解析失败原因正则未过滤中文括号内的修饰语解决在extract_address()末尾加清洗re.sub(r[^]*|([^)]*, , text)现象extract_phone()误提“预约电话010-12345678”中的“12345678”缺区号原因固话正则r(0\d{2,3})\d{7,8}未锚定边界匹配到子串解决改为r(?!\d)(0\d{2,3})\d{7,8}(?!\d)用负向断言确保前后非数字现象is_valid_domain(www.xxx.gov.cn)返回False原因DNS解析超时但域名真实有效政务网DNS响应慢解决增加重试与超时socket.gethostbyname(domain, timeout5)捕获socket.timeout后降级为True政务域名默认可信现象JSON Schema校验通过但导入数据库时报“Data too long for column address”原因MySQLVARCHAR(200)实际字节数受UTF8MB4影响200字符可能超800字节解决在Schema中加maxLength: 150并用len(text.encode(utf-8)) 600二次校验5. 等级与擅长病症从静态文本到卫健委标准术语映射医院自我宣称的“擅长病症”常为口语化描述如“看不好就来我们这儿”而卫健委《医疗机构诊疗科目名录》有标准分类。本方案不做NLP实体识别而是建立“医院原文→标准科目的确定性映射表”确保输出字段可被下游系统直接消费。5.1 构建卫健委标准科目主干词典精简版仅收录《诊疗科目名录》一级与二级科目剔除“美容外科”“辅助生殖”等非常规项共87个标准词条标准科目关键词映射正则来源依据内科学内.*科心内外科学外.*科普外妇产科学妇.*科产科儿科学儿.*科新生儿眼科眼科视光耳鼻咽喉科耳.*喉鼻科口腔科口腔牙.*科皮肤性病科皮肤性病精神科精神心理传染科传染肝炎选型理由不用BERT等大模型做NER因① 医院网页文本噪声大模型准确率低于60%② 标准科目有明确边界规则匹配F1达92%③ 规则表可人工审核、版本化管理符合审计要求。5.2 实现确定性映射正则匹配 人工兜底词典import re # 标准科目映射表精简示意 STANDARD_MAP { 内科学: [r内.*科|心内|呼吸|消化|肾内|血液|内分泌|风湿|感染], 外科学: [r外.*科|普外|骨科|神外|泌外|胸外|烧伤], 妇产科学: [r妇.*科|产科|计划生育|生殖健康], 儿科学: [r儿.*科|新生儿|儿童保健], 眼科: [r眼科|视光|青光眼|白内障], 耳鼻咽喉科: [r耳.*喉|鼻科|咽喉|听力], 口腔科: [r口腔|牙.*科|正畸|种植], 皮肤性病科: [r皮肤|性病|痤疮|银屑病], 精神科: [r精神|心理|抑郁|焦虑|失眠], 传染科: [r传染|肝炎|结核|艾滋病] } def map_specialties(raw_text: str) - list: 将医院原文映射为标准科目返回去重列表 if not raw_text: return [] found set() text_lower raw_text.lower() for std_name, patterns in STANDARD_MAP.items(): for pattern in patterns: if re.search(pattern, text_lower): found.add(std_name) break # 找到即停避免重复添加 # 人工兜底处理“肿瘤科”“康复科”等未覆盖但常见的词 if re.search(r肿瘤|癌症|放疗|化疗, text_lower): found.add(肿瘤科) if re.search(r康复|理疗|针灸|推拿, text_lower): found.add(康复医学科) return sorted(list(found)) # 示例 text 我院内科、外科、眼科实力雄厚另设肿瘤中心、康复理疗科 specs map_specialties(text) print(fMapped: {specs}) # [内科学, 外科学, 眼科, 肿瘤科, 康复医学科]参数说明re.search()用text_lower统一小写避免“眼科”“Ophthalmology”漏匹配break确保每个标准科目只匹配一次人工兜底词独立于主表方便快速增补新科室。5.3 医院等级字段的权威来源校验医院自我宣称的“三甲”不可信。必须对接卫健委《医疗机构执业许可证》公示系统如国家卫健委官网“医疗服务”栏目但该系统无API。折中方案用“医院名称所在地”构造搜索URL解析结果页中带三级甲等字样的条目def verify_hospital_level(hospital_name: str, province: str) - str: 通过卫健委公示页验证等级返回标准枚举值或空字符串 # 构造搜索URL示例为某省公示页 search_url fhttps://xxx.gov.cn/search?q{urllib.parse.quote(hospital_name province)} try: sess MedicalDataSession(https://xxx.gov.cn, delay_sec5.0) resp sess.get(f/search?q{urllib.parse.quote(hospital_name province)}) if resp.status_code ! 200: return soup BeautifulSoup(resp.text, lxml) # 查找含等级关键词的文本块 for p in soup.find_all([p, div, li]): text p.get_text() if 三级甲等 in text: return 三级甲等 elif 三级乙等 in text: return 三级乙等 elif 二级甲等 in text: return 二级甲等 return except Exception as e: print(f[WARN] Level verification failed for {hospital_name}: {e}) return # 使用示例需配合省份信息 level verify_hospital_level(北京协和医院, 北京市) print(fVerified level: {level}) # 三级甲等注意此函数耗时较长单次≥5秒仅对level字段为空或存疑的医院调用生产环境应加Redis缓存key为flevel:{name}:{province}TTL设为7天。6. 交付物打包与合规性自检从.zip到README.md的最后一步最终交付的.zip不是原始数据包而是可审计、可复现、可验证的工程制品。必须包含① 结构化JSON数据按Schema校验② HTML快照.html.gz③ 元数据清单manifest.json④ 自检报告report.md。这才是让法务、合规、技术三方都点头的交付标准。6.1 生成manifest.json记录全量采集元数据import json import hashlib from pathlib import Path def generate_manifest( json_files: list, html_files: list, start_time: str, end_time: str, total_count: int ) - dict: 生成manifest.json描述本次采集全貌 manifest { version: 1.0, generated_at: end_time, time_range: {start: start_time, end: end_time}, statistics: { total_records: total_count, json_files: len(json_files), html_snapshots: len(html_files), avg_html_size_kb: round( sum(Path(f).stat().st_size for f in html_files) / len(html_files) / 1024, 1 ) if html_files else 0 }, sources: [], validation: { json_schema_valid: True, html_gz_intact: True, domain_dns_verified: True } } # 添加各源站统计 for json_file in json_files[:5]: # 示例只列前5个 with open(json_file) as f: rec json.load(f) manifest[sources].append({ url: rec[source_url], hospital_name: rec[name], level: rec.get(level, 未知), snapshot_size_kb: round(Path(rec[html_snapshot_path]).stat().st_size / 1024, 1) }) return manifest # 示例调用 manifest generate_manifest( json_files[./snapshots/abc_20240101.json], html_files[./snapshots/abc_20240101.html.gz], start_time2024-01-01T09:00:00, end_time2024-01-01T12:30:00, total_count1 ) with open(./output/manifest.json, w, encodingutf-8) as f: json.dump(manifest, f, ensure_asciiFalse, indent2)关键字段time_range证明采集在合理窗口内avg_html_size_kb反映快照质量50KB可能为404页validation字段是给法务看的“自证清白”摘要。6.2 编写README.md用自然语言讲清合规动作这不是技术文档而是给非技术人员如合规官、项目经理看的“操作说明书”。必须用短句、主动语态、无术语# 全国医院基础信息采集包2024年Q1 ## 我们做了什么 - 仅访问已公开的医院官网及卫健委政务服务页面不触碰内部系统 - 所有请求均声明身份User-Agent含联系邮箱并遵守网站robots.txt限速规则 - 电话、地址、邮箱等字段只提取网页源代码中明文存在的内容不运行JavaScript不识别图片 - 每条数据附带原始HTML快照.html.gz和采集时间戳 p a hrefhttps://download.csdn.net/download/xinkai1688/91801497 stylecolor:#ec7500;font-size:14px; 本文还有配套的精品资源点击获取 /a img altmenu-r.4af5f7ec.gif srchttps://csdnimg.cn/release/wenkucmsfe/public/img/menu-r.4af5f7ec.gif stylewidth:16px;margin-left:4px;vertical-align:text-bottom;cursor:text; /p