很多人开始学 Python，其中一个非常直接的动力就是：想把网页上的信息自动拿下来。比如：抓取新闻标题采集商品信息批量下载图片链接统计网页中的某些字段这就是爬虫最常见的应用场景。但真正开始写时，初学者往往会卡在这些问题：请求网页应该怎么发？HTML 看起来这么乱，怎么提取想要的内容？为什么有的网站拿不到？这篇文章先不讲复杂反爬，也不讲 Selenium 和异步采集。我们只先把最基础、最经典的一组搭配讲清楚：requestsBeautifulSoup一、什么是爬虫简单来说，爬虫做的事情就是：向网页发请求拿到网页返回的数据从中提取有用信息保存下来所以一个基础爬虫通常分成三步：请求解析存储二、安装依赖如果你还没有安装相关库，可以先执行：pipinstallrequests beautifulsoup4三、发送第一个网页请求importrequests url="https://httpbin.org/get"response=requests.get(url)print(response.status_code)print(response.text)这里要认识三个最基础的东西：1.requests.get(url)发送 GET 请求。2.response.status_code查看状态码。常见状态码：200 请求成功 404 页面不存在 500 服务器错误3.response.text获取响应的文本内容。四、请求头为什么重要有些网站会根据请求头判断你是不是“正常浏览器访问”。所以很多时候我们会加一个User-Agent：importrequests url="https://httpbin.org/headers"headers={"User-Agent":"Mozilla/5.0"}response=requests.get(url,headers=headers)print(response.text)这能让请求看起来更像浏览器发出的。五、认识 HTML网页返回内容大多是 HTML。例如：htmlbodyh1新闻标题/h1p这是一段正文/p/body