我们经常遇到需要从网页上抓取数据的情况，比如爬取新闻、商品信息或者图片。但直接用 requests 下载网页内容并不总是顺利，网站可能会反爬、限制访问频率，甚至拒绝请求。今天我们就来聊聊如何用 Python 的 requests 实现一个“稳如老狗”的网页下载器——支持 headers、代理和重试机制，还能应对常见的反爬策略。

在实际开发中，如果你只是简单地写一句 requests.get(url)，很可能就会被网站封掉 IP 或者返回错误的响应。这时候，一个能自动处理这些情况的脚本就显得非常重要了。它不仅能提高代码的健壮性，还能帮助你更高效地完成数据采集任务。

先来看一个最基础的示例：用 requests.get() 获取网页内容。虽然简单，但这个例子能帮你理解整个流程。

这段代码的作用是向 example.com 发起 GET 请求，并打印返回的内容。不过，这样写有几个问题：

1. 没有设置 headers：很多网站会检查 User-Agent 来判断是否为浏览器访问。如果没设置，服务器可能认为你是机器人，直接返回 403。

2. 没有处理异常：网络不稳定时，程序可能会崩溃。

3. 没有重试机制：如果第一次请求失败，程序不会自动尝试第二次。

所以，我们需要对这个脚本进行优化，让它更“聪明”一些。

接下来，我们添加 headers，模拟浏览器访问。通常，我们可以使用一个常见的 User-Agent 字符串，比如 Chrome 浏览器的：

然后，在请求时带上这个 headers：

这样做后，服务器就会以为你是一个真实的用户，而不是爬虫。这是应对反爬的第一步。

再来看一个更实用的例子：加入代理支持。有些网站会根据 IP 地址限制访问，这时候使用代理可以避免被封。

然后在请求中传入 proxies 参数：

注意：这里的代理地址是示例，实际使用时你需要找一个可靠的代理服务，或者使用付费代理 API。

现在我们已经实现了 headers 和代理的支持，接下来是关键部分：重试机制。有时候网络不稳定，一次请求可能失败，这时我们可以设置重试次数，让程序自动重试几次。

Python 的 requests 库本身不支持重试，但我们可以通过 urllib3 模块实现：

这里设置了最多重试 5 次，每次等待时间逐步增加（backoff_factor），并且对 5xx 错误进行重试。这大大提高了脚本的稳定性。

除了重试，我们还要考虑异常处理。比如网络超时、连接失败、HTTP 状态码错误等，都需要捕捉并处理。

这段代码中，timeout=10 设置了最大等待时间为 10 秒，防止程序卡死；raise_for_status() 会检查响应是否成功，否则抛出异常。这样，你就知道哪里出错了，而不是默默失败。

最后，我们把这些功能整合成一个完整的函数，方便复用：

这个函数封装了所有之前的逻辑，你可以通过传入不同的 headers、proxies、重试次数和超时时间来灵活使用。

总结一下，我们今天讲了几个关键点：

如何设置 headers 来模拟浏览器访问，避免被识别为爬虫；如何使用代理来绕过 IP 封禁；如何通过 urllib3 实现重试机制，提升脚本的稳定性；如何使用 try-except 处理各种异常，确保程序不会因小问题崩溃；最后，把它们整合成一个可复用的函数，方便后续调用。

这些技巧不仅适用于网页抓取，也适用于其他需要稳定网络请求的场景，比如接口测试、自动化监控等。如果想要了解更多关于爬虫的技巧，可以在我的专栏中，看到你需要的内容。

如果你觉得这篇文章对你有帮助，欢迎关注我，我会持续分享更多 Python 技巧和实用脚本，带你用代码解决生活中的小麻烦。下期我们会聊聊如何用 Python 自动整理下载文件夹，记得点赞+收藏不迷路！

#优质图文扶持计划#