Python HTTPS 教程 如何发送 HTTPS 请求、解决证书错误、实现抓包与网络调试全攻略

在日常开发中，Python 已经成为处理网络请求、爬虫开发、接口测试和自动化运维的常用语言。而随着大多数 API 和网站全面切换到 HTTPS 协议，开发者经常会遇到 Python HTTPS 请求失败、证书验证错误、抓不到 HTTPS 包 等问题。

本文将从 Python 发送 HTTPS 请求的基础方法 入手，结合常见问题、抓包技巧与调试工具，帮助你全面掌握 Python 与 HTTPS 的实战应用。

一、Python 如何发送 HTTPS 请求？

1. requests 库

import requests

url = "https://example.com/api"
response = requests.get(url, verify=True)
print(response.text)

• verify=True 表示启用证书验证（默认）。
• 如果证书无效，会抛出 SSLError。

2. urllib 库

import urllib.request

url = "https://example.com/"
response = urllib.request.urlopen(url)
print(response.read().decode())

• urllib 是标准库，但功能较基础，requests 更常用。

3. 关闭证书验证（不推荐）

requests.get(url, verify=False)

• 虽然能绕过错误，但存在安全风险，仅限测试环境使用。

二、Python HTTPS 常见问题与解决方案

1. 证书错误（SSL: CERTIFICATE_VERIFY_FAILED）

   • 原因：目标站点证书过期、缺少中间证书，或客户端未安装根证书。
   • 解决：更新 certifi 库，或下载目标站点证书链并指定：

   requests.get(url, verify="/path/to/cert.pem")
   

2. TLS 版本不兼容

   • 原因：Python 默认 SSL 库与目标站点协议不匹配。
   • 解决：升级 Python 至支持 TLS1.2/1.3 的版本。

3. SNI 问题（Server Name Indication）

   • 某些老旧服务器未启用 SNI，导致证书不匹配。
   • 解决：升级 Python/openssl，或使用 requests_toolbelt.SSLAdapter 指定配置。

4. HTTPS 重定向失败

   • 默认 requests 会跟随重定向，但可能遇到证书链切换导致错误。
   • 解决：手动指定 allow_redirects=True/False，逐步排查。

三、Python HTTPS 抓包与调试方法

在开发或测试中，常常需要 抓取 HTTPS 请求，分析请求参数、响应数据。

方法 1：代理抓包

• 工具：Charles / Fiddler / mitmproxy

• 步骤：

  1. 在 Python 脚本中设置代理：

     proxies = {
         "http": "http://127.0.0.1:8888",
         "https": "http://127.0.0.1:8888"
     }
     requests.get(url, proxies=proxies, verify=False)
     

  2. 在抓包工具中安装并信任证书。

方法 2：mitmproxy 脚本

• Python 原生支持 mitmproxy 插件，可动态修改请求/响应：

from mitmproxy import http

def response(flow: http.HTTPFlow) -> None:
    if "api" in flow.request.pretty_url:
        flow.response.text = "modified by mitmproxy"

• 适合测试工程师做自动化调试。

方法 3：直连工具 + Python 协同

• Sniffmaster（抓包大师） 可 USB 直连 iOS，绕过 SSL Pinning，直接解密 HTTPS 流量。
• 将流量导出为 PCAP 文件，再用 PyShark（基于 Wireshark 的 Python 封装） 分析：

import pyshark
cap = pyshark.FileCapture("traffic.pcap")
for pkt in cap:
    print(pkt.highest_layer, pkt.ip.src, pkt.ip.dst)

四、Python 爬虫与 HTTPS

1. 处理重定向与 UA

   headers = {"User-Agent": "Mozilla/5.0"}
   requests.get(url, headers=headers, allow_redirects=True)
   

2. 伪装证书与 Cookie 会话

   • 使用 requests.Session() 维护登录状态，处理 HTTPS Cookie。

3. 反爬与 HTTPS 校验

   • 一些站点启用证书 Pinning 或双向认证，传统 requests 失效。
   • 可结合 Sniffmaster 抓包，分析真实证书交互流程，再模拟请求。

五、Python HTTPS 与工具对比总结

六、经验总结

• Python 与 HTTPS 结合的核心问题在于证书与加密，一旦解决证书信任，大多数请求可顺利发出。
• requests 是最佳选择，简洁易用，适合 90% 的场景。
• mitmproxy + Python 脚本 是测试与自动化的利器。
• Sniffmaster + PyShark 组合则能覆盖 iOS 高安全场景，解决 SSL Pinning 抓包失败的问题。

七、结论

在开发、测试与安全分析中，Python HTTPS 的使用场景极其广泛。
从简单的接口调用到复杂的 iOS HTTPS 抓包，Python 都能提供不同层次的解决方案。
最终建议：开发者首选 requests，测试人员使用 mitmproxy，安全研究员结合 Sniffmaster 与 PyShark，才能真正覆盖所有 HTTPS 场景。