如何在Python线程中中止/取消HTTP请求？

Question

我正在寻找中止/取消 Python 线程中的 HTTP 请求。我必须坚持使用线程。我无法使用 asyncio 或标准库之外的任何内容。此代码适用于套接字："""Demo for Canceling IO by Closing the SocketWorks!"""import socketimport timefrom concurrent import futuresstart_time = time.time()sock = socket.socket()def read():    "Read data with 10 second delay."    sock.connect(('httpbin.org', 80))    sock.sendall(b'GET /delay/10 HTTP/1.0\r\n\r\n')    while True:        data = sock.recv(1024)        if not data:            break        print(data.decode(), end='')with futures.ThreadPoolExecutor() as pool:    future = pool.submit(read)    futures.wait([future], timeout=5)    sock.close()  # <-- Interrupt sock.recv(1024) in Thread:read().end_time = time.time()print(f'Duration: {end_time - start_time:.3f}')# Duration is ~5s as expected.在主线程中关闭套接字用于中断执行器池线程中的recv()。HTTP 请求应该需要 10 秒，但我们只等待 5 秒，然后关闭套接字（有效地取消 HTTP 请求/响应）。现在我尝试使用 http.client："""Demo for Canceling IO in Threads with HTTP ClientDoesn't work!"""import timefrom concurrent import futuresfrom http.client import HTTPConnectiondef get(con, url):    con.request('GET', url)    response = con.getresponse()    return responsestart_time = time.time()with futures.ThreadPoolExecutor() as executor:    con = HTTPConnection('httpbin.org')    future = executor.submit(get, con, '/delay/10')    done, not_done = futures.wait([future], timeout=5)    con.sock.close()end_time = time.time()print(f'Duration: {end_time - start_time:.3f}')# Duration is ~10s unfortunately.不幸的是，这里的总持续时间约为 10 秒。关闭套接字不会中断客户端中的recv_into()。看来我做出了一些错误的假设。如何从单独的线程中断 http 客户端中使用的套接字？

Answer 1

您所描述的是预期的有据可查的行为：

注意 close() 释放与连接关联的资源，但不一定立即关闭连接。如果要及时关闭连接，请在 close() 之前调用 shutdown()。

有关此行为的一些进一步详细信息仍然可以在 CPython howto 文档中找到：

严格来说，您应该在关闭套接字之前对其使用 shutdown 。关闭是对另一端套接字的建议。根据您传递的参数，它可能意味着“我不会再发送，但我仍然会听”，或者“我不听，很好的摆脱！”。然而，大多数套接字库已经习惯了程序员忽略使用这一礼仪，通常关闭与 shutdown() 相同；关闭（）。因此在大多数情况下，不需要显式关闭。

有效使用 shutdown 的一种方法是使用类似 HTTP 的交换。客户端发送请求，然后执行关闭(1)。这告诉服务器“该客户端已完成发送，但仍然可以接收。” 服务器可以通过接收 0 字节来检测“EOF”。它可以假设它具有完整的请求。服务器发送回复。如果发送成功完成，那么客户端确实仍在接收。

Python 在自动关闭方面更进了一步，它表示当套接字被垃圾回收时，如果需要它会自动关闭。但依赖这一点是一个非常不好的习惯。如果您的套接字在没有执行关闭的情况下就消失了，另一端的套接字可能会无限期地挂起，认为您只是速度慢。完成后请关闭套接字。

解决方案

关闭之前调用 shutdown。

例子

with futures.ThreadPoolExecutor() as executor:
    con = HTTPConnection('httpbin.org')
    future = executor.submit(get, con, '/delay/10')
    done, not_done = futures.wait([future], timeout=5)
    con.sock.shutdown()
    con.sock.close()