python - 使用请求从数百个网页获取内容

Question

我有一个包含数百个域的列表，我想检查该列表中的所有域中是否有字符串。问题是我在请求上遇到类似超时的东西（每20 / 30个域）。我已经实现了一个 try-except 表单，因此当它发生时，程序会休眠 90 秒，因为我已经看到这可以解决问题。它确实解决了问题，但需要很长时间。有没有更有效的方法来做到这一点？

Answer 1

与其睡觉，不如继续探索其他域，稍后再回到域。

remaining= domainlist

while(remaining):

    workset=remaining

    remaining=[]

    for domain in workset:

        try: 

            domain.probe()

        except Exception:

            remaining.append(domain)