为了账号安全,请及时绑定邮箱和手机立即绑定

为什么 HTTP 请求总是和完全超时一样长?

为什么 HTTP 请求总是和完全超时一样长?

Go
心有法竹 2022-04-26 10:40:34
我正在制作一个 _golang git bruteforcer。这有点奇怪,我想这与并发有关。 sync.WaitGroup这是代码:https ://dpaste.org/vO7ypackage mainimport { <snipped for brevity> }// ReadFile : Reads File and returns it's contentsfunc ReadFile(fileName string) []string { <snipped for brevity> }func joinString(strs ...string) string { <snipped for brevity> }// MakeRequest : Makes requests concurrentlyfunc MakeRequest(client *http.Client, url string, useragent string, ch chan<- string, wg *sync.WaitGroup) {    defer wg.Done()    // start := time.Now()    request, err := http.NewRequest("GET", url, nil)    if err != nil {        fmt.Println(err)        return    }    request.Header.Set("User-Agent", useragent)    response, err := client.Do(request)    if err != nil {        return    }    // secs := time.Since(start).Seconds()    if response.StatusCode < 400 {        // fmt.Printf("Time elapsed %f", secs)        bodyBytes, err := ioutil.ReadAll(response.Body)        if err != nil {            log.Fatal(err)        }        defer response.Body.Close()        bodyString := string(bodyBytes)        notGit, err := regexp.MatchString("<html>", strings.ToLower(bodyString))        if !notGit && len(bodyString) > 0 { // empty pages and html pages shouldn't be included            fmt.Println(bodyString)            ch <- fmt.Sprintf(" %s ", Green(url))        }    }}在职的 :它从文件中读取 url 并/.git, /.git/HEAD, /.git/description, /.git/index在网络服务器上进行检查。问题: 如果我将http.Client超时更改为2 seconds它将在 2 秒内完成,如果是 50 秒,它将等到 50 秒,输入文件包含 10 个 url 或 500 个 url 都没有关系。我的理解是,如果有更多数量的 url,它将等到 goroutine 传递的最后一个 URL 超时。更新 1:正如阿德里安在评论中提到的那样,它看起来不像是一个并发问题,这就是其中一个主要问题是我无法确定这里的确切问题是什么
查看完整描述

1 回答

?
青春有我

TA贡献1784条经验 获得超8个赞

在您的代码中,您正在从文件中读取 URL,然后向所有这些 URL 发出并行请求,然后等待所有并行请求完成。

所以这实际上是有道理的,并且不会表示问题:

如果我将 http.Client 超时更改为 2 秒,它将在 2 秒内完成,如果是 50 秒,它将等到 50 秒,输入文件包含 10 个 url 或 500 个 url 都没有关系。

假设您的文件有 500 个 URL。

您并行触发 500 个请求……然后等待所有请求完成(请记住,它们都是并行执行的)。那需要多长时间?

在最坏的情况下(所有请求在 50 秒时超时),总共只需要 50 秒(因为它们都在并行等待这 50 秒)。

在最好的情况下(所有请求都成功通过,没有超时),它应该需要几秒钟。

在平均情况下,您可能会看到(在 50 秒时出现几次超时),然后需要 50 秒(您将等待这几个请求并行等待这 50 秒,就像在最坏的情况下一样)。


查看完整回答
反对 回复 2022-04-26
  • 1 回答
  • 0 关注
  • 149 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号