使用Go HTTP客户端时，为什么我的HTTP POST请求有60秒的延迟？

编程问答 2022-08-16

问题描述

我的目标是抓取一个网站，该网站要求我首先使用Golang中的HTTP请求登录。实际上，我发现可以将邮寄请求发送到网站，并将表单数据写入请求的正文中，因此我成功了。当我通过我使用的称为Postman的API开发软件进行测试时，响应是即时的，没有延迟。但是，在Go中使用HTTP客户端执行请求时，每次都会有60秒的一致延迟。我最终得到一个登录页面，但是对于我的程序，我需要响应几乎是瞬时的。

正如您在我的代码中看到的那样，由于我想 maaaaaybe ，因此我尝试向请求中添加一堆标头，例如“ Connection”，“ Content-Type”，“ User-Agent”该网站可以告诉我我正在请求某个程序，并强迫我等待60秒以做出响应。添加这些标头以使我的请求更合法（？）根本不起作用。

Go的HTTP客户端造成的延迟是否很慢，或者我形成HTTP POST请求的方式有问题吗？另外，我是否处理了标头，HTTP客户端在发送标头时正在重写标头？

这是我的简单程序... 

package main

import (
    "bytes"
    "fmt"
    "mime/multipart"
    "net/http"
    "net/http/cookiejar"
    "os"
)

func main() {
    url := "https://easypronunciation.com/en/log-in"
    method := "POST"

    payload := &bytes.Buffer{}
    writer := multipart.NewWriter(payload)
    _ = writer.WriteField("email","[email protected]")
    _ = writer.WriteField("password","*********")
    _ = writer.WriteField("persistent_login","on")
    _ = writer.WriteField("submit","")
    err := writer.Close()
    if err != nil {
        fmt.Println(err)
    }

    cookieJar,_ := cookiejar.New(nil)
    client := &http.Client{
        Jar: cookieJar,}
    req,err := http.NewRequest(method,url,payload)
    if err != nil {
        fmt.Println(err)
    }

    req.Header.Set("Content-Type",writer.FormDataContentType())
    req.Header.Set("Connection","Keep-Alive")
    req.Header.Set("Accept-Language","en-US")
    req.Header.Set("User-Agent","Mozilla/5.0")
    res,err := client.Do(req)
    if err != nil {
        fmt.Println(err)
    }
    defer res.Body.Close()

    f,err := os.Create("response.html")
    defer f.Close()
    res.Write(f)
}

解决方法

我怀疑，这也是go客户端库。我建议打印出不同组件的等待时间，然后查看60秒延迟是否在哪里。我还将替换并尝试使用其他URL

gohttphttphttp-headershttp-postpost