使用 go-colly 抓取时 noscript 的问题

问题描述

所以我正在从网站制作抓取脚本。当抓取文本成功时，仅当抓取图像失败时。当我检查元素时，代码仍然正常，但是当我运行视图源时，图像包装代码更改为 noscript。所以我认为是这样，也许有人可以提供帮助？

c.OnHTML(".postarea",func(h *colly.HTMLElement) {
        as := Image{}
        as.Name = h.ChildText(".headpost .entry-title")
        h.ForEach(".maincontent",func(i int,x *colly.HTMLElement) {
            ya := So{}
            ya.Url = x.ChildAttr("#readerarea img","src")
            as.Image = append(as.Image,ya)
        })
        b,err := json.MarshalIndent(as,""," ")
        if err != nil {
            log.Println("Failed to serialize response:",err)
            return
        }
        w.Header().Add("Content-Type","application/json")
        w.Write(b)
    })
    c.OnRequest(

这是示例 html 代码。

<div id="readerarea"><noscript>
        <p><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" />
        </p>
    </noscript>
</div>

解决方法

页面上会有一些 JavaScript 更新此内容（<noscript> 部分适用于没有 JavaScript 的浏览器）。当您“查看源代码”时，您会看到服务器提供的原始 HTML；使用“检查元素”，您可以看到 DOM 原样（即在运行更新此部分的任何脚本之后）。

Go-Colly 不运行 JavaScript，因此您需要另一种方法。选项包括查看 JavaScript 以了解它如何定位图像或使用诸如 chromedp 之类的东西而不是 go-colly。

go go-colly