问题描述
我真的是新手,现在我正在按照本教程构建一个简单的网络爬虫来使用它:https://jdanger.com/build-a-web-crawler-in-go.html
它的分解非常好,但我想放置一些东西,以便排队的唯一链接是主域的一部分,而不是外部。
假设我正在抓取 https://www.mywebsite.com,我只想包含 https://www.mywebsite.com/about-us 或 https://www.mywebsite.com/contact 之类的内容 - 我不想要子域,例如 https://subdomain.mywebsite.com 或找到了像 https://www.facebook.com 这样的外部链接,因为我不希望爬虫掉入黑洞。
查看代码,我认为我需要对修复相关链接的函数进行更改:
func fixUrl(href,base string) (string) { // given a relative link and the page on
uri,err := url.Parse(href) // which it's found we can parse them
if err != nil { // both and use the url package's
return "" // ResolveReference function to figure
} // out where the link really points.
baseUrl,err := url.Parse(base) // If it's not a relative link this
if err != nil { // is a no-op.
return ""
}
uri = baseUrl.ResolveReference(uri)
return uri.String() // We work with parsed url objects in this
} // func but we return a plain string.
但是我不是 100% 确定如何做到这一点,我假设需要某种 if/else 或进一步解析。
任何提示都将非常感谢我的学习
解决方法
我快速阅读了 jdanger 教程并运行了完整的示例。毫无疑问,有几种方法可以完成您想做的事情,但这是我的看法。
您基本上希望不将域与某些指定域不匹配的任何 URL 加入队列,大概是作为命令行参数提供的。该示例使用 fixUrl()
函数构造完整的绝对 URL 并指示无效 URL(通过返回 ""
)。在这个函数中,它依赖于 net/url
包进行解析等,特别是 URL
data type。 URL
是具有以下定义的 struct
:
type URL struct {
Scheme string
Opaque string // encoded opaque data
User *Userinfo // username and password information
Host string // host or host:port
Path string // path (relative paths may omit leading slash)
RawPath string // encoded path hint (see EscapedPath method); added in Go 1.5
ForceQuery bool // append a query ('?') even if RawQuery is empty; added in Go 1.7
RawQuery string // encoded query values,without '?'
Fragment string // fragment for references,without '#'
RawFragment string // encoded fragment hint (see EscapedFragment method); added in Go 1.15
}
需要注意的是Host
。 Host
是 URL 的“whatever.com”部分,包括子域和端口(请参阅 this wikipedia article for more info)。进一步阅读文档,有一个方法 Hostname()
将剥离端口(如果存在)。
因此,尽管您可以向 fixUrl()
添加域过滤,但在我看来,更好的设计是先“修复”URL,然后对结果以查看其 Host
匹配所需的域。如果它不匹配,请不要将 URL 加入队列并继续处理队列中的下一项。
所以,基本上我认为您走在正确的轨道上。虽然我确实将您的功能添加到了本教程程序的本地副本中,但我并未包含鼓励您自己解决的代码示例。