使用HTTrack仅下载特定子域下的链接无外部链接

问题描述

所以,这就是我要下载的-https://www.slader.com/textbook/9781337624183-calculus-9th-edition/

看起来很简单,我尝试在“扫描规则”中添加几行以强制其下载其下的所有内容,但是由于某种原因,整个过程不到10秒就完成了,它不仅下载了aforemention链接本身。 例如,除了本身拥有https://www.slader.com/textbook/9781337624183-calculus-9th-edition/外,我还希望拥有所有源自其的链接,例如https://www.slader.com/textbook/9781337624183-calculus-9th-edition/311/。 从本质上讲,一切都从上面的第一个链接开始(包括来自其他域的嵌入式图片,但没有外部链接)。 据我所知,调整一些设置并向“扫描规则”部分添加一些规则应该可以解决问题,但我自己无法弄清楚。

解决方法

为了只复制来自该主机的链接而没有其他链接,要包括您提交的第一个链接,您需要设置扫描规则。

在设置网址的菜单页面上,单击“设置选项...”按钮,然后单击“扫描规则”选项卡。接下来,确保您的扫描规则排除所有链接,然后确保它们包括您想要的来源中的链接。这样的设置示例是

+*.png +*.gif +*.jpg +*.jpeg +*.css +*.js -ad.doubleclick.net/* -mime:application/foobar
-*
+*[name].slader.com/*

这实际上将保存所有来自slader.com的链接,但不会存储该域之外的任何内容。

编辑

如果只希望以您在扫描规则中键入的链接开头的链接看起来像这样:

+*.png +*.gif +*.jpg +*.jpeg +*.css +*.js -ad.doubleclick.net/* -mime:application/foobar
-*
+*[name].*[name]https://www.slader.com/textbook/9781337624183-calculus-9th-edition/*[name].*[name]/*

编辑

由于特定瞄准具的链接结构不同,您可能无法通过HTTrack获得其他页面,例如“四种表示功能的方法”。如果您查看来源,则其链接的发布方式如下:

<tr data-url="/textbook/9781337624183-calculus-9th-edition/17/" class="exercise-group">
                  <td>1.1</td>
                  <td style="width: 360px;">Four Ways to Represent a Function</td>
                  <td style="width: 230px;">Exercises</td>
                  <td style="width: 74px;">p.17</td>
                </tr>

您可以看到他们正在使用data-url属性使用JS库在浏览器中实际导航下一页。由于这不是锚标记,因此HTTrack不会跟随它,因为它不会将其视为链接。

一些替代方法是使用SeleniumScrapy之类的东西来编写具有自己的规则的网络抓取工具,以便更好地理解它。