如何使用Asp.net进行抓取过程来获取网站的所有URL？

问题描述

| 如何获取网站的所有URL 假设我想在一个网站中抓取部分数据，该数据在不同的网页中如何获取所有url的列表以进入所有这些相似的页面。 假设在一个手机网站中，我想获得一个品牌的所有手机，如何才能获得网站中不同URL上的手机。我发现所有手机的Div标签类别均为\“商标名称\” Div Class \“ Nokia \” ....我希望将div class为nokia的网站的URL。     

解决方法

        您可以使用HTML解析器（例如Html Agility Pack）从锚点，表单中提取所有网址，...如果该网址不是您要解析的HTML的一部分，您将无法（除了猜测）知道所有内容对于给定的域，可能存在子域和url。