为什么这个简单的网络抓取失败了？

问题描述

我正在用一个非常简单的代码片段测试HtmlAgilityPack，但是它仍然失败，我不知道为什么

var html2 = @"http://www.monki.com/en_sek/newin/view-all-new.html";

            HtmlWeb web2 = new HtmlWeb();

            var htmldoc2 = web2.Load(html2);

            var node2 = htmldoc2.DocumentNode.SelectSingleNode("//head/title");

            Console.WriteLine("\n\n\n\n");

            Console.WriteLine("Node Name2: " + node2.Name + "\n" + node2.OuterHtml + "\n" + node2.InnerText);

我当然检查过页面上的标题和标题，但是node2仍然为空，我无法弄清楚为什么。

解决方法

好像网页正在尝试设置cookie。另请参见this answer with the same problem

var loader = new HtmlWeb{ UseCookies = true };
var doc = loader.Load(@"http://www.monki.com/en_sek/newin/view-all-new.html");

var node2 = doc.DocumentNode.SelectSingleNode("//head/title");
Console.WriteLine("\n\n\n\n");
Console.WriteLine("Node Name2: " + node2.Name + "\n" + node2.OuterHtml + "\n" + node2.InnerText);