问题描述
我知道在 js 中使用 Puppeteer 是可能的,但我想知道是否有人想出如何在 PuppeteerSharp(不同标签的不同代理)中的页面级别进行代理?。
似乎我可以捕捉到请求,但我不确定如何调整代理。
page.SetRequestInterceptionAsync(true).Wait();
page.Request += (s,ev) =>
{
// what to do?
}
编辑
我知道我可以像这样在浏览器级别设置代理;
var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{
Headless = false,Args = new[] { "--proxy-server=host:port" }
});
var page = await browser.NewPageAsync();
await page.AuthenticateAsync(new Credentials() { Username = "username",Password = "password" });
但这不是我想要做的。我正在尝试为单个浏览器实例中的每个页面设置代理。我想测试大量代理,因此生成浏览器的新实例只是为了设置代理开销太大。
解决方法
您可以为每个逻辑实例使用不同的浏览器实例。我的意思是不要尝试使用不同的代理为每个页面/选项卡设置不同的代理,只需创建新的浏览器实例并通过启动参数设置代理即可。
如果此解决方案不符合您的需求,请查看此 question。 NodeJS 有一个库,可以为每个页面/选项卡使用不同的代理。您可以检查 library source code 并在 C# 应用程序中实现相同的内容。
那个库使用了非常简单的方法。不是通过 puppeter 的浏览器/页面库发送请求,而是通过 nodejs http 工具发送请求。它可以通过使用 page.setRequestInterception 方法来完成。所以库拦截来自页面的每个请求,然后收集数据并通过http工具发送请求。我很久以前用过 C#。所以也许我错了,但你可以尝试使用 HttpWebRequest 或类似的东西。获得结果后,您应该使用方法 request.respond 并在那里传递响应结果。通过这种方式,您可以在应用程序中放置任何类型的代理。检查库的 here 代码。
,您可以在 --proxy-server
的 Args
属性中设置 LaunchOptions
参数,同时在 LaunchAsync
方法中指定启动选项,这样每当 Puppeteer 启动新选项卡时,它将应用指定的代理。
我是这样使用的:
return await Puppeteer.LaunchAsync(new LaunchOptions
{
DefaultViewport = null,Args = new[] {
"--incognito","--proxy-server=proxyurl:portnumber","--ignore-certificate-errors" },});
}
确保按原样传递代理 URL,不添加任何引号或任何内容。分配给 --proxy-server
的值应该只是代理 URL/IP 和端口号,就是这样。否则 Puppeteer 不会将其识别为有效的代理 URL/IP,并且不会在启动新选项卡时应用它。