问题描述
我正在学习使用nodeJS从电子商务平台（Ebay等）中抓取搜索结果。
我面临的问题是这些平台中有赞助产品。 这样，这些赞助项目就会与其他非赞助但与关键字相关的项目一起出现在搜索结果页面中。
当我使用Postman检查负责搜索结果的API时，
看来只能从该API中检索non-sponsored but relevant items。
因此，在这种情况下，仅调用API是不可行的，因为我也想抓取这些赞助项目。
我想问： 使用nodeJS，如何抓取出现在搜索结果页面中的赞助和非赞助项目？ 我正在考虑使用某些程序包，例如jsdom或puppeteer，请问我的想法是否正确？非常感谢！
解决方法
我认为您应该使用axios等发送GET请求，然后使用puppeteer或REGEX解析整个网页，您的路径就正确了