问题描述
我试图使用scrapy从flipkart.com上抓取一些数据。 除了进入下一页之外，我得到了一切。 首先我尝试使用scrapy，然后使用selenium。 实际上，一个类有上一页和下一页的 2 个链接。
含硒： 每当我尝试单击下一页时，它从第 1 页到第 2 页都可以正常工作。 但是它没有进入第三页，而是返回到第二页。
有没有其他方法可以做到这一点？ 如何区分上一页和下一页的网址？
解决方法
只需附加 [-1] 以便驱动程序仅获取给定类/id 的最后出现的结果 对于flipkart，代码如下
driver.find_elements_by_xpath('//a[@class="_1LKTO3"]')[-1].click()