Python Selenium Scraping twitter 无限加载页面

问题描述

代码如下：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

drive = "******/chromedriver"
driver = webdriver.Chrome(executable_path=drive)
print(driver.execute_script("return navigator.userAgent;"))

driver.get("https://twitter.com/login")
time.sleep(3)
username = driver.find_element_by_name("session[username_or_email]")
username.send_keys('******@****.com')
time.sleep(3)
password = driver.find_element_by_name('session[password]')
time.sleep(3)
password.send_keys('*******')
password.send_keys(Keys.RETURN)
time.sleep(3)
driver.get("https://twitter.com/********/media")
time.sleep(3)

videos = driver.find_elements_by_xpath('//video[@preload="auto"]')
sources = [video.get_attribute('src') for video in videos]
print(sources)
scroll_page = driver.execute_script('return document.body.scrollHeight')

但是当我重复“sources”和“scroll_page”时出现错误：selenium.common.exceptions.StaleElementReferenceException：消息：过时的元素引用：元素未附加到页面文档

即使页面已滚动到下一个，我也只从视频标签中获取前 7 个 url src。

如果此代码或目标站点或本网站规则中有禁止内容，我深表歉意。

在此先感谢各位的帮助！

解决方法

添加等待功能：

driver.implicitly_wait(10) #seconds

这将使驱动程序等待找到您想要查找的元素，我相信问题是当您滚动元素变旧并发生变化时，或者您在 selenium 找到元素之前滚动。

因此，您可能想要查看检查元素，了解滚动时发生的情况。

还有一些答案here可能对您有帮助。