UnicodeEncodeError: 'charmap' codec can't encode character '\ufffd' in position 36: character maps to <undefined>

问题描述

项目:网络抓取您从 https://theuselessweb.com/ 获得的标题和网址

问题 1:http://www.republiquedesmangues.fr/标题使用了程序(或其他)无法使用的字符,因此程序崩溃。

问题 2:有没有简单的方法可以摆脱倍数?当一个 URL/标题被保存两次或更多次时,我想删除一个之外的所有内容。 (也许通过使用数据库。如果是这样,请建议一个。)

代码

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import webdriverwait
from time import sleep

PATH = r"C:\Users\Leander\Documents\scraping\chromedriver.exe"
driver = webdriver.Chrome(PATH)
driver.get("https://theuselessweb.com/")
driver.switch_to.window(driver.window_handles[-1])
button = driver.find_element_by_id("button")

file = open("C:\\Users\\XXX\\Documents\\scraping\\programs\\file.txt","w")
for i in range(100):
    button.click()
    driver.switch_to.window(driver.window_handles[2]) #HERE
    if driver.title == "":
        file.write("No title\n")
    else:
        file.write("Title: "+driver.title+"\n")
    file.write("URL: "+driver.current_url+"\n\n")
    driver.close()
    driver.switch_to.window(driver.window_handles[1]) #HERE
file.close()

代码可能不适合您,因为我的 Chrome 每次通过 selenium 打开它时都会打开设置。如果您不这样做,只需将代码中标有“#HERE”的“[]”中的数字更改为小一号(即 1 和 0,而不是 2 和 1)。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...