问题描述
每隔24小时，我就会在沙尘暴中跑蜘蛛。从Spider抓取的项目存储在MySQL数据库中。为了只收集唯一的项目，我设置了表结构以使重复的记录无效。因此，在大多数情况下都会发生重复输入错误。我需要捕获所有这些内容，并防止它们被打印在控制台/终端上。下面是错误的快照。
2020-08-27 07:02:39 [scrapy.core.scraper] ERROR: Error processing {'jobtitle': ['E-Learning Specialist'],'joburl': ['https://******/e-learning-specialist-1530588']}
Traceback (most recent call last):
File "/usr/lib/python3/dist-packages/twisted/internet/defer.py",line 654,in _runCallbacks
current.result = callback(current.result,*args,**kw)
File "/home/scrapym0/scrapy/BotV0.1/test2/test2/pipelines.py",line 85,in process_item
self.store_db(item)
File "/home/scrapym0/scrapy/BotV0.1/test2/test2/pipelines.py",line 100,in store_db
self.curr.execute("""INSERT INTO JobList(Job_Title,Job_URL,entry_date) VALUES(%s,%s,%s)""",(
File "/usr/lib/python3/dist-packages/mysql/connector/cursor.py",line 569,in execute
self._handle_result(self._connection.cmd_query(stmt))
File "/usr/lib/python3/dist-packages/mysql/connector/connection.py",line 553,in cmd_query
result = self._handle_result(self._send_cmd(ServerCmd.QUERY,query))
File "/usr/lib/python3/dist-packages/mysql/connector/connection.py",line 442,in _handle_result
raise errors.get_exception(packet)
mysql.connector.errors.IntegrityError: 1062 (23000): Duplicate entry 'https://******/e-learning-specialist-1530588' for key 'JobList.Job_URL_UNIQUE'
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）