自动化爬取爱采购网商品数据
技术：selenium+bs4+re
使用浏览器：Chrome
爬取网站：https://b2b.baidu.com/
时间：2020年12月1日22:32:23
代码如下：
# -*- coding: utf-8 -*-
# Author : YRH
# Data : 2020年12月1日
# Project : 爱采购商品价格
# Tool : PyCharm
from selenium import webdriver
from time import sleep
from bs4 import BeautifulSoup
import re
import json
class b2b(object):
def __init__(self, name, max_page):
self.name = name # 搜索关键词
self.url = "https://b2b.baidu.com/s?q={}&from=search".format(self.name)
self.driver = webdriver.Chrome()
self.page_num = 1 # 统计页码
self.max_page = max_page # 最大页码
self.data = [] # 数据暂存列表
# 执行函数
def run(self):
self.driver.get(self.url)
self.get_data()
# 提取数据
def get_data(self):
print("正在抓取"+self.name+"页面第"+str(self.page_num)+"页")
# 向下滚动31000像素
js = "window.scrollBy(0, 3000)"
# 设置滚动次数
for i in range(5):
self.driver.execute_script(js) # 滚动页码
sleep(1)
page = self.driver.page_source # 页码源码
soup = BeautifulSoup(page, "html.parser")
div = soup.find("div", class_="product-list").find_all_next("div", class_="inline")
for d in div:
try:
# 获取产品标题
title = d.find("div", class_="p-card-img-layout").attrs["title"]
# 利用正则获取商品价格，因为获取的数据需要编码转换，所以下面进行转换
price = re.findall(r'p-card-price.*?data-v-f9f0a31a="" title="(.*?)"', str(str(d).encode()), re.S)[0]
# print(title)
price = bytes(price, encoding='utf-8')
price = eval(repr(price).replace("\\\\", "\\"))
price = str(price.decode("utf-8")).replace("\xa5", "")
# 将数据追加到暂存的列表中
self.data.append({"title": title, "price": price})
except:
pass
# 调用换页函数
self.next_page()
# 换页
def next_page(self):
print("第"+str(self.page_num)+"页爬取成功")
try:
# 进行判断，爬取到最后一页终止
if self.page_num < self.max_page:
self.page_num += 1
self.driver.find_element_by_class_name("ivu-page-next").click()
sleep(1)
# 换页成功后调用解析数据函数
self.get_data()
else:
self.save_data()
except Exception as s:
# 如果换页失败，可能是页面滑动没滑到最下面，所以可以到上面进行修改滑到次数
print("爬取到第" + str(self.page_num) + "页后出错，错误信息为：\n" + str(s))
self.save_data()
# 数据保存
def save_data(self):
with open("data.json", "a", encoding="utf8") as fp:
fp.write(json.dumps(self.data, ensure_ascii=False, indent=4))
print("数据保存成功")
self.driver.close()
if __name__ == '__main__':
name = input("要爬取的关键词")
max_page = eval(input("请输入爬取的最大页码"))
b2b = b2b(name, max_page)
b2b.run()
执行代码：
要爬取的关键词：书架
请输入爬取的最大页码：10
正在抓取书架页面第1页
第1页爬取成功
正在抓取书架页面第2页
第2页爬取成功
正在抓取书架页面第3页
第3页爬取成功
正在抓取书架页面第4页
第4页爬取成功
正在抓取书架页面第5页
第5页爬取成功
正在抓取书架页面第6页
第6页爬取成功
正在抓取书架页面第7页
第7页爬取成功
正在抓取书架页面第8页
第8页爬取成功
正在抓取书架页面第9页
第9页爬取成功
正在抓取书架页面第10页
第10页爬取成功
数据保存成功
Process finished with exit code 0
部分数据示例
[
{
"title": "钢制书架厂家 钢制书架精选厂家 厂家直销",
"price": "360.00元"
},
{
"title": "图书馆密集书架 图书馆密集书架精选厂家 厂家直销",
"price": "888.00元"
},
{
"title": "图书馆书架 图书馆书架精选厂家 厂家直销",
"price": "360.00元"
},
{
"title": "钢制文件柜 文件柜书架厂家 钢制书架价格",
"price": "850.00元"
},
{
"title": "武新 图书馆书架 全钢制双面书店阅览室钢制书架批发",
"price": "150.00元"
},
{
"title": "黑龙江图书馆书架厂家学校图书架可定做",
"price": "260.00元"
},
改代码适合爬取任意商品，可能会有一些商品爬取不了，可以结合HTML结构修改代码，在爬取之前需先安装selenium和一些必要的配置
