python如何爬取美团网站店铺信息

这篇文章主要介绍python如何爬取美团网站店铺信息，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

已经获取到街道和区县的信息，然后就是关于每个街道下的店铺信息，分析页面

目前就是获取它的这些信息，然后继续保存在数据库中

按F12，F5刷新，分析响应的数据，

下图就是response中响应的数据，分析找出所需的数据

从数据库中获取街道的url，去访问，分析响应的数据，取出script中的数据。response中响应的数据可以先写成HTML，然后再工具中格式化代码，这样就比较清晰，容易分析（图是详细信息，不是店铺的简要信息）

保存数据，数据放到item中，scrapy框架会自动通过管道py文件，将数据保存返回一个生成器

判断是否有下一页，美团中 的数据，一页的数据是32条，

如果有下一页则重新拼接url，在script中能取出当前页，从第二页开始的url就需要每次在request.Meta参数保存最初的url

拼接之后继续发送请求，下载数据

以上是“python如何爬取美团网站店铺信息”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注编程之家行业资讯频道！