使用python BeautifulSoup库抓取58手机维修信息

这篇文章主要介绍了一个使用python抓取58手机的精准商家信息,使用BeautifulSoup API的方法

直接上代码

复制代码 代码如下:

#!/usr/bin/python

# -*- coding: utf-8 -*-import urllib

import os,datetime,string

import sys

from bs4 import BeautifulSoup

reload(sys)

sys.setdefaultencoding('utf-8')

__BASEURL__ = 'http://bj.58.com/'

__INITURL__ = "http://bj.58.com/shoujiweixiu/"

soup = BeautifulSoup(urllib.urlopen(__INITURL__))

lvlELements = soup.html.body.find('div','selectbarTable').find('tr').find_next_sibling('tr')('a',href=True)

f = open('data1.txt','a')

for element in lvlELements[1:]:

    f.write((element.get_text()+'nr' ))

    url = __BASEURL__ + element.get('href')

    print url

    soup = BeautifulSoup(urllib.urlopen(url))

    lv2ELements = soup.html.body.find('table','tblist').find_all('tr')

    for item in lv2ELements:

        addr = item.find('td','t').find('a').get_text()

        phone = item.find('td','tdl').find('b','tele').get_text()

        f.write('地址:'+addr +' 电话:'+ phone + 'rnr')

f.close()

上一篇:python基础教程之缩进介绍下一篇:使用Python来编写HTTP服务器的超级指南 热门搜索

信息抓取 

beautifulsoup库 

python使用 

抓取 

python库 

相关文章

使用python BeautifulSoup库抓取58手机维修信息

2021-10-17阅读(2816)评论(0)推荐()

这篇文章主要介绍了一个使用python抓取58手机的精准商家信息,使用BeautifulSoup API的方法

python使用BeautifulSoup分析网页信息的方法

2021-10-08阅读(3379)评论(0)推荐()

这篇文章主要介绍了python使用BeautifulSoup分析网页信息的方法,涉及Python使用BeautifulSoup模块分析网页信息的技巧,非常具有实...

python基于BeautifulSoup实现抓取网页指定内容方法

2021-11-06阅读(3925)评论(0)推荐()

这篇文章主要介绍了python基于BeautifulSoup实现抓取网页指定内容方法,涉及Python使用BeautifulSoup模块解析html网页的相关...

Python如何使用BeautifulSoup爬取网页信息

2021-11-03阅读(3121)评论(0)推荐()

这篇文章主要介绍了Python如何使用BeautifulSoup爬取网页信息,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的...

基于python3抓取pinpoint应用信息入库

2021-11-04阅读(6199)评论(0)推荐()

这篇文章主要介绍了基于python3抓取pinpoint应用信息入库,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以...

Python爬虫包 BeautifulSoup  递归抓取实例详解

2021-10-13阅读(6307)评论(0)推荐()

这篇文章主要介绍了Python爬虫包 BeautifulSoup 递归抓取实例详解的相关资料,需要的朋友可以参考下

Python抓取手机号归属地信息示例代码

2021-10-07阅读(7528)评论(0)推荐()

之前看到一篇文章有提供手机号归属地数据库的下载,由于手机号号段一直在增加,所以提供的数据基本上随时会过期,更理想的方法是从网上定期抓取其他站点维护的经纬度信息。...

取消

有人回复邮件通知

提交评论

相关文章

功能概要:(目前已实现功能)公共展示部分:1.网站首页展示...
大体上把Python中的数据类型分为如下几类: Number(数字) ...
开发之前第一步,就是构造整个的项目结构。这就好比作一幅画...
源码编译方式安装Apache首先下载Apache源码压缩包,地址为ht...
前面说完了此项目的创建及数据模型设计的过程。如果未看过,...
python中常用的写爬虫的库有urllib2、requests,对于大多数比...