python3简单实现微信爬虫

我们可以通过python 来实现这样一个简单的爬虫功能,把我们想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能

使用ghost.py 通过搜搜 的微信搜索来爬取微信公共账号的信息

# -*- coding: utf-8 -*- import sys reload(sys) import datetime import time sys.setdefaultencoding("utf-8") from ghost import Ghost ghost = Ghost(wait_timeout=20) url="http://weixin.sogou.com/gzh?openid=oIWsFt8JDv7xubXz5E3U41T0eFbk" page,resources = ghost.open(url) result, resources = ghost.wait_for_selector("#wxmore a") from bs4 import BeautifulSoup c=0 while True: if c>=30: break soup = BeautifulSoup(ghost.content) for wx in soup.find_all("h4"): print wx page, resources = ghost.evaluate( """ var div1 = document.getElementById("wxBox"); div1.innerHTML = ''; """) ghost.click("#wxmore a") result, resources = ghost.wait_for_selector(".wx-rb3") c=c+1 pass

以上所述就是本文的全部内容了,希望对大家学习Python能够有所帮助

相关文章

功能概要:(目前已实现功能)公共展示部分:1.网站首页展示...
大体上把Python中的数据类型分为如下几类: Number(数字) ...
开发之前第一步,就是构造整个的项目结构。这就好比作一幅画...
源码编译方式安装Apache首先下载Apache源码压缩包,地址为ht...
前面说完了此项目的创建及数据模型设计的过程。如果未看过,...
python中常用的写爬虫的库有urllib2、requests,对于大多数比...