2019年4月16日零基础入门Python，第二天就给自己找了一个任务，做网站文章的爬虫小项目，因为实战是学代码的最快方式。所以从今天起开始写Python实战入门系列教程，也建议大家学Python时一定要多写多练。

目标

1，学习Python爬虫2，爬取新闻网站新闻列表3，爬取图片4，把爬取到的数据存在本地文件夹或者数据库5，学会用pycharm的pip安装Python需要用到的扩展包一，首先看看Python是如何简单的爬取网页的

1，准备工作

项目用的BeautifulSoup4和chardet模块属于三方扩展包，如果没有请自行pip安装，我是用pycharm来做的安装，下面简单讲下用pycharm安装chardet和BeautifulSoup4

在pycharm的设置里按照下图的步骤操作

如下图搜索你要的扩展类库，如我们这里需要安装chardet直接搜索就行，然后点击install package, BeautifulSoup4做一样的操作就行

安装成功后就会出现在在安装列表中，到此就说明我们安装网络爬虫扩展库成功

二，由浅入深，我们先抓取网页

我们这里以抓取简书首页为例：http://www.jianshu.com/

# 简单的网络爬虫

from urllib import request

import chardet

response = request.urlopen("http://www.jianshu.com/")

html = response.read()

charset = chardet.detect(html)# {'language': '', 'encoding': 'utf-8', 'confidence': 0.99}

html = html.decode(str(charset["encoding"])) # 解码

print(html)

由于抓取的html文档比较长，这里简单贴出来一部分给大家看下

<!DOCTYPE html>

<html>

<head>

..........后面省略一大堆

这就是Python3的爬虫简单入门，是不是很简单，建议大家多敲几遍

三，Python3爬取网页里的图片并把图片保存到本地文件夹

目标

爬取百度贴吧里的图片把图片保存到本地，都是妹子图片奥不多说，直接上代码,代码里的注释很详细。大家仔细阅读注释就可以理解了import re

import urllib.request

#爬取网页html

def getHtml(url):

page = urllib.request.urlopen(url)

html = page.read()

return html

html = getHtml("http://tieba.baidu.com/p/3205263090")

html = html.decode('UTF-8')

#获取图片链接的方法

def getImg(html):

# 利用正则表达式匹配网页里的图片地址

reg = r'src="([.*S]*.jpg)" pic_ext="jpeg"'

imgre=re.compile(reg)

imglist=re.findall(imgre,html)

return imglist

imgList=getImg(html)

imgCount=0

#for把获取到的图片都下载到本地pic文件夹里，保存之前先在本地建一个pic文件夹

for imgPath in imgList:

f=open("../pic/"+str(imgCount)+".jpg",'wb')

f.write((urllib.request.urlopen(imgPath)).read())

f.close()

imgCount+=1

print("全部抓取完成")

迫不及待的看下都爬取到了些什么美图

就这么轻易的爬取到了24个妹子的图片。是不是很简单。

四，Python3爬取新闻网站新闻列表

这里我们只爬取新闻标题，新闻url，新闻图片链接。爬取到的数据目前只做展示，等我学完Python操作数据库以后会把爬取到的数据保存到数据库。到这里稍微复杂点，就分布给大家讲解

1 这里我们需要先爬取到html网页上面第一步有讲怎么抓取网页2分析我们要抓取的html标签

分析上图我们要抓取的信息再div中的a标签和img标签里，所以我们要想的就是怎么获取到这些信息

这里就要用到我们导入的BeautifulSoup4库了，这里的关键代码

# 使用剖析器为html.parser

soup = BeautifulSoup(html, 'html.parser')

# 获取到每一个class=hot-article-img的a节点

allList = soup.select('.hot-article-img')

上面代码获取到的allList就是我们要获取的新闻列表，抓取到的如下

[<div class="hot-article-img">

![](https://img.huxiucdn.com/article/cover/201708/22/173535862821.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg)

</a>