Ubuntu16.04安装爬虫框架scrapy

scrapy框架需要在Python2.7，lxml,OpenSSL,pip程序或库的基础之上创建。

因此 ，首先，先检查下是否包含上述四个程序或库

kuku@worker1:~$python
Python2.7.12(default,Jul12016,15:12:24)
[GCC5.4.020160609]onlinux2
Type"help","copyright","credits"or"license"formoreinformation.
>>>

可以看到Ubuntu16.04已经预置了python 2.7

接着查看是否还有lxml

>>>importlxml
Traceback(mostrecentcalllast):
File"<stdin>",line1,in<module>
ImportError:Nomodulenamedlxml
>>>
>>>importOpenSSL
>>>

发现没有lxml，有OpenSSL,于是先安装lxml

kuku@worker1:~$sudoapt-getinstallpython-lxml

重新进入

kuku@worker1:~$python
Python2.7.12(default,"credits"or"license"formoreinformation.
>>>importlxml
>>>

没有报错。为保证后续正确安装，需依次执行

kuku@worker1:~$sudoapt-getinstallpython-dev

kuku@worker1:~$sudoapt-getinstalllibevent-dev

kuku@worker1:~$sudoapt-getinstallpython-pip

kuku@worker1:~$sudopipinstall--upgradepip

最后执行

kuku@worker1:~$pipinstallScrapy

即可完成Scrapy的安装，查看下scrapy相关命令

kuku@worker1:~$scrapy

然后可以创建一个新的项目

kuku@worker1:~$scrapystartprojectnewproject
NewScrapyproject'newproject',usingtemplatedirectory'/usr/local/lib/python2.7/dist-packages/scrapy/templates/project',createdin:
/home/kuku/newproject

Youcanstartyourfirstspiderwith:
cdnewproject
scrapygenspiderexampleexample.com
kuku@worker1:~$
kuku@worker1:~$sudoaptinstalltree

使用tree看下newproject文件目录

kuku@worker1:~$treenewproject/

接下来可以根据自己需要对里面文件进行相应的编辑，以满足自己需求。