网页爬虫

记录一下如何抓一个网页:

做开发的经常会被问到怎么去抓别人的数据

那么抓数据可以分成 抓接口数据或网页数据

其实都是网络上的内容,有各自的特点

抓接口数据一般通过第三方软件代理http来看到请求实体

而抓网页内容通常我们会叫它爬虫…

那么爬虫是怎么回事呢?

抓取网页有效内容自动归并处理。

怎么实现:

如何抓-

1、通过第三方框架如phantomjs,webcrawl等,selnium等这些工具各有自己不同的使命。用法也不相同,缺点要求伪造技术高,程序不易被目标站点识别为爬虫。优点:高效便捷,自动化处理

2、通过自己写浏览器插件的形式,由于插件可以与网页内容做交互,所以这里要有一些html 标签以及selector的基础,缺点:要写很多代码,还要弄懂怎么跟浏览器通信,优点不易被网站识别是爬虫,可控性强

3、无侵入式爬取,借用手机,电脑,模拟器自动化处理,实现模拟点按,并自动下载保存.

优点:不易被网站识别,自动化高,缺点:模拟点击的话需要会调用一些人工智能的库,用模拟器的webview的话要会一些移动端的编程经验。

如何取-

内容的过程比较简单:用一个html组件读取html文本,然后分析如html-parsor

 

相关文章

vue阻止冒泡事件 阻止点击事件的执行 <div @click=&a...
尝试过使用网友说的API接口获取 找到的都是失效了 暂时就使用...
后台我拿的数据是这样的格式: [ {id:1 , parentId: 0, name:...
JAVA下载文件防重复点击,防止多次下载请求,Cookie方式快速简...
Mip是什么意思以及作用有哪些