重拾perl，写了个小爬虫

一年没有用perl了，发现都快忘光了……

用perl来获取网页信息是很简单的，用LWP module就可以了。

有些时候，比如在公司里，想要爬网页需要使用代理，perl里可以使用LWP::UserAgent来添加代理

use LWP::UserAgent;
my $ua=LWP::UserAgent->new();
$ua->proxy("http","http://xxx.yyy.com");
$ua->env_proxy;

在获取链接内容的时候

my $result=$ua->get($url);
	unless($result->is_success){
		print LOG ("unable to get ".$url."\n");//输出到日志文件
		next;
	}
	my $content=$result->content;//得到网页内容

多线程我没有做，也许以后会补上吧