代理池搭建

学了一段时间爬虫之后才知道 所见即所得的道理。
关于爬行过程中所需要的IP池搭建大致想法

1 找几个大型的免费代理网站
2 爬下IP,并存入redis。 给每个IP一个权重 权重越高越有用。
3 一个爬取IP存入redis， 一个随机返回ip 一个检查IP是否可用 主要这三大接口。

若是嫌得麻烦可以直接买