Skip to content

recoffe/ProxyPool

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

38 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

ProxyPool

获取可用代理池的库,从网上抓取的代理很多都是不可用的。这个库先用爬虫抓取代理,再做一些检查是否可用,可用的话就存放到mongodb中。

ProxyPool可以供给网络爬虫使用,ProxyPool由Spring Boot+RxJava2.x+MongoDB搭建

使用方法:

可以将该repository clone下来运行,可用的代理会存放到MongoDB中。每隔几小时会抓取一次可用的代理。不过本地需要事先搭建好MongoDB。

本地访问地址:http://localhost:8080/load?pagename=proxy_list

预览效果如下:

另外,还提供了一个接口,返回代理池中所有的Proxy

http://localhost:8080/getAllResultProxy

联系方式

QQ交流群:490882934

About

给爬虫使用的代理IP池

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Java 82.0%
  • HTML 9.3%
  • JavaScript 6.9%
  • CSS 1.8%