一个基于JAVA构建的爬虫程序
适用于抓取带页面导航条的页面,以及拥有相关文章的爬虫,不懂JAVA也能爬虫,只要会写Deal脚本即可,爬虫抓包变得如此简单。
完成爬虫任务,只需要配置config.ini和dealer处理器即可完成整个爬虫过程。
minspider.zip:JAVA爬虫源码
web.zip:服务器接口,基于PHP
selenium框架:https://www.selenium.dev/
如果不适用web.zip,只能使用本地磁盘保存抓取爬虫结果。
本源码涉及:图片加水印、JAVA正则、JAVA爬虫、JAVA下载文件、WordPress博客自动发布、PHP调用第第三分词、AI扩写接口等等功能。
(视频分2集,篇幅较长,最后一个链接为视频原录制版需要lxe播放器播放)
https://github-minknown.oss-cn-beijing.aliyuncs.com/minspider-one.mp4
https://github-minknown.oss-cn-beijing.aliyuncs.com/minspider-two.mp4
https://github-minknown.oss-cn-beijing.aliyuncs.com/minspivideos.zip