23页和26页都有一个被删除的视频，程序就中断了，能不能让程序容错跳过

[linxiaoqi7]

23页和26页都有一个被删除的视频，程序就中断了，能不能让程序容错跳过

[linxiaoqi7]

23页遇到中断，我以为是我网络或者91服务器问题，然后从24页从新开始爬了一会又出现这个问题，我然后去查找这个页面，发现视频被删除，但是WEB页面链接还在。
能不能让程序中断后自动尝试重新连接，指定次数连接依旧失败后跳过呢

[linxiaoqi7]

“周末约完整版”
这种情况还是比较频繁的，31页也有，这样一中断，爬取效率降低好多

[linxiaoqi7]

感觉还是Aria2那个好，稳定，速度还快

[zzjzz9266a]

你这个是爬哪个列表，能给个稳定重现的例子吗？

[zzjzz9266a]

我更新了一下，做了兼容处理，可以试试

[linxiaoqi7]

你这个是爬哪个列表，能给个稳定重现的例子吗？

php 91all.php
next=watch (最新发布）
爬取的WEB页面http://91porn.com/v.php?next=watch
这两个视频是在WEB页面中的，但是点击进去会提示视频被删除，爬虫爬到被删除的视频时就中断了

[linxiaoqi7]

不麻烦的话，有时间话更新下Aria2吧，Aria2,VPS小鸡下载后自动上传删除本地文件很好用

[zzjzz9266a]

不麻烦的话，有时间话更新下Aria2吧，Aria2,VPS小鸡下载后自动上传删除本地文件很好用

‘’下载后自动上传删除本地文件‘’这个功能不是aria2实现的吧，那么master也一样啊

[linxiaoqi7]

不麻烦的话，有时间话更新下Aria2吧，Aria2,VPS小鸡下载后自动上传删除本地文件很好用

‘’下载后自动上传删除本地文件‘’这个功能不是aria2实现的吧，那么master也一样啊
是Aria2脚本实现的，下载一个文件会触发自动上传脚本，被下载的文件就开始上传了。Master下载后能不能也让他也执行一个上传脚本呢，执行Aria2里面那个脚本不知道能行不，Aria2那个上传脚本可以单独下载

另外因为VPS通过Rclone和云盘绑定，Rclone功能强大，可以通过一条命令让VPS指定文件夹文件上传到云盘，但是比如文件夹已经下载了10个文件你Rclone执行移动命令后是会移动到云盘，但是新下载的第11个文件就不行了，它不会自动检测文件变动重复执行移动操作，是个一次性命令。
https://p3terx.com/archives/rclone-advanced-user-manual-common-command-parameters.html
我是小白，最近也是在学习爬虫，说些个人知道的，希望大佬在加强下程序功能谢谢！

[zzjzz9266a]

更新以后，在downloader.php文件中把这两行注释打开并修改对应的网盘名称和路径，其中“91porn:/91porn”对应网盘名称和路径

[linxiaoqi7]

注释打开是在前面加“#”还是删除前面的“//”，另外网盘名称是Rclone里面的名字，那个路径是本地下载路径还是网盘文件夹路径？我反复试了几次没成功

[zzjzz9266a]

双斜杠。。网盘名称是rclone里定义的，路径是网盘的

[linxiaoqi7]

双斜杠。。网盘名称是rclone里定义的，路径是网盘的
如果是想上传后删除本地文件，是不是把Rclone参数改成移动就可以了？现在上传还是有问题，问题在上面楼层

[zzjzz9266a]

我看是这个问题https://blog.csdn.net/nksmiles/article/details/7371721
你不是用的vps吗，还用什么windows

[zzjzz9266a]

这会儿没空，晚上吧