fudan_crawler

#百科爬虫，具体看xmind思维导图 #scrapy爬虫引擎 #mongodb存储 #程序实际可以直接运行（需要修改一些配置），如果不想ip被封需要购买使用代理IP。 #大部分思想来自开源社区，但我自以为我在解析方面做的很细致很全面（毕竟前期也调研了很长时间） #仅供学习交流，欢迎指正改进。