Skip to content

Latest commit

 

History

History
41 lines (23 loc) · 1.28 KB

README.md

File metadata and controls

41 lines (23 loc) · 1.28 KB

spider_python

抓取北邮人论坛/水木社区/cc98论坛的校招信息的爬虫程序。 感谢lizherui等大神的启发。

爬虫默认每隔1小时抓取1次,每抓取10次清空所有数据。 每次更新的是相应版面首页出现关键词的信息。

Unix/Windows下均需要先在本机安装redis服务程序,然后在Unix下运行redis-server,在Windows下启动redis-server.exe。

安装示例:Mac OS X下安装redis

brew install redis

此外,程序依赖以下Python第三方包:

安装示例:Mac OS X/Linux下安装Python第三方包

pip install apscheduler
pip install BeautifulSoup
pip install redis
pip install requests

然后直接运行main.py程序,访问http://127.0.0.1:8888

效果如下:

1

Enjoy it。