/*
- @Author: HH.wangye
- @Date: 2018-02-11 23:53:32
- @Last Modified by: HH.wangye
- @Last Modified time: 2018-02-11 23:56:53 */
WebMagic 爬虫代码
LaGou目录下是爬取拉勾网的职位信息代码,具体结构如下
LaGou/src/main/java/Controller/LaGouSpider.java ----爬取拉勾网职位信息
LaGou/src/main/java/Controller/BiliBili.java ----爬取哔哩哔哩视频链接
LaGou/src/main/java/Controller/OsArticleController.java ----爬取开源中国10020条博文
爬虫(拉勾网)完善。主要将主要城市的java工作岗位详细信息,存储到数据库,610条。以下为截图:
![数据库截图](https://github.com/wangye8899/MySpider/raw/master/images/data.png)