此项目主要对一些简单动静态网页进行数据爬取，其中涉及到并发爬取，为低并发，ip是安全的。运用到了goqery爬虫库，爬取成功的数据使用go的原生SQL库存储到MySQL数据库。
- 静态数据的爬取分四个步骤:1、发送请求(添加cookie和用户代理等信息)；2、解析网页；3、获取节点信息；4、保存信息
- 动态数据的爬取使用io读取数据进而解析网页
- 并发爬取10次gorm中文文档网站的数据，分别使用channel和Waitgroup等方式进行阻塞比较爬取速度
-
Notifications
You must be signed in to change notification settings - Fork 0
hxhai/PaChong_douban
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
No description, website, or topics provided.
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published