登录微博,并爬取水滴筹用户信息,存入mongodb login 主要负责的是获取微博的登录状态,然后用session去请求别的需要的数据。 后边的爬取水滴筹的数据主要是根据需要,写了点,用户可以根据自己的需要,选择去爬取自己需要的网页。 适当的控制爬取频率即可。 put_to_excel主要负责数据的格式化导出。
-
Notifications
You must be signed in to change notification settings - Fork 1
iris-qq/calwer_weibo
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
登录微博,并爬取水滴筹用户信息,存入mongodb
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published