Skip to content

150万UP用户信息使用说明(Deprecated)

ninthakeey edited this page Sep 1, 2018 · 1 revision

简介

这份150万的UP用户信息是截止于2018-03-10爬取的内容,相关数据存储在公共mongodb中。

获取方式

可使用任意mongo客户端(比如 mongodb compassRobo 3T),通过下面的地址进行访问

mongodb://spiderrd:[email protected]:37017/up_info

2018-04-28更新:该Mongo数据源已经不再维护

如何使用 GUI 工具查看数据库信息?请见 这一小节

数据结构说明

{
    "_id": "5a9eb839f4ba2f215cd69e12", //mongodb自动生成的主键
    "mid": "123",//UP的用户ID
    "archive_count": 2,//上传过的稿件数量
    "attentions": "21331646,8522810,4167742,3013672",//关注的用户
    "exp": 6387,//经验值,可根据公式换算成等级
    "face": "34c5b30a990c7ce4a809626d8153fa7895ec7b63.gif",//头像,使用时需要加上"http://i2.hdslb.com/bfs/face/"前缀
    "fans": 16866,//粉丝数
    "friend": 0,//好友数
    "name": "bishi",//用户名
    "sex": 0,//性别 0-男,1-女,2-保密
    "sign": ""//个性签名
}

ps : 使用python远程访问请参考connect_to_remote_mongodb_demo.ipynb


用户界面工具使用说明(以 Robo 3T 为例,其他软件类似)

  • 首先到 Robo 3T 官网 下载 Studio 3T 或者 Robo 3T,我这里用的是后者。
  • 安装完成后,打开 Robo 3T 界面
  • 选择 File > Connect ,弹出对话框 MongoDB Connections
  • 点击 create,新建一个连接

  • 设置连接选项,包含两个方面,分别是:ConnectionAuthentication
  • Connection 的设置
    • Type: Direct Connection(默认)
    • Name: 随便取,比如 bili-spider
    • Address: 这一行有两个输入框,前一个输入框只输入服务器地址,后一个输入框只输入端口
      • IP:45.32.68.44
      • 端口:37017

  • Authentication 的设置
    • 首先勾选 Perform authentication
    • Database: bilibili_spider
    • User Name: spiderrd
    • Password: spiderrd
    • Auth Mechanism: SCRAM-SHA-1(默认)

  • 点击 Save 完成设置,回到 MongoDB Connections 页面,可以看到有一个已经设置好的连接选项
  • 选择该连接,点击下方的 Connect

  • 大功告成!剩下来的操作各位就可以自己慢慢摸索啦!