forked from wangxiaomo/SmartWall
-
Notifications
You must be signed in to change notification settings - Fork 0
/
readme
86 lines (68 loc) · 4 KB
/
readme
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
version1.
web 版本采用 sso 登陆认证.实现起来比较麻烦.且登陆状态难以通过 cookie 来保持.
@杨春程 提议使用 wap 方式试试.试验了下果真可以.得到 gsid 之后就获得了所有权限了.正好看到微博
上有人说在 google 中搜索 site:weibo.cn gsid 可以获得大量 gsid.考虑是不是以后写个刷粉丝的工具.
现在 SmartWall 初步版本已经实现.已经可以把微博用户的私信提取出来.之后发微博就很简单了.
树洞应用确实比较有新意.但是这个模式现在创新点不多.所以作为开发者来说,应该把重心放在自动化的树洞
分析与维护上.
近期做下一步工作:
1.垃圾私信区分.
2.树洞整体信息分析
3.etc.待讨论
update:2012/05/07 by xiaomo
最近一直在研究分词。毕竟分词是一切分析的基础。
分词的话应该变化不大，就是用 ICTCLAS 。但是因为版本、授权的问题，现在还没有调试好。不过已经有方向
了。今天在工程下添加了 other 目录，以后在这个目录下添加一些对工程有用的东西。
other/httpcws 是一个基于 http 协议的分词程序，也是基于 ICTCLAS 的。效果还不错。
好了。不墨迹了。继续调 ICTCLAS
update:2012/05/11 by oangeor
现在是这么想的，不要把这个做成单纯的咱们学校的树洞。大一的时候就想过能不能做一个作为咱们学校和山大
交流的公共信息平台。现在觉得这个程序可以实现这个。提取的时候也顺带提取出学校和性别来，在发布每条信
息前加上 学校，性别这些head，比如 HIT M 这是我的私信(格式有待商议)。这样1能解决用户量不足的问题(两
个分校加起来差不多能和一般院校人数持平吧)，2加上这些信息头也能更好的吸引双方院校的人参与进来。
现在的两点担心
1用户不足问题。(我会联系一些社会关系节点多的人做一下推广)
2垃圾私信的问题。(会不会有人用僵尸粉发布恶意的广告私信。(不过这也得是1问题解决了，有一定影响力才会有人攻击吧)。
---reply by xiaomo
1.用户信息根据weibo py来抓.我周末实现.具体的格式确定了就可以了.
2.先让它运行起来.关于分析的东西慢慢加或者说根据情况加.
update:2012/05/12 by xiaomo
TODO Fix:
1.2级递归搜索..
update:2012/05/14 by xiaomo
version1. 最近有点紧啊.ps.杨春程那个混蛋貌似比我还忙的样子.总之先把第一版本搞出来再说.
说下使用方法吧:
1.git clone下来后先修改config.py.填写自己的微博账户密码.
2.执行 make init.等待初始化,过程中会让输入 OAuth PIN 码,后期如果需要的话可以把我之前写的 AutoPIN 加进来.
3.初始化完毕就可以通过 python Spider.py 来抓取私信.
4.初始化完毕就可以通过 python Poster.py 来发送微博.
5.make clean 可以删除 pyc 文件.make init_db 可以初始化数据库.make clean_all 可以删除所有配置文件.
6.将3,4加入到 cron job 里即可测试运行。
TODO: Fix 2级递归搜索。
新浪微博发送重复微博返回异常时忽略
update:2012/05/15 by xiaomo
你妹的啊.一边写代码一边刷微博的后果就是access token不是测试帐号.发了一堆猥琐微博.悲剧.
update:2012/05/15 by xiaomo
TODO FIX:
1.私信字数限制
2.时间不确定导致私信重复。暂时先忽略重复问题
update:2012/05/18 by xiaomo
TODO FIX:
1.学校机构的提取.(面向多个学校的树洞)
2.发送队列.
update:2012/05/19 by xiaomo
FIXED BUG:
1.二级递归搜索.
update:2012/05/19 by xiaomo
ADD FEATURE:
1.检查私信是否被吞. ps.测试1周后正式集合进去。
update:2012/05/20 by xiamo
ADD FEATURE:
1.发私信欢迎新用户.
2.zf命令正式启用
TOBE FIX:
1.评论中 zf 不能用
update:2012/05/21 by xiaomo
正式迁移到 OpenSalonOfHIT 上
TOBE FIX:
1.多次转发原始微博会使原微博发送N次