利用LLM+敏感词库,来自动判别是否涉及敏感词。已经在chatpaper上线!
在chatpaper中,我们免费提供了学术版GPT完整功能,这里面有一个隐藏的对话功能,我们希望给大家提供一个学术对话接口,但防不住大家好奇,或者有极少数人故意攻击我们的输出。
因此我们需要紧急上线敏感词检测。尤其是针对政治敏感词和色情敏感词。
- 传统敏感词库检测是否有敏感词
- 如果有敏感词,让Chat来判断语义,是否有误杀。
- 输出敏感词检测(待做)
- pip install -r requirements.txt
- 替换api key
- 确认敏感词库路径是否正确。
无敏感词的情况,消耗0.2s左右
有敏感词,消耗0.2+0.8s左右。
欢迎大家在本地测试和评估。 千万别在我们的学术版上测试!
目前传统敏感词库的检测还没有做好,然后chat的prompt也没有调到最优。
欢迎大家star和pull新功能!
Please cite the repo if you use the data or code in this repo.
@misc{ChatPaper,
author={Yongle Luo},
title = {ChatSensitiveWords: Use LLM and sensitive word library to check sensitive input text.},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/kaixindelele/ChatSensitiveWords}},
}