主要代码是参考:https://github.com/SoulDGXu/NLPVisualizationSystem/tree/master/frontend
他这个代码实现了词云、摘要生成等功能吧。因为我做的是虚假评论检测系统,就没有使用他这个里面的功能,参考了他的思路和使用 了他的前端界面。
前端是Bootstrap框架完成的,后端是用的Flask和tensorflow框架。tensorflow框架就是自己算法的主体啦。这里的算法是BERT-whitening+LR实现的,准确率也可以的。通过LR_xitong()进行的调用。
主要的功能有:登录注册、单条文本检测、批量文本检测、网页评论爬取。
还是有不足的地方,例如爬取只爬取了一页的内容。
1.app.py
这个代码就是Flask的整个逻辑实现的地方啦,通过路由规则到达指定的页面,然后通过get方式得到页面输入的内容,通过post方式返回内容给前端页面。
2.LR_xitong.py
这部分代码就是单条文本检测的实现了,先将数据集进行训练,保存LR模型参数,然后使LR对新得到的句子向量进行判断。
3.singleSentence.py
这部分就是对文本通过BERT-whitening模型进行向量化。
4.批量文本的处理
这部分代码和上面单条文本的很像,不同之处就是在predict()函数那里增加了读取文件的操作,将对单文本进行文本向量化变成了对多文本进行文本向量化。
5.爬取网页代码
主要代码好像就这么多了。接下来是可视化界面:
到此这篇关于基于Python实现虚假评论检测可视化系统的文章就介绍到这了,更多相关Python虚假评论检测系统内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
您可能感兴趣的文章:Python实现简单自动评论自动点赞自动关注脚本Python爬取京东商品信息评论存并进MySQLPython超简单分析评论提取关键词制作精美词云流程Python 抖音评论数据抓取分析python爬取豆瓣评论制作词云代码用Python写脚本自动评论再也不怕碰到喷子