大部分论坛、网站等,为了方便管理,都进行了关于敏感词的设定。
在多数网站,敏感词一般是指带有敏感政治倾向(或反执政党倾向)、暴力倾向、不健康色彩的词或不文明语,也有一些网站根据自身实际情况,设定一些只适用于本网站的特殊敏感词。
比如,当你发贴的时候带有某些事先设定的词时,这个贴是不能发出的。或者这个词被自动替换为星号(*)或叉号(X)等,或者说是被和谐掉了。
在我看来敏感词过滤最重要的是在写过滤词汇的算法,如何过滤出大批量的敏感词,我感觉DFA的思想不错
DFA简介
在实现文字过滤的算法中,DFA是唯一比较好的实现算法。DFA即Deterministic Finite Automaton,也就是确定有穷自动机,它是是通过event和当前的state得到下一个state,即event+state=nextstate。下图展示了其状态的转换
在这幅图中大写字母(S、U、V、Q)都是状态,小写字母a、b为动作。通过上图我们可以看到如下关系
a b b
S -----> U S -----> V U -----> V
在实现敏感词过滤的算法中,我们必须要减少运算,而DFA在DFA算法中几乎没有什么计算,有的只是状态的转换。
Java实现DFA算法实现敏感词过滤
在Java中实现敏感词过滤的关键就是DFA算法的实现。首先我们对上图进行剖析。在这过程中我们认为下面这种结构会更加清晰明了。
同时这里没有状态转换,没有动作,有的只是Query(查找)。我们可以认为,通过S query U、V,通过U query V、P,通过V query U P。通过这样的转变我们可以将状态的转换转变为使用Java集合的查找。
诚然,加入在我们的敏感词库中存在如下几个敏感词:日本人、日本鬼子、毛.泽.东。那么我需要构建成一个什么样的结构呢?
首先:query 日 ---> {本}、query 本 --->{人、鬼子}、query 人 --->{null}、query 鬼 ---> {子}。形如下结构:
下面我们在对这图进行扩展:
这样我们就将我们的敏感词库构建成了一个类似与一颗一颗的树,这样我们判断一个词是否为敏感词时就大大减少了检索的匹配范围。比如我们要判断日本人,根据第一个字我们就可以确认需要检索的是那棵树,然后再在这棵树中进行检索。
这个思想留着以后用,我先写一个过滤词汇的一些简单方法,没有涉及到算法
Java代码实现
基本思路:重写HttpServletRequestWrapper中的getParameter方法,让用户输入的字通过这个过滤,写一个类继承他,重写方法,在写一个过滤词汇的词典,来与输入的对比
先写一个jsp页面,js是用Ajax去刷新的,最近学的想用用试试看,感觉不错,Ajax是需要引js文件的
<body> <input type="text" name="word" onblur="filter(this.value);" id="filter"/> <input type="submit" value="敏感词过滤" /> <script type="text/javascript" src="/UploadFiles/2021-04-02/jquery.js">再继承HttpServletRequestWrapper在重写getParameter方法,
//主要思路是继承HttpServletRequestWrapper,去改写他的getParameter方法,让其有过滤的业务 public class WordFilter extends HttpServletRequestWrapper{ public WordFilter(HttpServletRequest request) { super(request); // TODO Auto-generated constructor stub } @Override public String getParameter(String name){ //先得到父亲的方法,传入值,得到的值在跟过滤字典中的比较看是否含有,有则替换,没有放过返回 String word=super.getParameter(name); //调用字典中的文字 List<String> list=Words.getList(); for (String string : list) { //判断是否含有这样字典中的文字 if (word.contains(string)) { //将字符串中含有的替换掉 word=word.replace(string, "**"); } } return word; } }再写一个Servlet,去获取用户输入的字,进行过滤操作
@WebServlet("/FilterWordServlet") public class FilterWordServlet extends HttpServlet { private static final long serialVersionUID = 1L; protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { //设置请求和编码格式 request.setCharacterEncoding("utf-8"); response.setCharacterEncoding("utf-8"); //自己创建的请求方法,继承与原来的,改写了getParameter方法让其有过滤的业务 WordFilter wFilter=new WordFilter(request); String string=wFilter.getParameter("num"); System.out.println("---------------"); //out的响应方法。输出在页面上,让ajax得到这个去处理一些业务 PrintWriter out=response.getWriter(); out.println(string); } protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { // TODO Auto-generated method stub doGet(request, response); } }我自己建了一个list集合的过滤词汇,以后修改可以从这里开始词汇的搜索算法,先建一个词汇类
public class Words { //过滤词汇的词典 static List<String> list=new ArrayList<>(); static{ list.add("你妹的"); list.add("sb"); list.add("滚"); } public static List<String> getList() { return list; } public static void setList(List<String> list) { Words.list = list; } }这只是最基础的一种。高级的需要算法的实现,可以思考一下这个DFA算法,我感觉很不错
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]