快捷導(dǎo)航

Java 敏感詞檢測(cè)工具的實(shí)現(xiàn)

更新時(shí)間：2024年11月01日 11:14:11 作者：一名技術(shù)極客

本文介紹了Java敏感詞檢測(cè)工具的使用方法,包括依賴引入、核心方法使用實(shí)例、常規(guī)用法、自定義替換檢測(cè)策略等內(nèi)容,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

使用步驟

引入 Maven 依賴

引入最新的版本即可，見(jiàn)附錄開(kāi)源地址。

<dependency>
    <groupId>com.github.houbb</groupId>
    <artifactId>sensitive-word</artifactId>
    <version>0.18.0</version>
</dependency>

核心方法使用實(shí)例

包含了主要的一些功能和方法，如下所示：

常規(guī)用法查找替換；
指定替換字符串；
檢測(cè)忽略大小寫(xiě)，特殊字符，重復(fù)字符，簡(jiǎn)繁體，中英文等；
自定義替換檢測(cè)策略示例；

package com.example.demo;

import com.github.houbb.sensitive.word.api.IWordContext;
import com.github.houbb.sensitive.word.api.IWordReplace;
import com.github.houbb.sensitive.word.api.IWordResult;
import com.github.houbb.sensitive.word.bs.SensitiveWordBs;
import com.github.houbb.sensitive.word.core.SensitiveWordHelper;
import com.github.houbb.sensitive.word.support.result.WordResultHandlers;
import com.github.houbb.sensitive.word.utils.InnerWordCharUtils;

import java.util.List;

public class SensitiveWordTestDemo {

    public static void main(String[] args) {
        //testNormal();
        //testDefineReplace();
        //testSensitiveWordResultHandler();
        //testOtherFeatures();
        testMoreFeatures();
    }

    // 常規(guī)使用案例：替換敏感詞
    public static void testNormal() {
        final String text = "五星紅旗迎風(fēng)飄揚(yáng)，毛主席的畫(huà)像屹立在天安門(mén)前。";
        System.out.println("是否包含銘感詞：" + SensitiveWordHelper.contains(text));
        System.out.println("查找第一個(gè)銘感詞：" + SensitiveWordHelper.findFirst(text));
        System.out.println("查找所有銘感詞：" + SensitiveWordHelper.findAll(text));

        System.out.println("替換所有銘感詞：" + SensitiveWordHelper.replace(text));
        System.out.println("替換所有銘感詞(指定替換符號(hào))：" + SensitiveWordHelper.replace(text, '?'));
    }

    /**
     * 此案例講解：IWordResultHandler 可以對(duì)敏感詞的結(jié)果進(jìn)行處理，允許用戶自定義。
     */
    public static void testSensitiveWordResultHandler() {
        final String text = "五星紅旗迎風(fēng)飄揚(yáng)，毛主席的畫(huà)像屹立在天安門(mén)前。";

        List<String> wordList = SensitiveWordHelper.findAll(text);
        //Assert.assertEquals("[五星紅旗, 毛主席, 天安門(mén)]", wordList.toString());
        System.out.println("1.查找到所有銘感詞：" + wordList);

        List<String> wordList2 = SensitiveWordHelper.findAll(text, WordResultHandlers.word());
        //Assert.assertEquals("[五星紅旗, 毛主席, 天安門(mén)]", wordList2.toString());
        System.out.println("2.默認(rèn)內(nèi)置處理(同直接查找到所有敏感詞)：" + wordList2);

        List<IWordResult> wordList3 = SensitiveWordHelper.findAll(text, WordResultHandlers.raw());
        //Assert.assertEquals("[WordResult{startIndex=0, endIndex=4}, WordResult{startIndex=9, endIndex=12}, WordResult{startIndex=18, endIndex=21}]", wordList3.toString());
        System.out.println("3.查找敏感詞單詞本身的起始位置到終止位置：" + wordList3);
    }

    // 實(shí)例：常規(guī)忽略檢測(cè)特性
    public static void testOtherFeatures() {
        System.out.println("\n其他屬性\n");
        String text = "fuCK the bad words.";
        String word = SensitiveWordHelper.findFirst(text);
        //Assert.assertEquals("fuCK", word);
        System.out.println("忽略大小寫(xiě)：" + word);
        System.out.println("替換大小寫(xiě)字符：" + SensitiveWordHelper.replace(text));

        text = "ｆｕｃｋ the bad words.";
        word = SensitiveWordHelper.findFirst(text);
        //Assert.assertEquals("ｆｕｃｋ", word);
        System.out.println("忽略半圓角：" + word);
        System.out.println("替換半圓角字符：" + SensitiveWordHelper.replace(text));

        text = "這個(gè)是我的微信：9?二肆??③⑸⒋?㈤五";
        List<String> wordList = SensitiveWordBs.newInstance().enableNumCheck(true).init().findAll(text);
        //Assert.assertEquals("[9?二肆??③⑸⒋?㈤五]", wordList.toString());
        System.out.println("忽略數(shù)字的寫(xiě)法：" + wordList.toString());
        System.out.println("替換數(shù)字字符：" + SensitiveWordBs.newInstance().enableNumCheck(true).init().replace(text));

        text = "我愛(ài)我的祖國(guó)和五星紅旗。";
        List<String> wordList1 = SensitiveWordHelper.findAll(text);
        //Assert.assertEquals("[五星紅旗]", wordList1.toString());
        System.out.println("檢測(cè)敏感詞簡(jiǎn)繁體格式是否存在：" + wordList1.toString());

        text = "??c? the bad words";
        List<String> wordList2 = SensitiveWordHelper.findAll(text);
        //Assert.assertEquals("[??c?]", wordList2.toString());
        System.out.println("檢測(cè)敏感詞是否存在英文的書(shū)寫(xiě)格式：" + wordList2.toString());

        text = "???f?u??c?? the bad words";
        List<String> wordList3 = SensitiveWordBs.newInstance()
                .ignoreRepeat(true)
                .init()
                .findAll(text);
        //Assert.assertEquals("[???f?u??c??]", wordList3.toString());
        System.out.println("檢測(cè)重復(fù)詞每個(gè)字符是否重復(fù)：" + wordList3.toString());
    }

    // 實(shí)例：更多檢測(cè)特性
    public static void testMoreFeatures() {
        // 1.郵箱檢測(cè)(郵箱等個(gè)人信息，默認(rèn)未啟用。)
        String text = "樓主好人，郵箱 sensitiveword@xx.com";
        List<String> wordList = SensitiveWordBs.newInstance().enableEmailCheck(true).init().findAll(text);
        //Assert.assertEquals("[sensitiveword@xx.com]", wordList.toString());
        System.out.println("是否存在郵箱：" + wordList.toString());

        // 2.連續(xù)數(shù)字檢測(cè)(一般用于過(guò)濾手機(jī)號(hào)/QQ等廣告信息，默認(rèn)未啟用。)
        text = "你懂得：12345678";
        // 默認(rèn)檢測(cè) 8 位
        List<String> wordList1 = SensitiveWordBs.newInstance()
                .enableNumCheck(true)
                .init().findAll(text);
        //Assert.assertEquals("[12345678]", wordList.toString());
        System.out.println("是否存在連續(xù)數(shù)字字符串：" + wordList1);
        // 指定數(shù)字的長(zhǎng)度，避免誤殺
        List<String> wordList2 = SensitiveWordBs.newInstance()
                .enableNumCheck(true)
                .numCheckLen(9)
                .init().findAll(text);
        //Assert.assertEquals("[]", wordList2.toString());
        System.out.println("是否存在連續(xù)數(shù)字字符串2：" + wordList2.toString());

        // 3.網(wǎng)址檢測(cè)(用于過(guò)濾常見(jiàn)的網(wǎng)址信息，默認(rèn)未啟用, v0.18.0 優(yōu)化 URL 檢測(cè)，更加嚴(yán)格，降低誤判率)
        text = "點(diǎn)擊鏈接 https://www.baidu.com 查看答案";
        SensitiveWordBs sensitiveWordBs = SensitiveWordBs.newInstance().enableUrlCheck(true).init();
        List<String> wordList3 = sensitiveWordBs.findAll(text);
        //Assert.assertEquals("[https://www.baidu.com]", wordList3.toString());
        //Assert.assertEquals("點(diǎn)擊鏈接 ********************* 查看答案", sensitiveWordBs.replace(text));
        System.out.println("是否存在網(wǎng)址信息：" + wordList3.toString());
        System.out.println("是否存在網(wǎng)址信息2并替換：" + sensitiveWordBs.replace(text));

        // 4.IPv4 檢測(cè): 避免用戶通過(guò) ip 繞過(guò)網(wǎng)址檢測(cè)等，默認(rèn)未啟用。
        text = "個(gè)人網(wǎng)站，如果網(wǎng)址打不開(kāi)可以訪問(wèn) 127.0.0.1。";
        SensitiveWordBs sensitiveWordBs2 = SensitiveWordBs.newInstance().enableIpv4Check(true).init();
        List<String> wordList4 = sensitiveWordBs2.findAll(text);
        //Assert.assertEquals("[127.0.0.1]", wordList4.toString());
        System.out.println("是否存在 IPv4：" + wordList4.toString());
    }

    // 實(shí)例：自定義檢測(cè)替換策略
    public static void testDefineReplace() {
        System.out.println("自定義敏感詞替換策略：（策略：指定敏感詞替換）");
        final String text = "五星紅旗迎風(fēng)飄揚(yáng)，毛主席的畫(huà)像屹立在天安門(mén)前。";
        MySensitiveWordReplace replace = new MySensitiveWordReplace();
        String result = SensitiveWordHelper.replace(text, replace);
        System.out.println("自定義替換策略結(jié)果：" + result);
    }
}

class MySensitiveWordReplace implements IWordReplace {

    @Override
    public void replace(StringBuilder stringBuilder, char[] chars, IWordResult wordResult, IWordContext iWordContext) {
        String sensitiveWord = InnerWordCharUtils.getString(chars, wordResult);
        // 自定義不同的敏感詞替換策略，可以從數(shù)據(jù)庫(kù)等地方讀取
        if ("五星紅旗".equals(sensitiveWord)) {
            stringBuilder.append("國(guó)家旗幟");
        } else if ("毛主席".equals(sensitiveWord)) {
            stringBuilder.append("教員");
        } else {
            // 其他默認(rèn)使用 * 代替
            int wordLength = wordResult.endIndex() - wordResult.startIndex();
            for (int i = 0; i < wordLength; i++) {
                stringBuilder.append('*');
            }
        }
    }
}

輸出結(jié)果展示：

是否包含銘感詞：true
查找第一個(gè)銘感詞：五星紅旗
查找所有銘感詞：[五星紅旗, 毛主席, 天安門(mén)]
替換所有銘感詞：****迎風(fēng)飄揚(yáng)，***的畫(huà)像屹立在***前。
替換所有銘感詞(指定替換符號(hào))：????迎風(fēng)飄揚(yáng)，???的畫(huà)像屹立在???前。
自定義敏感詞替換策略：（策略：指定敏感詞替換）
自定義替換策略結(jié)果：國(guó)家旗幟迎風(fēng)飄揚(yáng)，教員的畫(huà)像屹立在***前。
1.查找到所有銘感詞：[五星紅旗, 毛主席, 天安門(mén)]
2.默認(rèn)內(nèi)置處理(同直接查找到所有敏感詞)：[五星紅旗, 毛主席, 天安門(mén)]
3.查找敏感詞單詞本身的起始位置到終止位置：[WordResult{startIndex=0, endIndex=4, type='WORD'}, WordResult{startIndex=9, endIndex=12, type='WORD'}, WordResult{startIndex=18, endIndex=21, type='WORD'}]

其他屬性

忽略大小寫(xiě)：fuCK
替換大小寫(xiě)字符：**** the bad words.
忽略半圓角：ｆｕｃｋ
替換半圓角字符：**** the bad words.
忽略數(shù)字的寫(xiě)法：[9?二肆??③⑸⒋?㈤五]
替換數(shù)字字符：這個(gè)是我的微信：************
檢測(cè)敏感詞簡(jiǎn)繁體格式是否存在：[五星紅旗]
檢測(cè)敏感詞是否存在英文的書(shū)寫(xiě)格式：[??c?]
檢測(cè)重復(fù)詞每個(gè)字符是否重復(fù)：[???f?u??c??]
是否存在郵箱：[sensitiveword@xx.com]
是否存在連續(xù)數(shù)字字符串：[12345678]
是否存在連續(xù)數(shù)字字符串2：[]
是否存在網(wǎng)址信息：[https://www.baidu.com]
是否存在網(wǎng)址信息2并替換：點(diǎn)擊鏈接 ********************* 查看答案
是否存在 IPv4：[127.0.0.1]

核心方法：查找 / 替換

在這里插入圖片描述

更多的檢測(cè)策略（自定義）

郵箱-網(wǎng)址-IPV4-連續(xù)字符檢測(cè)

// 實(shí)例：更多檢測(cè)特性
public static void testMoreFeatures() {
    // 1.郵箱檢測(cè)(郵箱等個(gè)人信息，默認(rèn)未啟用。)
    String text = "樓主好人，郵箱 sensitiveword@xx.com";
    List<String> wordList = SensitiveWordBs.newInstance().enableEmailCheck(true).init().findAll(text);
    //Assert.assertEquals("[sensitiveword@xx.com]", wordList.toString());
    System.out.println("是否存在郵箱：" + wordList.toString());

    // 2.連續(xù)數(shù)字檢測(cè)(一般用于過(guò)濾手機(jī)號(hào)/QQ等廣告信息，默認(rèn)未啟用。)
    text = "你懂得：12345678";
    // 默認(rèn)檢測(cè) 8 位
    List<String> wordList1 = SensitiveWordBs.newInstance()
        .enableNumCheck(true)
        .init().findAll(text);
    //Assert.assertEquals("[12345678]", wordList.toString());
    System.out.println("是否存在連續(xù)數(shù)字字符串：" + wordList1);
    // 指定數(shù)字的長(zhǎng)度，避免誤殺
    List<String> wordList2 = SensitiveWordBs.newInstance()
        .enableNumCheck(true)
        .numCheckLen(9)
        .init().findAll(text);
    //Assert.assertEquals("[]", wordList2.toString());
    System.out.println("是否存在連續(xù)數(shù)字字符串2：" + wordList2.toString());

    // 3.網(wǎng)址檢測(cè)(用于過(guò)濾常見(jiàn)的網(wǎng)址信息，默認(rèn)未啟用, v0.18.0 優(yōu)化 URL 檢測(cè)，更加嚴(yán)格，降低誤判率)
    text = "點(diǎn)擊鏈接 https://www.baidu.com 查看答案";
    SensitiveWordBs sensitiveWordBs = SensitiveWordBs.newInstance().enableUrlCheck(true).init();
    List<String> wordList3 = sensitiveWordBs.findAll(text);
    //Assert.assertEquals("[https://www.baidu.com]", wordList3.toString());
    //Assert.assertEquals("點(diǎn)擊鏈接 ********************* 查看答案", sensitiveWordBs.replace(text));
    System.out.println("是否存在網(wǎng)址信息：" + wordList3.toString());
    System.out.println("是否存在網(wǎng)址信息2并替換：" + sensitiveWordBs.replace(text));

    // 4.IPv4 檢測(cè): 避免用戶通過(guò) ip 繞過(guò)網(wǎng)址檢測(cè)等，默認(rèn)未啟用。
    text = "個(gè)人網(wǎng)站，如果網(wǎng)址打不開(kāi)可以訪問(wèn) 127.0.0.1。";
    SensitiveWordBs sensitiveWordBs2 = SensitiveWordBs.newInstance().enableIpv4Check(true).init();
    List<String> wordList4 = sensitiveWordBs2.findAll(text);
    //Assert.assertEquals("[127.0.0.1]", wordList4.toString());
    System.out.println("是否存在 IPv4：" + wordList4.toString());
}

常規(guī)檢測(cè)：大小寫(xiě)-特殊字符-重復(fù)字符-簡(jiǎn)繁體等

// 實(shí)例：常規(guī)忽略檢測(cè)特性
public static void testOtherFeatures() {
    System.out.println("\n其他屬性\n");
    String text = "fuCK the bad words.";
    String word = SensitiveWordHelper.findFirst(text);
    //Assert.assertEquals("fuCK", word);
    System.out.println("忽略大小寫(xiě)：" + word);
    System.out.println("替換大小寫(xiě)字符：" + SensitiveWordHelper.replace(text));

    text = "ｆｕｃｋ the bad words.";
    word = SensitiveWordHelper.findFirst(text);
    //Assert.assertEquals("ｆｕｃｋ", word);
    System.out.println("忽略半圓角：" + word);
    System.out.println("替換半圓角字符：" + SensitiveWordHelper.replace(text));

    text = "這個(gè)是我的微信：9?二肆??③⑸⒋?㈤五";
    List<String> wordList = SensitiveWordBs.newInstance().enableNumCheck(true).init().findAll(text);
    //Assert.assertEquals("[9?二肆??③⑸⒋?㈤五]", wordList.toString());
    System.out.println("忽略數(shù)字的寫(xiě)法：" + wordList.toString());
    System.out.println("替換數(shù)字字符：" + SensitiveWordBs.newInstance().enableNumCheck(true).init().replace(text));

    text = "我愛(ài)我的祖國(guó)和五星紅旗。";
    List<String> wordList1 = SensitiveWordHelper.findAll(text);
    //Assert.assertEquals("[五星紅旗]", wordList1.toString());
    System.out.println("檢測(cè)敏感詞簡(jiǎn)繁體格式是否存在：" + wordList1.toString());

    text = "??c? the bad words";
    List<String> wordList2 = SensitiveWordHelper.findAll(text);
    //Assert.assertEquals("[??c?]", wordList2.toString());
    System.out.println("檢測(cè)敏感詞是否存在英文的書(shū)寫(xiě)格式：" + wordList2.toString());

    text = "???f?u??c?? the bad words";
    List<String> wordList3 = SensitiveWordBs.newInstance()
        .ignoreRepeat(true)
        .init()
        .findAll(text);
    //Assert.assertEquals("[???f?u??c??]", wordList3.toString());
    System.out.println("檢測(cè)重復(fù)詞每個(gè)字符是否重復(fù)：" + wordList3.toString());
}

自定義檢測(cè)替換策略

自定義檢測(cè)替換

class MySensitiveWordReplace implements IWordReplace {

    @Override
    public void replace(StringBuilder stringBuilder, char[] chars, IWordResult wordResult, IWordContext iWordContext) {
        String sensitiveWord = InnerWordCharUtils.getString(chars, wordResult);
        // 自定義不同的敏感詞替換策略，可以從數(shù)據(jù)庫(kù)等地方讀取
        if ("五星紅旗".equals(sensitiveWord)) {
            stringBuilder.append("國(guó)家旗幟");
        } else if ("毛主席".equals(sensitiveWord)) {
            stringBuilder.append("教員");
        } else {
            // 其他默認(rèn)使用 * 代替
            int wordLength = wordResult.endIndex() - wordResult.startIndex();
            for (int i = 0; i < wordLength; i++) {
                stringBuilder.append('*');
            }
        }
    }
}

使用實(shí)例：

// 實(shí)例：自定義檢測(cè)替換策略
public static void testDefineReplace() {
    System.out.println("自定義敏感詞替換策略：（策略：指定敏感詞替換）");
    final String text = "五星紅旗迎風(fēng)飄揚(yáng)，毛主席的畫(huà)像屹立在天安門(mén)前。";
    MySensitiveWordReplace replace = new MySensitiveWordReplace();
    String result = SensitiveWordHelper.replace(text, replace);
    System.out.println("自定義替換策略結(jié)果：" + result);
}