網站信息審核自動化、敏感詞過濾功能目標針對客戶（業務員、用戶）輸入的信息、上傳的文件（後期），實現自動審核過濾，以達成盡可能少的人工參與！通過程序中對文本對象進行檢測，有效降低內容違規風險。但是不能徹底解決內容違規。我們會將大部分的違規內容，通過前端js、後臺服務自動處理，並返回處理結果；小部分違規內容，由人工參與處理，具體邏輯根據不同的業務場景提供不同的功能支持。後期如需對圖片、音視頻文件進行內容檢測，需要對接第三方接口實現。內容審核自動化（半）內容檢測內容審核方案內容檢測方案以上第三方支持直接針對網站內容進行檢測判斷。文本內容檢測實施方案1，違規詞匯檢測審核。2，第三方接口檢測審核。3，人工審核。圖片、音視頻內容檢測方案1，第三方接口檢測審核。2，人工審核。文本反垃圾匯總反垃圾算法文本信息檢測流程（半）自動化核心是通過前端結合後端程序，對信息進行違規檢測，將大部分的違規信息，通過應用程序自動判定處理，並返回對應的處理結果。有效降低內容違規風險。針對程序沒有檢測到的違規信息，通過人工審核的策略，下架或刪除遺漏的違規信息。文本信息檢測處理流程信息檢測流程概述：1，用戶輸入文本信息，前端通過敏感詞庫進行JS校驗判斷，如果不合法，返回結果；合法，執行下一步；2，服務端，通過敏感數據庫對信息進行檢測判斷，如果不合法，返回結果；合法，執行下一步；3，調用第三方接口，檢測判斷，如果不合法，返回結果；合法，保存到數據庫中。【此步驟，前期可省略】4，人工審核，功能包括：巡查審核、信息審核、禁言等操作。作為保全方案！（主要針對廣告、刷屏、添加重復數據的情況）註意：【詞庫大，需要註意檢測方法執行時長，不影響業務的情況下，需控制在50ms以內；時長根據業務容錯而定】補充以上方案，對於文本內容檢測程序會增加程序響應時間（盡量控制在10ms以內），從而會進一步影響整個應用的吞吐量。前期：代碼實現，優化方法執行邏輯，縮短程序執行時間。（測試方法執行時間）後期可考慮應用集群。審核結果處理方案針對違規信息處理方案，根據不同的場景，可考慮不同的落地設計方案：1，彈框提示2，接口信息提示3，信息提示4，頻繁發送，限制5，信息下架6，賬號鎖定或禁用圖片、音視頻檢測審核前期主要針對文本信息進行檢測處理。後期如需對圖片、音視頻文件進行內容檢測，需要對接第三方接口實現。文本信息檢測算法檢測方法，可參考–DFA算法/AC自動機，可有效縮短檢測方法時間。DFA全稱為：Deterministic Finite Automaton，即確定有窮自動機。大致是將敏感數據構建成樹的結構，完成搜索命中，然後進行處理。AC自動機多模式匹配算法：在主串中查找多個模式串。(字典樹+kmp算法+失配指針)（原理todo）前端針對客戶輸入的信息，采用js檢測，判斷是否會命中敏感詞。後端服務端：通過已有的敏感詞數據表，查詢判斷。如果敏感詞較多，可使用redis進行緩存處理。數據庫：敏感詞數據表（後期可後臺維護新增）功能設計場景1：添加數據方案1，敏感詞打碼處理。方案2，提示填寫的數據違規。結合人工審核，信息下架處理，網站不再顯示。視頻檢測對接第三方，todo