[發明專利]一種基于財政大數據的分布式內容查重預警系統

在審

• 申請號: 201811562264.0
• 申請日: 2018-12-20
• 公開（公告）號: CN109636352A
• 公開（公告）日: 2019-04-16
• 發明（設計）人: 李景龍
• 申請（專利權）人: 湖南暉龍集團股份有限公司
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06Q50/26
• 代理公司: 長沙市和協專利代理事務所(普通合伙) 43115
• 代理人: 熊曉妹

1.一種基于財政大數據的分布式內容查重預警系統，其特征在于，包括財政大數據庫、項目申報模塊、內容預警模塊、內容分析引擎、信息推送中心、任務調度中心，其中：

財政大數據庫，與工商數據庫及項目申報數據庫通訊連接，財政大數據庫對采集到的項目申報主體的工商數據與項目申報數據進行清洗、加工、分類形成工商主題庫與項目類主題庫；

項目申報模塊，用于用戶申報專項資金項目；

內容預警模塊，設定內容相似性預警的警戒線數值以及與之對應的預警級別；

內容分析引擎，引擎核心分為兩個部分，中文分詞算法與內容相似度算法；

信息推送中心，將預警的信息按管理的不同要求進行精準推送；

任務調度中心，負責調度相應的處理算法與功能執行任務。

2.一種基于財政大數據的分布式內容查重預警方法，其特征在于，包括以下步驟：

S1財政大數據庫建立，通過設定的算法模型，對采集的工商數據與項目申報數據進行清洗、加工、分類形成工商主題庫與項目類主題庫；

S2企業通過項目申報模塊填寫專項資金申報內容，向服務器提交專項資金項目申報請求，服務器端接收客戶端發送的項目申報請求，開始接收數據；

S3通過內容分析引擎，調用分詞算法功能接口對項目申報內容進行詞法分析，并將語句內容拆分成詞元，調用存儲層接口將分詞的詞元存儲財政大數據庫中，申報主體的項目申報內容會以文檔形式存儲在HDFS與MangoDB中；

S4通過任務調度中心，調用任務調度中心的任務接口，發布相似度計算任務與工商庫企業關系鏈路計算任務，調用分布式計算工具Spark接口，執行計算任務，利用多服務器算力進行快速計算，快速的計算出申報內容基于項目類主題庫與工商類主題庫的相似度查重分析；

S5將計算結果反饋給內容預警模型中心，模型判斷結果是否觸發預警閥值，超過預警值則開始步驟S6，無則結束整個項目內容預警計算流程；

S6通過預警模型中心向預警表中寫入預警日志，調用預警結果消息推送接口，消息推送主要通過郵件、站內信、短信、APP的方式進行，可以動態設定消息推送方式；

S7通過信息推送中心進行預警結果消息推送，打開消息通知，查看查重結果，重復的內容被標注出來進行顯示。

3.根據權利要求2所述的基于財政大數據的分布式內容查重預警方法，其特征在于，所述的S3中分詞算法基于正向匹配的分詞算法，具體方法為：采用的智能分詞模式smart模式，本系統分詞引擎分詞器則會根據內在方法輸出一個認為最合理的分詞結果，同時在本算法中建設性的開創詞元與詞元鏈概念，詞元鏈是分詞的一種結果根據前后順序組成一個鏈式結構，其本質是由交叉的詞元組成的有序集合，詞元對象中定義了詞元在整個鏈路中的位置，用于消除歧義。

4.根據權利要求2所述的基于財政大數據的分布式內容查重預警方法，其特征在于，所述的S4中相似度查重分析的方法采用SimHash相似度算法。