[發明專利]一種基于大數據的數據匹配方法及裝置

有效

• 申請號: 202110703046.X
• 申請日: 2021-06-24
• 公開（公告）號: CN113342855B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 周曄;穆海潔;肖竣唏
• 申請（專利權）人: 匯付天下有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2457
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 陶玉龍;陸嘉

1.一種基于大數據的數據匹配方法，其特征在于，包括以下步驟：

S1數據源配置步驟，配置待匹配數據源信息；

S2數據規則分析步驟，設定初始的規則分析配置參數，自動獲取待匹配數據進行規則分析計算，生成多種匹配規則及其匹配度結果；

S3數據規則配置步驟，將步驟S2生成的匹配規則，選定為數據匹配規則或自定義配置數據匹配規則；

S4數據匹配處理步驟，根據選定數據匹配規則，依次對待匹配數據進行匹配處理，直至數據匹配成功或者所有規則遍歷完畢；

S5匹配結果處置步驟，對匹配結果進行處置；

其中，所述規則分析配置參數，進一步包括：

事務參照源、集合、項集、支持度、最小支持度、頻繁項集、置信度、最小置信度、過濾項集和規則置信條件；

所述步驟S2中自動獲取待匹配數據進行規則分析計算，生成多種匹配規則及其匹配度結果，進一步包括：

S21將獲取的待匹配數據集合根據字段拆分為項集單位；

S22根據規則分析配置參數，篩選獲得頻繁項集；

S23根據項集數值的數據離散度，計算頻繁項集對事務支持度的權重；

S24根據各頻繁項集權重，依次遞歸遍歷頻繁項集數據進行匹配規則分析；

S25將匹配規則及其匹配度結果進行輸出。

2.根據權利要求1所述的基于大數據的數據匹配方法，其特征在于，所述S1數據源配置步驟，進一步包括：

接收消息中間件所發送的原始的待匹配數據或經初次匹配的數據，作為待匹配數據。

3.根據權利要求1所述的基于大數據的數據匹配方法，其特征在于，所述步驟S24，進一步包括：

S241以各頻繁項集權重，對待匹配數據集合的頻繁項集由高到低依次排序；

S242以事務參考源的數據集合為匹配源，遍歷待匹配集合的頻繁項集；

S243根據KMP算法對數據字符串進行遞歸匹配，直到匹配成功，獲得對應的匹配規則；

S244根據匹配規則，遍歷待匹配數據，計算規則置信度和匹配成功度，過濾規則置信度低于最小置信度的規則。

4.根據權利要求3所述的基于大數據的數據匹配方法，其特征在于，所述步驟S244，進一步包括：

計算當前規則的置信度；

如果規則置信度為100％，保存相應規則與置信度，退出所有遍歷；

如果100％＞置信度≥最小置信度，則保存當前規則與置信度，剔除匹配成功且符合規則置信條件的數據，返回步驟S242繼續進行遍歷，查找其他匹配規則；

如果置信度＜最小置信度，則計算匹配成功度；

如果匹配成功度＜最小置信度，則認為當前規則為無效規則，返回步驟S242繼續進行遍歷，查找其他匹配規則；

如果匹配成功度≥最小置信度，則以當前規則為條件重新抽取數據排除已遍歷過的項集再次開始遍歷，直至所有遍歷完成。

5.根據權利要求1所述的基于大數據的數據匹配方法，其特征在于，所述步驟S4，進一步包括：

S41讀取最新規則信息；

S42讀取消息數據匹配源信息；

S43查找數據源信息的相關匹配規則，并生成配置樹；

S44遍歷配置樹中各匹配規則，進行數據匹配，直到匹配成功或者遍歷完成。

6.根據權利要求5所述的基于大數據的數據匹配方法，其特征在于，所述規則信息，進一步包含：

規則適用數據源；

數據源中符合此規則的數據適用條件；

匹配目標源；

匹配規則；

匹配是否結束標志；

匹配成功匹配結果配置；

匹配失敗匹配結果配置。

7.一種基于大數據的數據匹配裝置，其特征在于，包括：

存儲器，用于存儲可有處理器執行的指令；

處理器，用于執行所述指令以實現如權利要求1-6任一項所述的方法。

8.一種基于大數據的數據匹配系統，其特征在于，包括：

消息中間件，接收原始的待匹配數據或經初次匹配的數據作為待匹配數據并發送至處理器；

存儲器，用于存儲可有處理器執行的指令；

處理器，用于執行所述指令以實現如權利要求1-6任一項所述的方法。