[發明專利]基于多數據源的數據處理方法以及裝置

在審

• 申請號: 202011069195.7
• 申請日: 2020-09-30
• 公開（公告）號: CN112163072A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 齊天宇;潘仕江;李天與;黃文瀚;程浩;柳超
• 申請（專利權）人: 北京金堤征信服務有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/30
• 代理公司: 北京康盛知識產權代理有限公司 11331
• 代理人: 董娣

1.一種基于多數據源的數據處理方法，其特征在于，所述方法包括：

基于多數據源通道獲取多個元數據，所述多個元數據包括多維度數據；

對所述元數據根據預設維度信息進行分類，確定各類別對應的特征提取策略，根據對應的特征提取策略提取所述不同類別的元數據的關鍵特征信息；

將同一類別的多個關鍵特征信息進行比對，確定各個類別的有效數據；

對各個類別的有效數據根據分類鏈路信息進行聚合處理，得到目標數據。

2.如權利要求1所述的方法，其特征在于，所述元數據包括法律文書，根據對應的特征提取策略提取所述不同類別的元數據的關鍵特征信息，包括：

解析所述法律文書的文章信息，提取與預設定標識對應的主體信息以及事件信息；所述預設定標識包括原告標識、被告標識、第三人標識中的任意一項或多項；

根據所述法律文書中的原告標識和/或被告標識和/或第三人標識獲取原告信息。

3.如權利要求1所述的方法，其特征在于，所述元數據包括法律文書，根據對應的特征提取策略提取所述不同類別的元數據的關鍵特征信息，包括：

獲取所述法律文書中的第一指定字段文本以及第二指定字段文本；

對第二指定字段文本所在語句進行語義解析，確定所述第二指定字段文本的對應的主體標識；

將所述第一指定字段文本作為所述主體標識對應的主體信息；

所述主體標識以及所述對應的主體信息為所述關鍵特征信息。

4.如權利要求1所述的方法，其特征在于，所述根據對應的特征提取策略提取所述不同類別的元數據的關鍵特征信息，包括：

提取所述元數據中命中預設案號匹配策略的字符串；

將所述字符串作為所述關鍵特征信息。

5.如權利要求1所述的方法，其特征在于，將同一類別的多個關鍵特征信息進行比對，確定各個類別的有效數據，包括：

對多個數據源通道獲取的同一類別的多個關鍵特征信息，分析其字段完整率；

將字段完整率最高的關鍵特征信息作為當前類別的唯一有效數據。

6.如權利要求1所述的方法，其特征在于，將同一類別的多個關鍵特征信息進行比對，確定各個類別的有效數據后，所述方法還包括：

獲取第三方數據，對所述第三方數據根據預設維度信息進行分類；

將各個類別的有效數據以及所述第三方數據輸入數據存儲隊列，得到各個類別對應的隊列數據；

確定各類別對應的特征清洗策略，根據對應的特征清洗策略提取所述不同類別的隊列數據的關鍵特征信息，再次執行將同一類別的多個關鍵特征信息進行比對的步驟，以確定各個類別的有效數據。

7.如權利要求1所述的方法，其特征在于，所述對各個類別的有效數據根據分類鏈路信息進行聚合處理，包括：

獲取各個分類的首尾連接鏈路表；

對各個分類的有效數據根據所述首尾連接鏈路表進行排序聚合。

8.如權利要求1所述的方法，其特征在于，所述對各個類別的有效數據根據分類鏈路信息進行聚合處理后，所述方法還包括：

將聚合處理后目標數據進行整段或分段計算后，與預設數據庫中的原始數據進行匹配；

若確定不存在相同的整段或分段的目標數據，則將所述整段或分段的目標數據入庫存儲。

9.一種基于多數據源的數據處理裝置，其特征在于，包括：

數據獲取模塊，用于基于多數據源通道獲取多個元數據，所述多個元數據包括多維度數據；

特征提取模塊，用于對所述元數據根據預設維度信息進行分類，確定各類別對應的特征提取策略，根據對應的特征提取策略提取所述不同類別的元數據的關鍵特征信息；

數據對比模塊，用于將同一類別的多個關鍵特征信息進行比對，確定各個類別的有效數據；

數據確定模塊，用于對各個類別的有效數據根據分類鏈路信息進行聚合處理，得到目標數據。