[發明專利]一種醫療數據查重和關聯的方法及系統

有效

• 申請號: 201710153199.5
• 申請日: 2017-03-15
• 公開（公告）號: CN106934038B
• 公開（公告）日: 2018-01-05
• 發明（設計）人: 劉勁松;王友柱;饒江;李廣東;李楠;王東;陳桂太
• 申請（專利權）人: 江蘇華生基因數據科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F19/00
• 代理公司: 北京精金石專利代理事務所(普通合伙)11470
• 代理人: 劉曄

1.一種醫療數據查重和關聯的方法，其特征在于，包括以下步驟：

(1)提取待處理的醫療數據中的核心數據項，所述核心數據項用于將所在數據與其他數據區分開；

(2)將核心數據項分類，先將核心數據項先分為結構化數據項及非結構化數據項，而后在結構化數據項中選取一組數據項作為排除數組，其他結構化數據項則作為模糊數組；

(3)分別對排除數組及模糊數組中的各個數據項初步篩查，

(3a)當排除數組中任意一個數據項與醫療數據庫中已有同類數據項不同時則判斷該醫療數據不重復或無關聯并輸入醫療數據庫中，

或(3b)當模糊數組中不同數據項個數與模糊數組總項數的比例大于設定的閾值M₁時則判斷該醫療數據不重復或無關聯并輸入醫療數據庫中，

其他情況則進入下一步驟；

(4)對核心數據項中的各項數據項進行深度篩查，將各個數據項的權重a_i進行賦值，對各個數據項的相似度f_i進行判斷計算，

并根據下列公式計算該醫療數據與醫療數據庫中已有醫療數據的總相似度F：

其中，0≤f_i≤1,0<F≤1，

當F＝1時，則判斷該醫療數據為重復數據并刪除；

(5)設定疑似重復數據相似度的閾值M₂和/或疑似關聯數據的閾值M₃，當M₂<F<1時判斷該醫療數據為疑似重復數據并提交人工核查，當M₃<F<1時判斷該醫療數據為疑似關聯數據并提交人工核查；

(6)人工核查疑似重復和/或關聯數據并給予判斷后，將被判斷為不重復的數據輸入醫療數據庫中,并給予判斷為存在關聯的數據一個或多個相應的關聯標簽。

2.根據權利要求1所述的方法，其特征在于，所述相似度f_i的判斷計算方法為：對于結構化數據項，當其與醫療數據庫中已有同類數據項完全相同時，其相似度f_i^s取值為1，否則取值為0；

對于非結構化數據項，其相似度f_iⁿ為該非結構化數據項的文本集合T與醫療數據庫中已有同類數據項的文本集合S之間的Jaccard相似度SIM(S,T), 其中，SIM(S,T)＝|S∩T|/|S∪T|,f_i^s∈f_i，f_iⁿ∈f_i。

3.根據權利要求2所述的方法，其特征在于，在直接計算非結構化數據項的文本集合T與醫療數據庫中已有同類數據項的文本集合S之間的Jaccard相似度前，還對文本集合T和文本集合S進行如下預處理：

(i)利用分詞庫，將T和S中的文本字段分解成若干詞，并將每個詞作為最小處理數據項，

(ii)將來自T與S的對應分詞數據項按照K-shingle算法逐一比較。

4.根據權利要求3所述的方法，其特征在于，所述分詞庫包括三個部分：

藥物名稱部分，其包括藥物商品名，通用名以及常用方案的英文字母縮寫；

癥狀描述部分，其包括醫療常見的癥狀描述常用詞；

基因檢測部分，其包括基因檢測的位點縮寫以及基因檢測的結果描述。