[發明專利]一種醫療數據查重和關聯的方法及系統

有效

• 申請號: 201710153199.5
• 申請日: 2017-03-15
• 公開（公告）號: CN106934038B
• 公開（公告）日: 2018-01-05
• 發明（設計）人: 劉勁松;王友柱;饒江;李廣東;李楠;王東;陳桂太
• 申請（專利權）人: 江蘇華生基因數據科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F19/00
• 代理公司: 北京精金石專利代理事務所(普通合伙)11470
• 代理人: 劉曄

技術領域

本發明一般地涉及數據處理技術，并且更特別地，涉及醫療數據查重和關聯的處理方法及系統。

背景技術

在醫療數據采集過程的實踐中，存在同一數據被多次收集并錄入數據庫的可能性，亦存在數據被專業或非專業人士稍加改動后被當作不同數據收集并錄入數據庫的可能性。為了保證醫療數據庫中數據的真實有效性，需要設定方案，在數據提交后，正式審核通過入庫之前，對其進行查重處理，將重復數據阻擋在數據庫大門之外。由于醫療數據中存在大量的非結構化數據，例如病歷中的癥狀描述、疾病的治療方案等，目前醫療數據的深度查重基本有賴于有相關醫學經驗的人工操作，這不僅效率較低，且耗費大量人力物力，成本高昂。

另外，醫學研究不同于其他自然科學學科，相關人體實驗管控嚴格，無法實時對其理論研究進行驗證。醫學研究因此非常依賴于歷史醫療數據諸如患者病歷等的收集和分析。因此需要一種有效的醫療數據處理方法使得自動挖掘出醫療數據庫中相關性病例成為可能，供進一步的醫療研究與分析。

中國專利CN101609466B提供了一種“海量數據查重的方法和系統”，：提取海量數據中的數據關鍵字，所述數據關鍵字用于將所在數據與其他數據區分開；根據所述數據關鍵字的前N+M個字母分割所述數據關鍵字，將前N+M個字母相同的數據關鍵字放入同一個文件中，得到關鍵字數據文件；其中，所述數據關鍵字的前N個字母相同，前N+M個字母不完全相同，N、M為非負整數)；分別對各關鍵字數據文件中的數據進行查重，得到查重結果。該發明較適用于結構化的數據，對于存在大量非結構化數據的醫療數據無法進行有效的查重。另外，該發明沒有涉及數據之間的相似性及關聯問題。

中國專利CN101751423A提供了“一種稿件查重的方法及系統”，包括：生產數據庫中的稿件信息，因對版面上的稿件進行操作而被相應的修改后，時間觸發器獲取修改后的稿件信息，所述稿件信息包括稿件內容；查重服務器對獲取的稿件信息中未進行重復稿件內容比較的稿件信息進行重復稿件內容比較，確定崇高信息，由于查重服務器對事件觸發器獲取的稿件信息中未進行重復稿件內容比較的稿件信息進行重組稿件內容比較，使得最終確定重稿信息。可以知道，該專利實際達到的技術效果是實現稿件，一種非結構化信息，在提交前自動查重，減少發表中重稿出現的次數。雖然該專利在其實施例中提及了可以運用中文分詞庫技術對稿件內容進行比對，產生稿件數據之間的相似度，從而進行查重處理，但是該專利并未具體公布如何計算稿件數據之間的相似度問題，也并未涉及如何利用稿件數據之間的相似度對稿件數據之間進行關聯。

發明內容

針對上述問題，本發明通過一種醫療數據查重和關聯的方法及系統，解決了現有技術中無法對大量存在非結構化數據的醫療數據有效查重以及缺乏建立醫療數據之間的關聯的問題。

為了實現上述目的，本發明采用如下技術方案。

一種醫療數據查重和關聯的方法，其特征在于，包括以下步驟：

(1)提取待處理的醫療數據中的核心數據項，所述核心數據項用于將所在數據與其他數據區分開；

(2)將核心數據項分類，先將核心數據項先分為結構化數據項及非結構化數據項，而后在結構化數據項中選取一組數據項作為排除數組，其他結構化數據項則作為模糊數組；

(3)分別對排除數組及模糊數組中的各個數據項初步篩查，

(3a)當排除數組中任意一個數據項與醫療數據庫中已有同類數據項不同時則判斷該醫療數據不重復或無關聯并輸入醫療數據庫中，

或(3b)當模糊數組中不同數據項個數與模糊數組總項數的比例大于設定的閾值M₁時則判斷該醫療數據不重復或無關聯并輸入醫療數據庫中，

其他情況則進入下一步驟；

(4)對核心數據項中的各項數據項進行深度篩查，將各個數據項的權重a_i進行賦值，對各個數據項的相似度f_i進行判斷計算，

并根據下列公式計算該醫療數據與醫療數據庫中已有醫療數據的總相似度F：

其中，0≤f_i≤1,0<F≤1，

當F＝1時，則判斷該醫療數據為重復數據并刪除；