[發明專利]一種數據處理方法、裝置、計算機設備和計算機可讀存儲介質

有效

• 申請號: 202110677339.5
• 申請日: 2021-06-18
• 公開（公告）號: CN113407522B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 吳丹楓
• 申請（專利權）人: 上海市第十人民醫院
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/21;G06F16/23;G06F16/242;G06F16/25;G06F16/28;G06F21/64
• 代理公司: 上海領譽知識產權代理有限公司 31383
• 代理人: 王琰

本發明涉及一種數據處理方法、裝置、計算機設備和計算機可讀存儲介質，其中，該方法包括：利用數據接口采集、利用復制訂閱的方式采集以及利用SSIS的方式采集；利用數據采集管理系統，按照所述采集方式從數據中心采集各醫院信息系統的各個應用子系統的原始數據，并將采集到的原始數據進行數據清洗和數據轉換，將得到的目標數據進行分類存儲，所述數據采集管理系統具有如下功能：數據采集、采集腳本配置、采集調度與監控、消息持久化、主被動群集模式、數據驗證服務、數據錯誤處理機制、消息跟蹤機制、連接重建機制、消息重發機制等功能，通過本申請，解決了相關技術中不能對異常數據進行處理的問題。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、計算機設備和計算機可讀存儲介質。

背景技術

在數據應用的整體過程中，根據需要，從原始數據到數據中心，從數據中心到數據倉庫、數據集市，根據層級的不同，數據需要進行多輪的清洗工作。數據清洗主要根據探索性分析后得到的一些結論入手，也就是從應用角度出發，然后主要對四類異常數據進行處理，分別是：缺失值(missing value)，異常值(離群點)，去重處理(Duplicate Data)，噪音數據的處理。

目前，針對相關技術中，存在的不能對異常數據進行處理問題，尚未提出有效的解決方案。

發明內容

本申請的目的是針對現有技術中的不足，提供一種數據處理方法、裝置、計算機設備和計算機可讀存儲介質，以至少解決相關技術中不能對異常數據進行處理的問題。

為實現上述目的，本申請采取的技術方案是：

第一方面，本申請實施例提供了一種數據處理方法，包括：確定數據采集方式，所述數據采集方式包括：利用數據接口采集、利用復制訂閱的方式采集以及利用SSIS的方式采集；利用數據采集管理系統，按照所述采集方式從數據中心采集各醫院信息系統的各個應用子系統的原始數據，并將采集到的原始數據進行數據清洗和數據轉換，將得到的目標數據進行分類存儲，所述數據采集管理系統具有如下功能：數據采集、采集腳本配置、采集調度與監控、消息持久化、主被動群集模式、數據驗證服務、數據錯誤處理機制、消息跟蹤機制、連接重建機制、消息重發機制、重復消息檢測機制、錯誤消息驗證機制、錯誤應答處理機制、基于數據中心的數據訪問服務、運維監控、通知機制以及監測列表，所述數據清洗表示過濾不符合要求的數據，所述數據轉換包括不一致數據的轉換、數據粒度的轉換以及商務規則的轉換。

在其中一些實施例中，所述數據接口是所述數據采集管理系統的數據接口管理模塊提供的，在按照所述采集方式從數據中心采集各醫院信息系統的各個應用子系統的原始數據，并將采集到的原始數據進行數據清洗和數據轉換，將得到的目標數據進行分類存儲的過程中，所述方法還包括通過所述數據接口管理模塊執行如下流程：

執行接口編輯流程：依據獲取的模板代表的領域知識來編輯數據接口信息；

執行數據接口管理流程：進行數據接口基本信息的查詢，數據接口生命周期狀態的管理以及版本管理，數據接口的生命周期狀態有創建、發布、鎖定以及棄用，模板部署后基本數據接口初始狀態為創建，對新部署的模板進行判斷，如果沒有部署過，則將創建的基本數據接口的狀態更新為發布，如果是模板版本更新后部署，則將模板與之前版本進行比較，如果兼容，基本數據接口則將上一版本更新為棄用，如果不兼容，則將上一版本更新為鎖定，將新創建的基本數據接口版本升級，狀態更改為發布，用戶自定義數據接口初始狀態為創建，用戶提交后，由管理員進行審核，審核通過后將狀態更新為發布，否決后返回創建狀態，若用戶是在巳經發布的數據接口上進行版本更新，則將當前版本更新為棄用，將新版本的狀態更新為創建，處于創建狀態的數據接口可由用戶自行修改；

執行數據接口展示流程：提供數據接口的在線說明文檔，將數據接口信息解析，按照模板分類展示基于該模板的數據接口資源名稱，根據資源名稱和版本信息顯示每個請求方式的說明文檔，包括該請求方式的URL、輸入參數、輸出參數以及相關的描述信息；