[發明專利]一種科技大數據智能決策分析方法

在審

• 申請號: 202211460302.8
• 申請日: 2022-11-17
• 公開（公告）號: CN115965329A
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 上官學奎;馬瑾男;王志文;倪凱明;宋可;張敬康;尉建興;張穎;文豪
• 申請（專利權）人: 山西省信息產業技術研究院有限公司
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06Q50/26;G06F16/215;G06F16/901
• 代理公司: 太原榮信德知識產權代理事務所(特殊普通合伙) 14119
• 代理人: 連慧敏

1.一種科技大數據智能決策分析方法，其特征在于：包括下列步驟：

S1、對整體平臺的數據進行采集；

S2、對整體平臺的采集的數據進行治理；

S3、對數據進行整合處理。

2.根據權利要求1所述的一種科技大數據智能決策分析方法，其特征在于：所述S1中對整體平臺的數據進行采集的方法為：從中間庫或前置機數據庫中采集數據，按照定義好的數據交換方式生成數據包，由定制好的發送路由發送給接收方；接收方接收到數據包后自動進行解包處理，并將數據存儲到接收方的前置機交換數據庫中；采集內容主要分為：全量采集、增量采集。采集方式主要分為：觸發器方式、時間戳方式、全表刪除插入方式、全表比對方式。采集工具主要分為：ftp文件傳輸、數據導入工具、WebService接口；通過建立數據標準、數據歸集、數據加工、數據裝載，依據不同的業務場景，將采集的數據進行分類，包括結構化數據、非結構化數據、半結構化數據，存儲于原始庫中。

3.根據權利要求1所述的一種科技大數據智能決策分析方法，其特征在于：所述S2中對整體平臺的采集的數據進行治理的方法為：通過數據采集裝置進行源數據的采集，利用大數據處理技術對原始庫數據中的臟數據、重復數據、錯誤數據進行治理優化，治理完成后，利用大數據算法技術實現數據的標準化，進而快速實現數據治理。

4.根據權利要求3所述的一種科技大數據智能決策分析方法，其特征在于：所述利用大數據處理技術對原始庫數據中的臟數據、重復數據、錯誤數據進行治理優化的方法為：對業務數據中不符合標準規范或者無效的數據進行過濾操作，根據采集數據的來源不同，配置不同的數據清洗流程，包括數據過濾和數據去重。

5.根據權利要求4所述的一種科技大數據智能決策分析方法，其特征在于：所述數據過濾的方法為：選擇數據過濾，選擇相應的字段配置對應的過濾規則進行過濾，并通過打標簽的方式進行標記識別：手機號的標準規則及過濾；統一社會信用代碼的標準規則及過濾；身份證的標準規則及過濾；姓名過濾的標準規則及過濾。

6.根據權利要求4所述的一種科技大數據智能決策分析方法，其特征在于：所述數據去重的方法為：去掉重復數據，保證唯一性，根據相關業務屬性通過時間/自增主鍵確定數據更新順序的字段排序后配置剔重，選擇相應的字段做為去重的條件；排序規則為：自增主鍵順序；數據更新時間戳順序；業務流水號順序；其他可確定重復數據更新順序；判斷去重的依據；然后判斷每一個字段是否可以出現重復情況，否則需要去重。

7.根據權利要求3所述的一種科技大數據智能決策分析方法，其特征在于：所述利用大數據算法技術實現數據的標準化的方法為：包括下列步驟：

S2.1、標準化處理階段，結合數據標準管理，整理已定義的數據元素、數據字典、相關標準規范和業務流程，在元數據管理模塊中進行先期維護，對數據內容、使用范圍、使用方式、質量、更新方式、更新周期、數據來源、負責單位、數據提供方、存儲位置、處理邏輯、數據格式等內容進行統一管理，用以管理匯聚接入的數據資源；

S2.2、與標準數據元庫的對接，同時按照標準數據元同步更新機制，可通過手動或系統自動導入的方式，將標準數據元同步至本地數據元庫中。本地數據元庫存放本地數據元和標準數據元；

S2.3、依托數據元標準校驗規則，對本地數據元進行數據標準化的規范校驗，即把本地數據元所有真實數據字段與標準數據元進行比對并形成相關的結果報告。