[發明專利]一種水質基準計算的數據提取方法

有效

• 申請號: 201410401124.0
• 申請日: 2014-08-15
• 公開（公告）號: CN105373535B
• 公開（公告）日: 2018-05-25
• 發明（設計）人: 李江;李青香;羅吳亮;周浩;劉征濤;楊紹貴;閆振廣
• 申請（專利權）人: 南京集艾思軟件科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q50/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種水質基準計算的數據提取方法，包括水質基準計算，其特征在于：

(1)水質基準計算的數據提取方法包括如下步驟：

(1-1)組建數據提取系統框架，系統框架由數據庫服務器、應用服務器、用戶終端、路由器、網線組成；數據庫服務器作為數據倉庫存儲數據；應用服務器部署中間件，執行數據提取操作的應用程序；用戶終端提供給用戶/管理員上傳數據、計算數據、下載數據；路由器和網線用于連接數據庫服務器、應用服務器、用戶終端；

(1-2)數據庫服務器的數據來源于用戶終端的傳遞，用戶終端可以是管理員或者科研用戶，用戶終端把數據提交給應用服務器，應用服務器根據驗證邏輯進行數據檢驗，并將數據提取進入數據篩選單元，應用程序根據數據類別、數據格式、數據范值、數據精度進行對比，加工成符合規范的模式數據；

(1-3)應用服務器將經過規范化處理的數據導入數據庫服務器；

(1-4)應用服務器根據水生生物、沉積物、毒性數據、人體健康業務關系邏輯，建立關聯模型表，并將數據存儲轉換為列式存儲，方便SQL查詢與提取；

(1-5)水質環境數據應用目前面向與開放的是各高校、科研單位的用戶，管理員對邀請、主動申請、主動授權的用戶進行檢驗，系統根據用戶分類情況，自動評分，并存儲于用戶分類系數表；

(1-6)用戶通過用戶終端確定計算目的，在水質基準計算時，可使用三種方法進行數據提取：人工檢索提取、半自動檢索提取、全自動檢索提取；

(1-7)人工檢索提取，是用戶根據自身的學術經驗、科研目的或其它情況，手工選擇參與計算的數據源，系統根據用戶的選擇確定四個維度：用戶常用于計算的數據，用戶計算方向的類別，用戶選擇數據的等級，用戶計算結果的使用率，將用戶的維度映射到分類體系結構中，系統根據用戶維度，進行權重調節并計算，把結果存儲至用戶數據細節層；

(1-8)半自動檢索提取，用戶手工選擇部分參與計算的數據源后；系統根據本次計算目的，對人工選擇的記錄集，進行自動驗證，屏蔽或剔除類型不符合、目的不符合、來源不符合、層次不符合的數據源；系統啟用提取方法；提取數據與用戶數據匯集后進行計算；

(1-9)全自動檢索提取，系統根據本次計算目的，系統啟用提取方法，提取數據自動進行計算；

(1-10)提取算法

首先根據水質環境數據中已定義的主外鍵關聯、動態屬性關聯、級別識別關聯，采用SQL傳統模式進行查詢提取；

然后在表關聯提取的基礎上，增加用戶維度比擬，并實時更新用戶數據細節層；

最后將SQL模式查詢出的記錄，維度比擬度較高的記錄存儲于臨時表中，分別賦予相同的初始正負系數值，進行兩輪計算，一輪正數計算，一輪負數計算，然后正負相減能到F值，根據F判斷記錄的可信度，記錄的初始可信參數是0.85，然后給每條記錄賦維度比擬值R(用戶1，用戶2，……)組成的組合權重；每條記錄都有獨立的權重，通過疊加計算，生成新的權重調節，并對每條記錄進行更新，然后再進行新一輪大迭代，針對本次計算目的，得到新的可信參數，對可信參數進行排序，采用數量函數提取可信度高的數據集；

(1-11)每當有用戶使用新的提取、更新、驗證，這些操作就作為新記錄進入用戶數據細節隊列。