[發明專利]數據收集方法和數據收集系統

有效

• 申請號: 201611080324.6
• 申請日: 2016-11-30
• 公開（公告）號: CN108121739B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 尚磊;宮崎邦彥
• 申請（專利權）人: 株式會社日立制作所
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 北京尚誠知識產權代理有限公司 11322
• 代理人: 龍淳

1.一種數據收集方法，其對多個業務數據庫中的數據進行收集整合，并將整合后的數據與多個應用數據庫建立關聯，所述數據收集方法的特征在于，包括：

應用數據庫分析步驟，從所述應用數據庫中導出數據庫表結構并提取各個字段和注釋；

應用數據庫-業務數據字典映射規則生成步驟，基于事先存儲的根據多個業務數據庫中提取的字段和注釋生成的業務數據字典，對所述應用數據庫分析步驟中提取的所述應用數據庫的字段和注釋進行處理，生成應用數據庫-業務數據字典映射規則；

業務數據庫分析步驟，從所述業務數據庫中導出數據庫表結構并提取各個字段和注釋；

業務數據庫-業務數據字典映射規則生成步驟，基于所述業務數據字典，對所述業務數據庫分析步驟中提取的所述業務數據庫的字段和注釋進行處理，生成業務數據庫-業務數據字典映射規則；

關聯步驟，根據所述業務數據字典將所述應用數據庫-業務數據字典映射規則和所述業務數據庫-業務數據字典映射規則對應起來，從而將所述應用數據庫與所述業務數據庫建立關聯；

數據提取步驟，基于所述應用數據庫與所述業務數據庫的關聯關系從所述業務數據庫中提取所述應用數據庫所需的數據，并以半結構化文本文件形式導出到內容管理服務器；和

數據索引步驟，根據被導出到所述內容管理服務器中的半結構化文本文件生成索引文件，并建立所述內容管理服務器與所述應用數據庫的通信，使得所述應用數據庫能夠訪問所需的數據。

2.如權利要求1所述的數據收集方法，其特征在于：

所述應用數據庫-業務數據字典映射規則生成步驟包括：

對被提取出的所述應用數據庫中各個字段的注釋和所述業務數據字典中各個字段的注釋進行分詞的步驟；

基于已有的中英文近義詞字典對分詞后的注釋進行語義相似匹配計算，得到所述應用數據庫中的字段的注釋與所述業務數據字典中的字段的注釋的匹配結果的步驟；

讀取所述應用數據庫的表結構，建立所述應用數據庫的字段與所述應用數據庫的注釋的第一對應關系的步驟；

讀取所述業務數據字典，建立所述業務數據字典的字段與所述業務數據字典的注釋的第二對應關系的步驟；和

根據所述匹配結果將所述第一對應關系和所述第二對應關系關聯起來，得到所述應用數據庫-業務數據字典映射規則的步驟。

3.如權利要求1所述的數據收集方法，其特征在于：

所述業務數據庫-業務數據字典映射規則生成步驟包括：

對被提取出的所述業務數據庫中各個字段的注釋和所述業務數據字典中各個字段的注釋進行分詞的步驟；

基于已有的中英文近義詞字典對分詞后的注釋進行語義相似匹配計算，得到所述業務數據庫中的字段的注釋與所述業務數據字典中的字段的注釋的匹配結果的步驟；

讀取所述業務數據庫的表結構，建立所述業務數據庫的字段與所述業務數據庫的注釋的第三對應關系的步驟；

讀取所述業務數據字典，建立所述業務數據字典的字段與所述業務數據字典的注釋的第四對應關系的步驟；和

根據所述匹配結果將所述第三對應關系和所述第四對應關系關聯起來，得到所述業務數據庫-業務數據字典映射規則的步驟。

4.如權利要求1～3中任一項所述的數據收集方法，其特征在于：

事先存儲的所述業務數據字典以如下方式生成，包括：

從多個所述業務數據庫中導出數據庫表結構并提取各個字段和注釋的步驟；

對被提取出來的注釋進行分詞的步驟；和

基于已有的中英文近義詞字典對分詞后的注釋進行語義相似匹配計算，如果不存在一致的匹配結果，則保留所有的匹配結果，如果存在一致的匹配結果，則只保留一致的匹配結果中的一個，從而得到所述業務數據字典的步驟。