[發明專利]面向智慧校園的網頁表數據與關系型數據庫數據集成方法

有效

• 申請號: 202110350187.8
• 申請日: 2021-03-31
• 公開（公告）號: CN113139143B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 金峻帆;陳軍相;袁俊峰;張紀林;劉濤;錢瑞祥;劉峰;周麗;張俊聰
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F16/957
• 分類號: G06F16/957;G06F16/215;G06F16/22;G06F16/25;G06F16/28;G06F16/955
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱亞冠

1.面向智慧校園的網頁表數據與關系型數據庫數據集成方法，其特征在于該方法包括結構化數據屬性提取、網頁表數據屬性提取、數據集成；

所述的結構化數據屬性提取過程包括以下步驟：

步驟1-1：將智慧校園各關系型數據庫A中所有結構化數據表抽取出來，并經過數據清洗；同時存儲到數據庫B；

A＝{A₁，A₂，......，A_n}，其中A_n表示第n個關系型數據庫，n為關系型數據庫數量；

步驟1-2：按照屬性匹配策略在步驟(1-1)數據清洗后各數據表尋找相關聯屬性，若存在m個相關聯屬性(m≥1)，則根據相關聯屬性將步驟(1-1)數據清洗后各數據表數據集成為特征表1；若不存在相關聯屬性，則將步驟(1-1)數據清洗后各數據表作為特征表1；

所述的網頁表數據屬性提取過程包括以下步驟：

步驟2-1：從多網站的前端頁面源碼中獲取離散網頁表數據，將其轉化為XML格式的數據；

步驟2-2：將步驟(2-1)處理后網頁表數據通過混合標簽匹配算法計算各網頁表的標簽映射關系相似度；選取相似度大于閾值的標簽映射關系，然后對其進行優化；利用優化后的標簽映射關系將離散網頁表縫合為一張較大網頁表；

步驟2-3：分析縫合好的網頁表數據結構，將其轉化為對應的結構化數據表2并存儲至數據庫B；

所述數據集成過程是通過屬性匹配策略將結構化數據表2與特征表1數據集成為屬性更豐富的特征表3；

所述的屬性匹配策略是采用多項分類器尋找相關聯屬性；多項分類器包括基于結構分類器與基于內容分類器，基于結構分類器包括基于屬性名稱分類器、基于詞干名稱分類器與基于數據類型名稱分類器；

假設有兩個數據表X＝X₁,X₂,…,X_i,…、Y＝Y₁,Y₂,…,Y_j,…；其中X_i與Y_j表示X表的第i列屬性與Y表第j列屬性，X_i＝{X_i(1),X_i(2),......,X_i(v₁)}表示X_i有v₁個屬性值，并且X_i(v₁)為第v₁個屬性值；通過表示K分類器針對X_i與Y_j的預測結果，其中K分類器的權重用ω_K表示，S_ij表示X_i與Y_j的屬性相似度；

其中ω_N表示N分類器的權重，ω_S表示S分類器的權重，ω_T表示T分類器的權重，ω_B表示B分類器的權重；

若多項分類器的相似度S_ij小于閾值s則認為這兩列屬性沒有關聯關系，應該舍棄；反之則這兩列屬性為關聯屬性；

所述的基于屬性名稱分類器N，判斷X_i與Y_j的屬性名是否一致：

所述的基于詞干名稱分類器S，使用信息檢索和自然語言處理中的詞干處理技術將單詞轉換成詞干，判斷X_i與Y_j是否有相同的詞干：

所述的基于數據類型名稱分類器T，比較X_i與Y_j的屬性類型是否一致：

其中表示X_i屬性的數據類型；

所述的基于內容分類器B，比較X_i與Y_j各自屬性的屬性值是否一致：

其中Y_j＝{Y_j(1),Y_j(2),......Y_j(v₂)}表示Y_j有v₂個屬性值，并且Y_j(v)為第v個屬性值，1≤v≤v₂；w為v屬性值中的單個詞；P(w|X_i)表示將X_i映射到w的概率；P(X_i)表示隨機選取X_i屬性的概率。