[發(fā)明專利]相似表的識別方法及裝置

在審

• 申請?zhí)枺?/td>: 201811446237.7
• 申請日: 2018-11-29
• 公開（公告）號: CN109325035A
• 公開（公告）日: 2019-02-12
• 發(fā)明（設(shè)計）人: 陳志遠
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/30
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許振新;朱文杰

1.一種相似表的識別方法，所述方法包括：

獲取數(shù)據(jù)倉庫中多個待識別表所對應的表信息；其中，所述表信息包括所述待識別表中字段名稱；

分別將每個所述待識別表所對應的表信息轉(zhuǎn)換為對應的一個文本，以得到多個文本；

確定所述多個文本之間的相似度值；

基于所述相似度值識別所述數(shù)據(jù)倉庫中相似的表。

2.如權(quán)利要求1所述的方法，所述表信息包括還包括以下信息中的一種或者多種：

所述待識別表所對應的抽取-交互轉(zhuǎn)換-加載ETL數(shù)據(jù)、所述待識別表的名稱、所述待識別表的表注釋、所述待識別表的字段注釋、所述待識別表所對應的開發(fā)人員信息以及所述待識別表所對應的訪問信息。

3.如權(quán)利要求1或2所述的方法，所述分別將每個所述待識別表所對應的表信息轉(zhuǎn)換為對應的一個文本，包括：

針對每個所述待識別表，將所述待識別表所對應的表信息中的各條信息進行拼接，得到所述待識別表所對應的文本。

4.如權(quán)利要求1或2所述的方法，所述確定所述多個文本之間的相似度值，包括：

針對每個所述文本，分別計算所述文本中的各個字詞在文本庫中的詞頻-逆文檔頻率TF-IDF值；其中，所述文本庫為所有所述文本所組成的文本集合；

基于每個所述文本中各字詞所對應的TF-IDF值，計算所述多個文本之間的相似度值。

5.如權(quán)利要求4所述的方法，所述基于每個所述文本中各字詞所對應的TF-IDF值，計算所述多個文本之間的相似度值，包括：

針對每個所述文本，基于所述文本中各個字詞所對應的TF-IDF值，確定所述文本所對應的向量；

計算每個文本所對應的向量之間的相似度值，作為所述文本之間的相似度值。

6.如權(quán)利要求1所述的方法，所述基于所述相似度值識別所述數(shù)據(jù)倉庫中相似的表，包括：

篩選出所述相似度值大于或等于預設(shè)閾值的文本；

根據(jù)篩選出的所述文本識別所述數(shù)據(jù)倉庫中相似的表。

7.一種相似表的識別裝置，所述裝置包括：

獲取模塊，用于獲取數(shù)據(jù)倉庫中多個待識別表所對應的表信息；其中，所述表信息包括所述待識別表中字段名稱；

轉(zhuǎn)換模塊，用于分別將每個所述待識別表所對應的表信息轉(zhuǎn)換為對應的一個文本，以得到多個文本；

確定模塊，用于確定所述多個文本之間的相似度值；

識別模塊，用于基于所述相似度值識別所述數(shù)據(jù)倉庫中相似的表。

8.如權(quán)利要求7所述的裝置，所述表信息包括還包括以下信息中的一種或者多種：

所述待識別表所對應的抽取-交互轉(zhuǎn)換-加載ETL數(shù)據(jù)、所述待識別表的名稱、所述待識別表的表注釋、所述待識別表的字段注釋、所述待識別表所對應的開發(fā)人員信息以及所述待識別表所對應的訪問信息。

9.如權(quán)利要求7或8所述的裝置，所述轉(zhuǎn)換模塊，包括：

拼接單元，用于針對每個所述待識別表，將所述待識別表所對應的表信息中的各條信息進行拼接，得到所述待識別表所對應的文本。

10.如權(quán)利要求7或8所述的裝置，所述確定模塊，包括：

第一計算單元，用于針對每個所述文本，分別計算所述文本中的各個字詞在文本庫中的詞頻-逆文檔頻率TF-IDF值；其中，所述文本庫為所有所述文本所組成的文本集合；

第二計算單元，用于基于每個所述文本中各字詞所對應的TF-IDF值，計算所述多個文本之間的相似度值。

11.如權(quán)利要求10所述的裝置，所述第一計算單元，具體用于：

針對每個所述文本，基于所述文本中各個字詞所對應的TF-IDF值，確定所述文本所對應的向量；計算每個文本所對應的向量之間的相似度值，作為所述文本之間的相似度值。