[發明專利]結合深度卷積網絡和注意力機制的地址匹配方法以及裝置

有效

• 申請號: 202210643386.2
• 申請日: 2022-06-08
• 公開（公告）號: CN114911909B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 陳逸舟;張丹;熊曉菁
• 申請（專利權）人: 北京青萌數海科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京智沃律師事務所 11620
• 代理人: 梁晨

1.一種結合深度卷積網絡和注意力機制的地址匹配方法，其特征在于，包括：

輸入待匹配的第一地址文本和第二地址文本；

訓練地址語義提取模型；

通過所述地址語義提取模型，將所述第一地址文本逐字轉化為第一文本向量，將所述第二地址文本逐字轉化為第二文本向量；

訓練結合注意力機制的深度卷積神經網絡模型，其中，所述深度卷積神經網絡模型包括輸入層、卷積層、池化層和輸出層；

將所述第一文本向量和所述第二文本向量輸入至所述輸入層，在所述輸入層中引入注意力機制，獲取所述第一文本向量和所述第二文本向量之間的交互關系特征矩陣，對所述第一文本向量和第一關系特征矩陣、所述第二文本向量和第二關系特征矩陣進行疊加，進入所述卷積層；

在所述卷積層中定義卷積核，對所述第一文本向量和所述第二文本向量沿文本方向進行卷積，在文本兩側分別使用0做填充處理，進入所述池化層；

在所述池化層中引入注意力機制，對卷積后的向量進行池化處理，輸出第一輸出向量和第二輸出向量，進入所述輸出層；

在所述輸出層中，建立邏輯回歸模型，判斷所述第一輸出向量和所述第二輸出向量是否匹配，輸出所述第一地址文本和所述第二地址文本是否匹配的結果。

2.根據權利要求1所述的地址匹配方法，其特征在于，所述訓練地址語義提取模型，具體包括：

收集地址文本語料庫；

利用所述地址文本語料庫，對BERT預訓練模型進行微調訓練，得到所述地址語義提取模型。

3.根據權利要求2所述的地址匹配方法，其特征在于，所述對BERT預訓練模型進行微調訓練，具體為：

利用逐層解凍策略、逐層衰減學習率策略和傾斜三角學習率策略對所述BERT預訓練模型進行微調訓練；

其中，逐層解凍策略具體是指在微調訓練過程中，首先解凍模型的最后一層，即只有最后一層的網絡參數進行更新訓練，其它層參數凍結不變，進行第一個訓練周期；之后增加解凍下一層網絡參數，此時最后一層仍然保持解凍狀態，進行第二個訓練周期，更新所有已解凍層的參數；以此類推直到完成指定的訓練周期數、或者其他停止條件；

逐層衰減學習率策略具體是指在微調訓練過程中，不同的層級應用不同的學習率，較高層采用較大的學習率，并設置學習率逐層衰減系數，自上而下逐層降低學習率；

傾斜三角學習率策略具體是指在微調訓練過程中，設置初始學習率、學習率上升周期、最大學習率、學習率衰減周期和最小學習率，從而隨著模型迭代次數增加，學習率在短時間內增加，然后逐漸降低。

4.根據權利要求1所述的地址匹配方法，其特征在于，所述訓練結合注意力機制的深度卷積神經網絡模型，具體包括：

搭建結合注意力機制的所述深度卷積神經網絡模型；

構建地址匹配樣本庫，所述地址匹配樣本庫包括多個地址匹配樣本，每個所述地址匹配樣本包括兩條地址文本和所述兩條地址文本是否指向同一地點的標記；

利用所述地址匹配樣本庫對所述深度卷積神經網絡模型進行訓練。

5.根據權利要求1所述的地址匹配方法，其特征在于，所述在所述輸入層中引入注意力機制，獲取所述第一文本向量和所述第二文本向量之間的交互關系特征矩陣，包括：

定義輸入注意力矩陣，其中，所述輸入注意力矩陣用于表示所述第一地址文本中的各個文字與所述第二地址文本中的各個文字之間的相似程度；

定義權重矩陣；

根據所述輸入注意力矩陣和所述權重矩陣得到所述交互關系特征矩陣。

6.根據權利要求1所述的地址匹配方法，其特征在于，所述對卷積后的向量進行池化處理，包括：

定義與所述卷積后的向量相關的池化注意力矩陣；

根據所述池化注意力矩陣得到權重特征；

根據所述權重特征對所述卷積后的向量對進行池化計算。