[發明專利]地理與視覺跨模態預訓練模型的訓練方法、位置確定方法

有效

• 申請號: 202210638232.4
• 申請日: 2022-06-07
• 公開（公告）號: CN114926655B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 黃際洲;劉希巖;夏德國;王海峰
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 北京易光知識產權代理有限公司 11596
• 代理人: 王姍姍;武晨燕

本公開提供了一種地理與視覺跨模態預訓練模型的訓練方法、位置確定方法，涉及人工智能技術領域，尤其涉及自然語言處理、計算機視覺等領域，具體實現方案為：基于地圖數據構建預訓練數據集，根據預訓練數據集和預訓練目標，對待訓練模型進行模型訓練，得到多視覺任務約束的第一預訓練模型。采用本公開，可以提高模型的精度。

相關申請的交叉引用

本公開主張2022年5月20日提交的中國專利申請號為202210557379.0的優先權，其全部內容通過引用包含于此。

技術領域

本公開涉及人工智能技術領域，尤其涉及自然語言處理、計算機視覺等領域。

背景技術

隨著技術的發展，可以通過人工智能改善硬件性能，所適用的應用場景多種多樣，比如涉及圖像處理、視頻處理、人臉識別、目標定位等與計算機視覺相關的應用場景的硬件設計中，都可以采用人工智能技術，即：將訓練好的模型部署于硬件中，以提高硬件的處理速度及處理準確率。圖像處理的精度為影響計算機視覺效果的關鍵一環，如何提高圖像處理精度是要解決的問題。

發明內容

本公開提供了一種地理與視覺跨模態預訓練模型的訓練方法、位置確定方法、裝置、電子設備以及存儲介質。

根據本公開的一方面，提供了一種地理與視覺跨模態預訓練模型的訓練方法，包括：

基于地圖數據構建預訓練數據集；

根據預訓練數據集和預訓練目標，對待訓練模型進行模型訓練，得到多視覺任務約束的第一預訓練模型。

根據本公開的另一方面，提供了一種位置確定方法，包括：

從獲取的眾包數據中提取第一圖像信息及與第一圖像信息對應的第一地理位置信息；

將第一圖像信息及第一地理位置信息輸入多視覺任務約束的第一預訓練模型，輸出目標特征；

根據目標特征，對所述多視覺任務中的任一個視覺任務進行圖像處理，得到圖像對應的地理位置信息。

根據本公開的另一方面，提供了一種地理與視覺跨模態預訓練模型的訓練裝置，包括：

構建模塊，用于基于地圖數據構建預訓練數據集；

訓練模塊，用于根據預訓練數據集和預訓練目標，對待訓練模型進行模型訓練，得到多視覺任務約束的第一預訓練模型。

根據本公開的另一方面，提供了一種位置確定裝置，包括：

提取模塊，用于從獲取的眾包數據中提取第一圖像信息及與第一圖像信息對應的第一地理位置信息；

輸入模塊，用于將第一圖像信息及第一地理位置信息輸入多視覺任務約束的第一預訓練模型，輸出目標特征；

第一處理模塊，用于根據目標特征，對多視覺任務中的任一個視覺任務進行圖像處理，得到圖像對應的地理位置信息。

根據本公開的另一方面，提供了一種電子設備，包括：

至少一個處理器；以及

與該至少一個處理器通信連接的存儲器；其中，

該存儲器存儲有可被該至少一個處理器執行的指令，該指令被該至少一個處理器執行，以使該至少一個處理器能夠執行本公開任意一實施例所提供的方法。

根據本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，該計算機指令用于使該計算機執行本公開任意一項實施例所提供的方法。