[發(fā)明專利]確定可移動的設(shè)備的位置

在審

• 申請?zhí)枺?/td>: 201880020542.1
• 申請日: 2018-01-17
• 公開（公告）號: CN110785777A
• 公開（公告）日: 2020-02-11
• 發(fā)明（設(shè)計）人: 王森;羅納德·克拉克;尼基·特里戈尼
• 申請（專利權(quán)）人: 牛津大學創(chuàng)新有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06T7/20;G06T7/70
• 代理公司: 44224 廣州華進聯(lián)合專利商標代理有限公司
• 代理人: 何沖;黃隸凡

一種確定包括攝像頭的可移動的設(shè)備的位置的計算機執(zhí)行的方法。該方法包括以下步驟：使用攝像頭捕獲一段時間內(nèi)的圖像序列；對于來自圖像序列的連續(xù)圖像對，使用第一神經(jīng)網(wǎng)絡(luò)確定表明設(shè)備的運動的特征，該設(shè)備的運動在捕獲該圖像對的第一圖像的時間與捕獲該圖像對的第二圖像的時間之間；對于連續(xù)圖像序列，使用第二神經(jīng)網(wǎng)絡(luò)從由第一神經(jīng)網(wǎng)絡(luò)確定的特征確定表明設(shè)備的位置的特征；以及對于連續(xù)圖像序列，從由第二神經(jīng)網(wǎng)絡(luò)確定的特征確定設(shè)備的位置。

技術(shù)領(lǐng)域

本發(fā)明涉及確定可移動的設(shè)備的位置。更具體地但非排他地，本發(fā)明涉及使用神經(jīng)網(wǎng)絡(luò)從由可移動的設(shè)備的攝像頭捕獲的圖像確定可移動的設(shè)備的位置。

本發(fā)明特別地但非排他地適用于可移動的設(shè)備是自主機器人的情況。然而，本發(fā)明還適用于其他類型的可移動的設(shè)備和可穿戴的設(shè)備，例如移動電話、智能手表等。

這里討論的“位置”可以指絕對位置，例如可移動的設(shè)備位于由緯度和經(jīng)度定義的地球上的位置，并且還可以指相對于另一位置的相對位置(例如，可移動的設(shè)備距離初始起始位置的距離和方向)。位置的確定還經(jīng)常包括方向的確定，例如相對于地球磁場的絕對值，以及相對于初始方向一定量的旋轉(zhuǎn)的相對值。

背景技術(shù)

期望能夠在GPS信號不可用的情況下確定可移動的設(shè)備的位置。這對于自主機器人來說尤其如此，以允許精確的導航。已知的方法是使用來自攝像頭的圖像以便確定位置。然而，如果要可靠地確定位置，則這種系統(tǒng)往往需要非常精確的攝像頭的校準。傳統(tǒng)的視覺測程技術(shù)包括稀疏方法(包括若干步驟，該幾個步驟包括特征的檢測和匹配、運動估計和優(yōu)化)，以及直接方法(包括運動估計和優(yōu)化的步驟)。這種技術(shù)傾向于需要精確的攝像頭校準，并且通常在紋理不良的環(huán)境中(即，具有很少特征的地方)或者當正在捕獲圖像的攝像頭快速旋轉(zhuǎn)時失敗。另外，雖然這種系統(tǒng)通常能夠確定行進的路徑的形狀，但是它們通常不能估計尺度，即行進的實際距離。

替代性地，已知使用神經(jīng)網(wǎng)絡(luò)來處理來自攝像頭的圖像以便確定位置。Mohanty等人的“DeepVO：A Deep Learning approach for Monocular Visual Odometry(用于單目視覺測程的深度學習方法)”(2016年11月18日發(fā)布于預印本網(wǎng)站(arXiv：1611.06069))公開了這樣的系統(tǒng)。然而，使用神經(jīng)網(wǎng)絡(luò)的已知系統(tǒng)存在各種問題。它們往往需要針對將要使用它們的特定環(huán)境進行訓練，因此無法在沒有首先進行適當?shù)挠柧毜男颅h(huán)境中使用。

本發(fā)明尋求緩解上述問題。可選擇地和/或附加地，本發(fā)明尋求提供確定可移動的設(shè)備的位置的改進方法。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的第一方面，提供了一種確定包括攝像頭的可移動的設(shè)備的位置的計算機執(zhí)行的方法，該方法包括以下步驟：

使用攝像頭捕獲一段時間內(nèi)的圖像序列；

對于來自圖像序列的連續(xù)圖像對，使用第一神經(jīng)網(wǎng)絡(luò)確定表明設(shè)備的運動的特征，該設(shè)備的運動在捕獲該圖像對的第一圖像的時間與捕獲該圖像對的第二圖像的時間之間；

對于連續(xù)圖像序列，使用第二神經(jīng)網(wǎng)絡(luò)從由第一神經(jīng)網(wǎng)絡(luò)確定的特征確定表明設(shè)備的位置的特征；以及

對于連續(xù)圖像序列，從由第二神經(jīng)網(wǎng)絡(luò)確定的特征確定設(shè)備的位置。