[發明專利]一種基于關鍵點熱圖修正的房間布局估計獲取方法與系統

有效

• 申請號: 202110200205.4
• 申請日: 2021-02-23
• 公開（公告）號: CN112837336B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 文世挺;王傲鵬;高云君;龐超逸
• 申請（專利權）人: 浙大寧波理工學院
• 主分類號: G06T7/181
• 分類號: G06T7/181;G06T7/187;G06N3/04;G06N3/08
• 代理公司: 寧波市鄞州盛飛專利代理事務所(特殊普通合伙) 33243
• 代理人: 龍洋

本發明公開了一種基于關鍵點熱圖修正的房間布局估計獲取方法與系統，涉及關鍵點熱圖修正領域，其通過對數據集中的圖片進行翻轉、關鍵點重排序后訓練神經網絡模型，通過神經網絡模型獲取待識別圖像的關鍵點熱圖以及房間類型，根據房間類型的關鍵點與關鍵點熱圖的關鍵點的對應關系獲取關鍵點熱圖的邊界關鍵點，獲取邊界關鍵點的圖像坐標并根據圖像坐標修正邊界關鍵點至關鍵點熱圖的圖像邊界線上，最后根據房間類型獲取修正后的關鍵點熱圖的連接關系，并根據連接關系獲取房間布局估計，該方法通過關鍵點重排序以及修正邊界關鍵點的操作，解決了關鍵點重疊以及像素誤差導致的關鍵點連通區域數量錯誤問題，很大程度上提升了數據集以及模型的精準性。

技術領域

本發明涉及關鍵點熱圖修正領域，尤其涉及一種基于關鍵點熱圖修正的房間布局估計獲取方法與系統。

背景技術

目前，通過神經網絡獲取的關鍵點熱圖，其邊界關鍵點通常會由于網絡的預測誤差以及坐標放縮的誤差導致經常把本應存在于圖片邊界的關鍵點預測在距離邊界幾十個像素的位置，如果不進行關鍵點修正則會導致在根據房間類型獲取關鍵點熱圖的連接關系時得到錯誤的連通區域數量，對模型的最終表現有很大的影響。其次，在訓練神經網絡時使用的數據集，目前基本上是對數據集清洗后諸如篩選出關鍵點順序錯誤的圖片后就進行使用，對翻轉了的數據集圖片均未進行處理，這些操作均可導致數據集圖片數據不精準，使用這種數據集進行訓練，對模型的最終表現有很大的影響，如果對數據集的數據進行調整，將會有效提升訓練模型的精度。

發明內容

為了克服上述現有技術的缺點，本發明的目的在于提供一種基于關鍵點熱圖修正的房間布局估計獲取方法，包括步驟：

S1：接收待識別圖像，通過神經網絡模型獲取待識別圖像的關鍵點熱圖以及房間類型；所述房間類型由若干個有序關鍵點組成，并含有若干個邊界關鍵點，各關鍵點之間有序連接；

S2：根據房間類型的關鍵點與關鍵點熱圖的關鍵點的對應關系獲取關鍵點熱圖的邊界關鍵點；

S3：獲取邊界關鍵點的圖像坐標并根據圖像坐標修正邊界關鍵點至關鍵點熱圖的圖像邊界線上；

S4：根據房間類型獲取修正后的關鍵點熱圖的連接關系，并根據連接關系獲取房間布局估計。

進一步地，所述步驟S1前還包括神經網絡模型的訓練，具體包括步驟：

S01：獲取數據集，所述數據集中包括多類預設房間類型的關鍵點標號圖，通過翻轉標號圖并對翻轉后的標號圖重排序獲取擴充后的數據集；

S02：根據擴充后的數據集訓練神經網絡模型。

進一步地，所述步驟S01中重排序的方法為：以翻轉前標號圖的標號順序為排序標準，使翻轉后的標號順序與翻轉前標號圖的順序一致。

進一步地，所述步驟S3中的修正方法包括步驟：

S31：根據各邊界關鍵點的坐標獲取各邊界關鍵點與關鍵點熱圖邊界線的垂直距離；

S32：獲取垂直距離最小的關鍵點熱圖邊界線并作為修正邊界線；

S33：以修正邊界線的垂直方向為目標方向移動邊界關鍵點至修正邊界線上。

本發明還提出了一種基于關鍵點熱圖修正的房間布局估計獲取系統，包括：

神經網絡模塊，接收待識別圖像，通過神經網絡模型獲取待識別圖像的關鍵點熱圖以及房間類型；所述房間類型由若干個有序關鍵點組成，并含有若干個邊界關鍵點，各關鍵點之間有序連接；

邊界關鍵點模塊，根據房間類型的關鍵點與關鍵點熱圖的關鍵點的對應關系獲取關鍵點熱圖的邊界關鍵點；

關鍵點熱圖修正模塊，獲取邊界關鍵點的圖像坐標并根據圖像坐標修正邊界關鍵點至關鍵點熱圖的圖像邊界線上；