[發明專利]一種以圖快速檢索景點的方法及導游系統

有效

• 申請號: 201611066278.4
• 申請日: 2016-11-28
• 公開（公告）號: CN106776849B
• 公開（公告）日: 2020-01-10
• 發明（設計）人: 錢學明;周澎
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/54;G06K9/46;G06K9/62
• 代理公司: 61200 西安通大專利代理有限責任公司
• 代理人: 劉強

1.一種以圖快速檢索景點的方法，其特征在于，包括以下步驟：

1)建立景點圖像數據集；

2)圖像庫預處理：

計算數據集圖像的平均亮度，分別去除亮度最高的1-3％的圖片以及亮度最低的1-3％的圖片；

去除不包含明確目標的圖像；

3)圖像視覺特征提取

對步驟2)處理后的景點圖像數據集中每張圖片采用SIFT特征描述子進行描述；所述SIFT特征是基于物體上的局部外觀的興趣點，與影像的大小和旋轉無關；

4)生成主題相冊

對步驟3)處理后的景點圖像數據集進行POI的提取：通過圖像庫中的圖像所帶有的GPS信息，先按照地理位置對圖像進行一次粗聚類，將粗聚類結果作為生成景點信息的第一步結果；同時在粗聚類結果中去除GPS信息錯誤的圖像，得到計算粗聚類結果圖像；

使用計算粗聚類結果圖像的視覺相似度，找出在此粗聚類中出現頻率最高的若干個視覺詞匯，若此粗聚類中某張圖片不包含這若干個視覺詞匯或者僅包含一個，則將此圖片從此粗聚類中去除；若此粗聚類中去除了超過一定比例的圖片，則計算被去除的圖片的視覺相似度，根據視覺相似度生成新的類，最后將所有被剔除并且沒有分入新類的圖片與所有景點再次進行相似度比對，小于閾值的則歸入景點類，最終仍未歸類的圖片剔除出數據集，不再參與景點信息的生成；處理后得到主題相冊；

5)添加文本信息，確定地理位置信息

將步驟4)得到的主題相冊進行地理位置的確定：

采用先對主題相冊的圖片位置進行K-means聚類，得到景點可能的潛在位置，得到潛在位置后，先假設包含圖片最多的位置為景點位置，若此位置位于其他位置所圍成的多邊形的內部時，則認定此位置即為景點的位置；若此位置在多邊形外側，但此位置所包含的的圖片數遠多于其他位置時，也認定此位置為景點位置；若各個位置的圖片數量均衡，則取這些位置的中心作為景點位置；

位置信息確定后，各個主題相冊即升級成為POI，通過對這些POI添加標題，文字描述，歷史信息的文本描述，最終生成檢索用的景點信息，至此建立了用于檢索的景點信息數據庫；

6)相似度貢獻檢索結構的建立

采用分級K-means聚類的方法來對景點信息數據庫的特征進行量化，生成視覺詞匯，根據視覺詞匯與景點的對應關系建立相似度貢獻快速索引結構；

7)檢索

對用戶提供的查詢圖提取視覺特征，并采用分級量化將視覺特征量化至相應的視覺詞匯，根據相似度貢獻快速索引結構獲得最終的檢索結果。

2.根據權利要求1所述的以圖快速檢索景點的方法，其特征在于，步驟5)中，采用m層，每層分k類的樹形結構進行分級K-means聚類。

3.根據權利要求2所述的以圖快速檢索景點的方法，其特征在于，所述m為5，k為10。

4.一種基于權利要求3以圖快速檢索景點的方法的導游系統，其特征在于，包括客戶端和服務端：

所述客戶端協助用戶拍攝景點照片，并對圖片進行預處理，壓縮，提取圖像特征操作；對提取出的視覺特征進行篩選，壓縮操作，后將經過預處理的圖像特征信息發送至服務端；

所述服務端為一個常駐的檢索程序，檢索程序啟動時將所有景點信息以及景點與圖像集中圖像的映射關系預先加載至緩存中，后掛起等待用戶輸入；當用戶輸入進入后即激活程序，進行檢索算法，完成后將檢索結果返回客戶端。

5.根據權利要求4所述的導游系統，其特征在于，所述客戶端安裝在具有相機、顯示屏以及網絡傳輸功能的移動設備上，用于用戶在游覽景點時拍攝具體的景點圖像并進行預處理，將所需信息上傳至服務器用于檢索。

6.根據權利要求4所述的導游系統，其特征在于，所述服務器端采用多線程架構，服務器端的檢索流程如下：

1)獲取用戶輸入

用戶輸入有兩種情況，當用戶網絡條件較好時，客戶端上傳壓縮后的圖像文件，服務器端程序提取圖片的SIFT特征；當用戶網絡條件較差時，客戶端會先行提取圖像的SIFT特征并進行傳輸；當服務器端檢索程序獲取到SIFT特征后進行存儲，為下一步操作做準備；

2)量化圖片并計算相似度

采用之前生成的相似度貢獻快速索引結構計算查詢圖與數據中圖片相似度，由于離線系統已經進行了分級聚類量化操作，并記錄了每一層各個節點的信息，因此對圖片進行快速量化；同時，相似度貢獻索引在圖片量化的同時進行圖片的相似度計算工作，將相似度計算的時間復雜度從O(n²)降低至O(n)；

3)對景點進行打分并排序

當獲取到查詢圖對數據集中所有圖片的相似度后，通過圖片與景點的映射關系獲取查詢圖拍攝的是哪個景點的可能性得分，打分公式如下：

其中ss_i為第i個景點相對于查詢圖的得分，p_i為TopN結果中屬于第i個景點的圖片數，q為視覺詞匯數，a_k為第j張圖片中量化至第k個視覺詞匯的特征個數，s_kj為第k個視覺詞匯對第j張圖片的相似度貢獻。