[發明專利]基于移動視覺搜索的戶外植物知識拓展學習系統

有效

• 申請號: 201710566093.8
• 申請日: 2017-07-12
• 公開（公告）號: CN107392238B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 趙剛
• 申請（專利權）人: 華中師范大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06F16/583;G06F16/245
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

1.一種基于移動視覺搜索的戶外植物知識拓展學習系統，其特征在于：包括移動終端和服務器端，

所述移動終端包括移動終端圖像獲取模塊和知識資源加載模塊，

移動終端圖像獲取模塊，用于將通過移動終端拍攝的植物圖像作為待查詢的植物圖像，對待查詢的植物圖像進行預處理和提取特征，上傳到服務器端；所述對待查詢的植物圖像進行預處理，包括進行灰度化和二值化，實現增強植物圖像的純凈度，縮小特征提取的計算量；所述提取特征，包括采用SIFT算法提取特征；

知識資源加載模塊，用于接收服務器端返回的結果，加載該植物圖像的知識資源以及相關的拓展學習資源；

所述服務器端包括戶外植物知識內容管理數據庫模塊、戶外植物特征提取與匹配模塊，和戶外植物知識內容適配決策與處理模塊，

戶外植物知識內容管理數據庫模塊，用于提供植物圖像庫、植物特征描述庫和知識資源庫，植物圖像庫用于存儲植物圖像，植物特征描述庫用于存儲對植物圖像庫中各植物圖像提取特征并進行降維所得相應索引，知識資源庫用于存儲植物圖像庫中各植物圖像相應的知識資源；所述對植物圖像庫中各植物圖像提取特征并進行降維，實現方式包括以下步驟，

1)首先，對圖像用SIFT方法做特征點的檢測和提取，完成之后得到該圖像的特征描述符；

2)然后對圖像提取到的特征點用改進后的K-means算法做一個聚類，生成初始化類心，實現如下，

步驟一，提取圖像的特征，得到圖像特征點之后，采用ISODATA算法，通過類的自動合并和分裂，得到類型數目簇K；

步驟二，采用K-means++算法，為每個簇初始化選擇一個類心；

步驟三，將圖像生成的所有特征點與初始化設定的類心進行距離度量，按照距離的大小，將與類心之間距離較小的特征點放入該類心所在的簇中；

步驟四，將劃分好的簇再重新計算一次類心；

步驟五，對初步得到的聚類結果采用均方差方法做評估，若這個結果波動較小己經趨向穩定狀態就停止聚類，將所得結果輸出；若是得到的結果波動較大則繼續步驟三，重新進行聚類，直到所得結果趨向穩定為止；

3)生成每幅圖像的BOW，包括將初始化的類心與圖像的所有特征點進行度量，計算出特征點與哪個初始類心的距離最小，最小的話就放入相應初始類心，全部特征點判斷完之后生成沒有權重的頻數表；

4)對3)所得沒有權重的頻數表，用TF-IDF加權法賦予權重，得到這個圖像的最終BOW索引；

戶外植物特征提取與匹配模塊，用于待查詢的植物圖像與植物圖像庫所存儲的植物圖像進行匹配，包括對待查詢的植物圖像的特征進行降維得到索引，在植物特征描述庫中進行檢索，包括基于圖像的索引進行相似度計算，實現比較圖像的特征相似程度，完成圖像之間的匹配；

所述戶外植物知識內容適配決策與處理模塊，用于根據匹配結果從知識資源庫調用植物的知識資源，采取相應的適配處理并發送給移動終端。

2.根據權利要求1所述基于移動視覺搜索的戶外植物知識拓展學習系統，其特征在于：基于圖像的索引進行相似度計算，包括采用歐氏距離計量索引之間的距離。

3.根據權利要求1或2所述基于移動視覺搜索的戶外植物知識拓展學習系統，其特征在于：所述知識資源包括植物相關的文本、圖像、音頻、視頻和網頁鏈接。

4.根據權利要求1或2所述基于移動視覺搜索的戶外植物知識拓展學習系統，其特征在于：移動終端與服務器端之間發送和接收數據采用的是HTTP協議，移動終端向服務器端發送數據時是以MultiplePartEntity格式通過HTTP POST請求的，服務器將所收到的信息進行分析處理后封裝成JSON格式，再通過HTTP協議返回到移動終端；移動終端接收服務器端返回的信息是通過HTTP GET以JSON格式接收的，并且在接收信息后將接收的JSON格式的信息做解析后顯示到用戶界面上。

5.根據權利要求1或2所述基于移動視覺搜索的戶外植物知識拓展學習系統，其特征在于：為植物圖像庫所存儲的植物圖像預設id號，該id號與圖像生成的特征值及由特征值建立的索引是一一對應的關系，且和知識資源庫中相應的知識資源信息也建立關聯；在植物特征描述庫中基于索引檢索成功后，根據匹配所得圖像的id號將相關聯的知識資源信息返回給移動端。