[發(fā)明專利]構(gòu)建3D模型特征向量和根據(jù)圖像特征搜索3D模型方法

有效

• 申請?zhí)枺?/td>: 201910734479.4
• 申請日: 2019-08-09
• 公開（公告）號: CN110458946B
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計）人: 李韜;夏宇翔
• 申請（專利權(quán)）人: 長沙眸瑞網(wǎng)絡(luò)科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06F16/583;G06F16/538;G06F16/54
• 代理公司: 長沙市和協(xié)專利代理事務(wù)所(普通合伙) 43115
• 代理人: 熊曉妹

本發(fā)明提供一種提取圖像特征搜索3D模型的方法，以解決用戶在數(shù)量龐大的3D模型資源庫中，通過圖像搜索的方式，快速找到相同或相似的3D模型資源問題。所述方法包括：對3D模型資源建立多角度的二維投影，對二維投影作圖像特征的向量提取并保存，當(dāng)接收到圖像搜索指令時，對待搜索圖像作特征提取，根據(jù)搜索圖像的特征和3D模型投影特征的匹配度，按照預(yù)設(shè)的準(zhǔn)確率和查全率，給出資源庫中的一個模型或多個相似的3D模型。本方法只需要用戶提供和模型特征相似的圖像，即可搜索到不同行業(yè)類別，不同復(fù)雜度的3D模型資源。其優(yōu)點是以圖像搜索3D模型，可以方便用戶不需要準(zhǔn)確描述3D模型特征，即可在海量的模型庫中，直觀快捷的找到模型資源。

技術(shù)領(lǐng)域

本發(fā)明涉及用于計算機(jī)的3D建模和模型特性的抽取，涉及應(yīng)用電子設(shè)備進(jìn)行識別的方法，尤指一種構(gòu)建3D模型特征向量和根據(jù)圖像特征搜索3D模型的方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，3D技術(shù)的不斷進(jìn)步，將會有越來越多的互聯(lián)網(wǎng)應(yīng)用以3D模型的方式呈現(xiàn)給用戶，包括網(wǎng)絡(luò)游戲、虛擬社區(qū)、電子商務(wù)、遠(yuǎn)程教育、家裝、工業(yè)設(shè)備、BIM建筑等等，各個行業(yè)的3D模型資源越來越多，而3D模型越來越復(fù)雜，如何快速的找到用戶想要的3D模型資源，就成為了一個需要迫切解決的問題。類似于輸入圖像搜索圖像的技術(shù)應(yīng)用，用戶也希望輸入圖像搜索3D模型資源。

特征提取是計算機(jī)視覺和圖像處理中的一個概念。它指的是使用計算機(jī)提取圖像信息，決定每個圖像的點是否屬于一個圖像特征。特征提取的結(jié)果是把圖像上的點分為不同的子集，這些子集往往屬于孤立的點、連續(xù)的曲線或者連續(xù)的區(qū)域。

深度學(xué)習(xí)(Deep Learning,DL)是機(jī)器學(xué)習(xí)的技術(shù)和研究領(lǐng)域之一，通過建立具有階層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，在計算系統(tǒng)中實現(xiàn)人工智能。

目前沒有相關(guān)的模型搜索項目先例，而在較為成熟的“以圖搜圖”領(lǐng)域，傳統(tǒng)搜索方法更多地注重圖像色彩，而忽視了圖像的紋理、形狀等特征。基于深度學(xué)習(xí)的圖像搜索技術(shù)，可以提取圖像的高級語義信息，兼顧了顏色、紋理等特征，目前成為研究的熱點。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的缺失和科技術(shù)發(fā)展的需求，本發(fā)明的目的在于提供一種構(gòu)建3D模型特征向量和根據(jù)圖像特征搜索3D模型的方法。

所述3D模型是一個虛擬的三維事物，關(guān)鍵特征有在一個三維坐標(biāo)空間下的顏色、形狀、角度、大小、尺寸、貼圖圖案、材質(zhì)、紋理，而三維空間的模型視覺特征是多個平面角度的二維圖像特征集合。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案之一是：提供一種構(gòu)建3D模型特征向量的方法，包括如下步驟：

S11.對3D模型文件做二維投影處理,通過選取不同三維角度觀察拍攝模型得到多張二維的投影圖；(投影圖的數(shù)量無限制，是綜合搜索準(zhǔn)確度和搜索時間得到一個合理值。理論上投影圖越多，搜索結(jié)果越準(zhǔn)確，但是當(dāng)投影圖數(shù)量過多時會造成檢索時間過長，影響到最終的結(jié)果展示體驗。)

S12.將得到的二維投影圖像作為Resnet50深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，提取Resnet50最后一層卷積特征，形成多維的歸一化向量，先將圖像進(jìn)行resize，特征提取過程采用Resnet50在imagenet數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重，網(wǎng)絡(luò)計算過程中的池化方法為maxpooling，投影的特征參數(shù)包含尺寸、紋理、形狀、輪廓、圖案、顏色，最終將所有單個3D模型的多個投影特征提取成向量，存儲在服務(wù)器的文件系統(tǒng)中；

S13.給每一個投影建立數(shù)據(jù)庫索引，同時將同一模型資源的索引之間的關(guān)聯(lián)關(guān)系保存在數(shù)據(jù)庫表中。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案之二是：根據(jù)圖像特征搜索3D模型的方法，其特征在于包括如下步驟：

S21.提供一個搜索入口，允許用戶上傳圖像和進(jìn)行搜索操作。

S22.將搜索請求上送的圖像作特征向量提取；