[發(fā)明專利]基于語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)的跨模信息檢索方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201010252935.0
• 申請(qǐng)日: 2010-08-13
• 公開(kāi)（公告）號(hào): CN101894170A
• 公開(kāi)（公告）日: 2010-11-24
• 發(fā)明（設(shè)計(jì)）人: 曾承
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 張火春

1.一種基于語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)的跨模信息檢索方法，其特征在于，包括以下步驟：

通過(guò)網(wǎng)頁(yè)視覺(jué)空間分析、多媒體搜索引擎標(biāo)注關(guān)系分析、DeepWeb接口模式分析、復(fù)合媒體中不同模態(tài)數(shù)據(jù)的關(guān)聯(lián)分析、用戶直接或潛在反饋信息的利用，以及關(guān)聯(lián)推理等六個(gè)渠道獲取跨模信息單元的語(yǔ)義關(guān)聯(lián)知識(shí)；

基于以上不同渠道獲取的關(guān)聯(lián)知識(shí)，進(jìn)行加權(quán)整合，構(gòu)建統(tǒng)一的跨模語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)；

針對(duì)跨模語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)，基于關(guān)聯(lián)知識(shí)實(shí)施分層模糊聚類；

在每個(gè)類中，針對(duì)所有信息單元的特征向量進(jìn)行二次聚類，選出典型特征向量，作為該類的代表；

對(duì)系統(tǒng)中所有信息單元對(duì)應(yīng)的特征向量，建立散列索引；

在每個(gè)信息單元，對(duì)應(yīng)特征向量、聚類的典型特征向量、聚類序號(hào)之間建立映射關(guān)系。

2.根據(jù)權(quán)利要求1所述的基于語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)的跨模信息檢索方法，其特征在于，所述網(wǎng)頁(yè)視覺(jué)空間分析包括以下步驟：

將頁(yè)面劃分成不同粒度、具有視覺(jué)層次包含關(guān)系的若干塊；

將以上分析出的塊轉(zhuǎn)換成視覺(jué)關(guān)系樹(shù)；

利用視覺(jué)關(guān)系樹(shù)計(jì)算各種模態(tài)信息單元之間的語(yǔ)義關(guān)聯(lián)。

3.?根據(jù)權(quán)利要求1所述的基于語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)的跨模信息檢索方法，其特征在于，所述多媒體搜索引擎標(biāo)注關(guān)系分析包括以下步驟：

針對(duì)某個(gè)多媒體搜索引擎，采用以下公式計(jì)算搜索關(guān)鍵字(或關(guān)鍵字集合)和第v條結(jié)果的標(biāo)注概念集合的語(yǔ)義相似性：?????

其中，??

上式中K_u、T_v分別表示搜索概念集合和第v條結(jié)果的標(biāo)注概念集合；是一個(gè)修正常量，用于防止兩個(gè)集合的交集??為空；KM為Kuhn-Munkres算法，??表示從搜索關(guān)鍵字和結(jié)果標(biāo)簽中分別選擇一個(gè)概念，并通過(guò)WordNet或者其他本體計(jì)算它們的語(yǔ)義相似性；

構(gòu)建多媒體元搜索引擎，定義一個(gè)語(yǔ)義空間來(lái)衡量所有結(jié)果之間的關(guān)聯(lián)大小，其中橫坐標(biāo)為每條結(jié)果標(biāo)注與檢索條件的關(guān)聯(lián)度大小，即???，縱坐標(biāo)為搜索引擎排序值。

4.根據(jù)權(quán)利要求1所述的基于語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)的跨模信息檢索方法，其特征在于，所述DeepWeb接口模式分析包括以下步驟：

基于同類網(wǎng)頁(yè)疊加，定位網(wǎng)頁(yè)中DeepWeb數(shù)據(jù)區(qū)域；

識(shí)別后臺(tái)數(shù)據(jù)庫(kù)的數(shù)據(jù)模式；

利用該表的橫軸模式信息，實(shí)現(xiàn)不同屬性、不同模態(tài)數(shù)據(jù)之間的相互解釋；

利用該表的縱軸模式信息，計(jì)算不同元組之間的語(yǔ)義關(guān)聯(lián)大小。

5.?根據(jù)權(quán)利要求1所述的基于語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)的跨模信息檢索方法，其特征在于，所述復(fù)合媒體中不同模態(tài)數(shù)據(jù)的關(guān)聯(lián)分析包括以下步驟：

時(shí)序媒體的單元分割；

對(duì)于音視同步的復(fù)合媒體，若分離后不同模態(tài)的信息單元仍保持相同時(shí)序依賴性，則定義它們的關(guān)聯(lián)值為1，而分割后同模態(tài)的各信息單元之間的關(guān)聯(lián)計(jì)算公式為：

是一個(gè)表示語(yǔ)義關(guān)聯(lián)退化的常量，x表示信息單元O_i和O_j之間的間隔。

6.根據(jù)權(quán)利要求1所述的基于語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)的跨模信息檢索方法，其特征在于，所述用戶直接或潛在反饋信息的利用包括以下步驟：

記錄用戶在瀏覽檢索結(jié)果過(guò)程中涉及的各類操作；基于相同檢索需求的反饋信息將被疊加：???

???

其中?表示信息單元O_i和O_j在相同檢索中被施以相同操作的總次數(shù)，?代表每種操作的權(quán)重，但???的最大值僅能為1。

7.根據(jù)權(quán)利要求1所述的基于語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)的跨模信息檢索方法，其特征在于，針對(duì)跨模語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)采用分層模糊聚類方法包括以下步驟：

選擇每個(gè)節(jié)點(diǎn)（信息單元）??與它的K個(gè)最近鄰集合???，并計(jì)算???到???中每個(gè)點(diǎn)的距離的平均值???，則?的K近鄰的相對(duì)密度為：?

當(dāng)節(jié)點(diǎn)??滿足條件??時(shí)，被視為核心節(jié)點(diǎn)，而對(duì)應(yīng)的核心節(jié)點(diǎn)集合為??，其中??O是所有核心結(jié)點(diǎn)的列表，?是所有聚類的初始狀態(tài)；

?中所有節(jié)點(diǎn)的K近鄰節(jié)點(diǎn)也將被考慮，若滿足上述條件，也將被擴(kuò)展進(jìn)該聚類中；以此類推，可以發(fā)現(xiàn)核心節(jié)點(diǎn)僅能屬于一個(gè)類，而其他節(jié)點(diǎn)可以屬于多個(gè)類，從而實(shí)現(xiàn)模糊化；最高粒度的聚類結(jié)果將被逐層合并，其依據(jù)是不同類????和????之間的相似性計(jì)算，如下式：?????

對(duì)于每個(gè)粒度級(jí)別，定義對(duì)應(yīng)的閥值???，并將滿足該約束的兩個(gè)類合并成一個(gè)類：?????。