[發明專利]基于語義關聯網絡的跨模信息檢索方法

無效

• 申請號: 201010252935.0
• 申請日: 2010-08-13
• 公開（公告）號: CN101894170A
• 公開（公告）日: 2010-11-24
• 發明（設計）人: 曾承
• 申請（專利權）人: 武漢大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 張火春

1.一種基于語義關聯網絡的跨模信息檢索方法，其特征在于，包括以下步驟：

通過網頁視覺空間分析、多媒體搜索引擎標注關系分析、DeepWeb接口模式分析、復合媒體中不同模態數據的關聯分析、用戶直接或潛在反饋信息的利用，以及關聯推理等六個渠道獲取跨模信息單元的語義關聯知識；

基于以上不同渠道獲取的關聯知識，進行加權整合，構建統一的跨模語義關聯網絡；

針對跨模語義關聯網絡，基于關聯知識實施分層模糊聚類；

在每個類中，針對所有信息單元的特征向量進行二次聚類，選出典型特征向量，作為該類的代表；

對系統中所有信息單元對應的特征向量，建立散列索引；

在每個信息單元，對應特征向量、聚類的典型特征向量、聚類序號之間建立映射關系。

2.根據權利要求1所述的基于語義關聯網絡的跨模信息檢索方法，其特征在于，所述網頁視覺空間分析包括以下步驟：

將頁面劃分成不同粒度、具有視覺層次包含關系的若干塊；

將以上分析出的塊轉換成視覺關系樹；

利用視覺關系樹計算各種模態信息單元之間的語義關聯。

3.?根據權利要求1所述的基于語義關聯網絡的跨模信息檢索方法，其特征在于，所述多媒體搜索引擎標注關系分析包括以下步驟：

針對某個多媒體搜索引擎，采用以下公式計算搜索關鍵字(或關鍵字集合)和第v條結果的標注概念集合的語義相似性：?????

其中，??

上式中K_u、T_v分別表示搜索概念集合和第v條結果的標注概念集合；是一個修正常量，用于防止兩個集合的交集??為空；KM為Kuhn-Munkres算法，??表示從搜索關鍵字和結果標簽中分別選擇一個概念，并通過WordNet或者其他本體計算它們的語義相似性；

構建多媒體元搜索引擎，定義一個語義空間來衡量所有結果之間的關聯大小，其中橫坐標為每條結果標注與檢索條件的關聯度大小，即???，縱坐標為搜索引擎排序值。

4.根據權利要求1所述的基于語義關聯網絡的跨模信息檢索方法，其特征在于，所述DeepWeb接口模式分析包括以下步驟：

基于同類網頁疊加，定位網頁中DeepWeb數據區域；

識別后臺數據庫的數據模式；

利用該表的橫軸模式信息，實現不同屬性、不同模態數據之間的相互解釋；

利用該表的縱軸模式信息，計算不同元組之間的語義關聯大小。

5.?根據權利要求1所述的基于語義關聯網絡的跨模信息檢索方法，其特征在于，所述復合媒體中不同模態數據的關聯分析包括以下步驟：

時序媒體的單元分割；

對于音視同步的復合媒體，若分離后不同模態的信息單元仍保持相同時序依賴性，則定義它們的關聯值為1，而分割后同模態的各信息單元之間的關聯計算公式為：

是一個表示語義關聯退化的常量，x表示信息單元O_i和O_j之間的間隔。

6.根據權利要求1所述的基于語義關聯網絡的跨模信息檢索方法，其特征在于，所述用戶直接或潛在反饋信息的利用包括以下步驟：

記錄用戶在瀏覽檢索結果過程中涉及的各類操作；基于相同檢索需求的反饋信息將被疊加：???

???

其中?表示信息單元O_i和O_j在相同檢索中被施以相同操作的總次數，?代表每種操作的權重，但???的最大值僅能為1。

7.根據權利要求1所述的基于語義關聯網絡的跨模信息檢索方法，其特征在于，針對跨模語義關聯網絡采用分層模糊聚類方法包括以下步驟：

選擇每個節點（信息單元）??與它的K個最近鄰集合???，并計算???到???中每個點的距離的平均值???，則?的K近鄰的相對密度為：?

當節點??滿足條件??時，被視為核心節點，而對應的核心節點集合為??，其中??O是所有核心結點的列表，?是所有聚類的初始狀態；

?中所有節點的K近鄰節點也將被考慮，若滿足上述條件，也將被擴展進該聚類中；以此類推，可以發現核心節點僅能屬于一個類，而其他節點可以屬于多個類，從而實現模糊化；最高粒度的聚類結果將被逐層合并，其依據是不同類????和????之間的相似性計算，如下式：?????

對于每個粒度級別，定義對應的閥值???，并將滿足該約束的兩個類合并成一個類：?????。