[發明專利]一種面向盲人的物體尋找系統及方法

在審

• 申請號: 202110684533.6
• 申請日: 2021-06-21
• 公開（公告）號: CN113536945A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 劉華平;王晨旭;郭迪;袁小虎
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N5/02;G10L15/26
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅文群

本發明屬于圖像處理技術領域，特別涉及一種面向盲人的物體尋找系統及方法。本明的目的是為克服已有技術的不足之處，提出一種面向盲人的物體尋找系統及方法。本發明能夠將目標檢測技術、場景圖生成技術與知識圖譜技術結合起來，為盲人提供所需要尋找的物體的詳細信息，包括其在視野中的相對位置及其在場景圖中的相對位置，并在未找到目標時在知識圖譜中主動查找相似的替代品，盡可能滿足用戶的真實需求。本發明從盲人用戶的現實需求出發，解決尋找一類物品的問題，可以部署于盲人視覺輔助眼鏡、服務機器人等諸多設備。

技術領域

本發明屬于圖像處理技術領域，特別涉及一種面向盲人的物體尋找系統及方法。

背景技術

視覺是人類獲取周圍環境信息的重要方式。對于視力障礙人士而言，視覺信息的缺失為生活帶來了諸多不便。過去，視障人士通常采用導盲杖、導盲犬等替代方式獲取環境信息。隨著機器學習與計算機視覺技術的發展，使用計算機視覺技術來為盲人提供視覺信息并輔助盲人的日常生活逐漸成為可能。例如圖像描述生成技術可以輔助盲人認知所處的環境、目標識別與目標檢測技術可以幫助盲人發現周圍的物體、人臉識別技術可以告知盲人熟人的到來、光學文本識別技術可以幫助盲人閱讀書報。

然而，這些技術通常面向某一特定功能，從技術角度出發解決某一方面某一時刻的問題，而非從盲人的真實需求角度出發去滿足盲人現實生活中的需要。因此，這些技術難以應用于盲人的日常生活。例如，盲人想要一個飲水的容器時，需要連續多次主動使用目標檢測技術來查詢當前視野中的物體，而即使檢測到了合適的目標也難以確定其具體位置。盡管人工智能相關算法日趨成熟，盲人的現實需求仍難以得到滿足。

目前的視障輔助產品大多僅僅集成了多個相關的算法，相當于為盲人提供了一個工具包，但這樣的工具包仍然不能很好的解決盲人在日常生活中的需求。

發明內容

本發明的目的是提出一種面向盲人的物體尋找系統和方法，將目標檢測技術、場景圖生成技術與知識圖譜技術結合起來，為盲人提供所需要尋找的物體的詳細信息，以盡可能滿足用戶的真實需求。

本發明提出的面向盲人的物體尋找系統，包括：客戶端、服務器端以及通信模塊；其中，

所述的客戶端部署于移動設備上，用于圖像采集、音頻采集和音頻播放；客戶端持續采集圖像數據并通過通信模塊上傳至服務器，在用戶主動要求時采集音頻數據進行語音識別并將識別出的文本數據上傳至服務器，并在接收到服務器端文字反饋時將其轉化為音頻播放；

所述的服務器端，用于搭載多模態推理系統及其所需的預訓練的神經網絡模型，客戶端與服務器端通過通信模塊進行信息傳遞；服務器端持續接收圖像數據并調用預訓練的神經網絡模型進行推理，并根據接收到的文本信息和神經網絡的推理結果來更新系統狀態，并依據當前系統狀態決定給予客戶端的反饋信息；

所述的通信模塊，用于在不同類型設備間以預設協議實現文字、視頻數據的傳輸。

本發明提出的面向盲人的物體尋找方法，包括以下步驟：

(1)選定一個目標檢測數據集，采用由該數據集訓練的目標檢測模型D；

將該目標檢測模型D能夠檢測到的目標集合記為可檢測物體；

(2)對步驟(1)的目標檢測模型D中的可檢測物體進行標定，得到一個可檢測物體的常識知識圖譜KG，KG＝(E，R，T，X)，其中，E為實體集合，該實體集合包含所有可識別物體，R為實體之間的關系集合，T為知識圖譜中的三元組集合，三元組表示實體之間的關系，三元組的格式為(h，r，t)，h為三元組的頭部實體，r為關系類型，t為三元組的尾部實體；X∈R^|E|×d為實體的嵌入向量矩陣，其中d為嵌入向量的維度，X_i表示第i個實體的嵌入向量；

(3)采用一個場景圖譜生成模型SGG；