[發明專利]一種面向盲人的物體尋找系統及方法

在審

• 申請號: 202110684533.6
• 申請日: 2021-06-21
• 公開（公告）號: CN113536945A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 劉華平;王晨旭;郭迪;袁小虎
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N5/02;G10L15/26
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅文群

1.一種面向盲人的物體尋找系統，其特征在于，該系統包括：客戶端、服務器端以及通信模塊；其中，

所述的客戶端部署于移動設備上，用于圖像采集、音頻采集和音頻播放；客戶端持續采集圖像數據并通過通信模塊上傳至服務器，在用戶主動要求時采集音頻數據進行語音識別并將識別出的文本數據上傳至服務器，并在接收到服務器端文字反饋時將其轉化為音頻播放；

所述的服務器端，用于搭載多模態推理系統及其所需的預訓練的神經網絡模型，客戶端與服務器端通過通信模塊進行信息傳遞；服務器端持續接收圖像數據并調用預訓練的神經網絡模型進行推理，并根據接收到的文本信息和神經網絡的推理結果來更新系統狀態，并依據當前系統狀態決定給予客戶端的反饋信息；

所述的通信模塊，用于在不同類型設備間以預設協議實現文字、視頻數據的傳輸。

2.一種面向盲人的物體尋找方法，其特征在于，該方法包括以下步驟：

(1)選定一個目標檢測數據集，采用由該數據集訓練的目標檢測模型D；將該目標檢測模型D能夠檢測到的目標集合記為可檢測物體；

(2)對步驟(1)的目標檢測模型D中的可檢測物體進行標定，得到一個可檢測物體的常識知識圖譜KG，KG＝(E，R，T，X)，其中，E為實體集合，該實體集合包含所有可識別物體，R為實體之間的關系集合，T為知識圖譜中的三元組集合，三元組表示實體之間的關系，三元組的格式為(h，r，t)，h為三元組的頭部實體，r為關系類型，t為三元組的尾部實體；x∈R^|E|×d為實體的嵌入向量矩陣，其中d為嵌入向量的維度，X_i表示第i個實體的嵌入向量；

(3)采用一個場景圖譜生成模型SGG；

(4)初始化場景圖譜為空，初始化物體尋找狀態為無目標狀態，初始化待匯報文字信息為空；

(5)等待由盲人所持設備傳來的圖像信息或文字信息；

(6)收到步驟(5)的信息時，對信息類型進行判斷：若接收到的信息為圖像信息，則執行步驟(7)，若接收到的信息為文字信息，則執行步驟(8)；

(7)將步驟(6)接收的圖像信息輸入步驟(1)的目標檢測模型，得到目標檢測結果，將該目標檢測結果輸入步驟(3)的場景圖譜生成模型，得到一個新的場景圖譜，進行步驟(9)；

(8)根據設定的規則，將步驟(6)接收的文字信息解析為指令，并根據物體尋找狀態和指令進行以下判斷：

若當前物體尋找狀態處于無目標狀態，且指令為設置目標，則進行步驟(8-1)；

若當前物體尋找狀態處于待確認指令狀態，且指令為確認/否認，則進行步驟(8-2)；

若當前物體尋找狀態處于有目標狀態，且指令為停止，則進行步驟(8-3)；

若當前物體尋找狀態處于有目標狀態，且指令為匯報文字信息，則進行步驟(10)；

(8-1)使當前物體尋找狀態轉變為待確認狀態，并將指令中的目標設為待確認目標，返回步驟(5)；

(8-2)若指令為確認，則使當前物體尋找狀態轉變為搜尋目標狀態，將待確認目標設為搜尋目標，并從步驟(2)的常識知識圖譜中檢索搜尋目標實體的近似實體；

若指令為否認，則使當前物體尋找狀態恢復為進入待確認狀態前的原狀態，返回步驟(5)；

(8-3)使當前物體尋找狀態轉變為無目標狀態，返回步驟(5)；

(9)當前物體尋找狀態為有目標狀態時，根據當前盲人所持設備傳來的圖像、步驟(1)的目標檢測模型以及步驟(7)的場景圖譜，生成待匯報文字信息，具體步驟如下：

(9-1)若當前盲人所持設備傳來的圖像的目標檢測結果中存在要尋找的物體，則根據該物體在場景圖譜中的相對關系和該物體在圖像中的相對位置，產生相應的匯報物體位置的文字信息；跳轉步驟(10)；

(9-2)若當前盲人所持設備傳來的圖像的目標檢測結果中不存在要尋找的物體，而步驟(7)的場景圖譜中存在該類物體，則產生提示用戶曾經看到過該類物體的文字信息；

(9-3)若當前盲人所持設備傳來的圖像的目標檢測結果中不存在要尋找的物體，且步驟(7)的場景圖譜中也不存在該類物體，但步驟(7)的場景圖譜中或當前盲人所持設備傳來的圖像的目標檢測結果中存在步驟(8-2)的近似實體，則產生詢問用戶是否將尋找目標轉變為找到的近似實體的文字信息；

(9-4)若當前盲人所持設備傳來的圖像的目標檢測結果中不存在要尋找的物體或步驟(8-2)的近似實體，且步驟(7)的場景圖譜中也不存在要尋找的物體或步驟(8-2)的近似實體，則提示用戶未找到目標的文字信息；

(9-5)記錄步驟(9-1)至步驟(9-4)所產生的文字信息作為匯報內容，并返回步驟(6)；

(10)將生成的文字信息通過通信模塊傳輸到客戶端；若傳輸的文字信息為詢問用戶是否將尋找目標轉變為找到的近似實體的文字信息，則將當前狀態轉變為待確認狀態，將找到的近似實體設為待確認目標，跳轉步驟(5)；若匯報物體位置的文字信息，則通過通信模塊傳輸到客戶端，完成盲人的物體尋找過程。

3.如權利要求2的面向盲人的物體尋找方法，其特征在于所述的步驟(8-2)中從常識知識圖譜中檢索搜尋目標實體的近似實體檢索算法的具體步驟如下：

(1)將近似實體檢索算法記為RE，該算法的輸入為一個知識圖譜與一個目標實體，輸出為一個近似實體序列，算法的表達式如下：

RE(KG，e)＝{a₁，...，a_m}

式中，KG為標定的知識圖譜，該知識圖譜的形式為KG＝(E，R，T，X)，e為被確認為搜尋目標的實體，a₁，...，a_m為e在知識圖譜KG中的近似實體；

(2)定義知識圖譜上實體e的鄰居如下：

式中，N_e表示實體e的鄰居集合，r是知識圖譜中的一種關系類型，v是知識圖譜中的實體，為“存在”運算符，∨為“或”運算符；

(3)定義一個備選實體集合A，表達式如下：

其中，∧為“與”運算符；

(4)最后根據實體嵌入向量的來源選擇一個實體相似度評價算法s，對步驟(3)的備選實體集合A按備選實體與目標實體的相似度從大到小排序得到近似實體序列，表達式如下：

{a_j|j＝1，...，|A|}

該實體序列滿足條件：式中a_j，a_k均為實體集合A中的實體，且為e的近似實體。