[發(fā)明專利]視障輔助智能眼鏡、系統(tǒng)及其控制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011385491.8
• 申請(qǐng)日: 2020-12-01
• 公開（公告）號(hào): CN112370240A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 盧國(guó)慶;蕭啟穎;劉蔚旻
• 申請(qǐng)（專利權(quán)）人: 創(chuàng)啟社會(huì)科技有限公司
• 主分類號(hào): A61F9/08
• 分類號(hào): A61F9/08;G06N3/04;G06N3/08
• 代理公司: 深圳市壹壹壹知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44521
• 代理人: 阮帆

本發(fā)明實(shí)施例公開了一種視障輔助智能眼鏡、系統(tǒng)及其控制方法，所述智能眼鏡包括眼鏡本體，眼鏡本體內(nèi)集成有微處理器、耳骨傳導(dǎo)耳機(jī)、無線通訊模塊、CCD光學(xué)模塊、DSP圖像處理模塊、攝像鏡頭、內(nèi)存模塊、電源模塊、充電電池、I/O數(shù)據(jù)端口，攝像鏡頭設(shè)在眼鏡本體前端，CCD光學(xué)模塊將從攝像鏡頭采集的光學(xué)影像轉(zhuǎn)換為高解像壓縮數(shù)據(jù)發(fā)送至DSP圖像處理模塊，微處理器通過I/O數(shù)據(jù)端口與耳骨傳導(dǎo)耳機(jī)、無線通訊模塊、DSP圖像處理模塊電連接，內(nèi)存模塊、電源模塊與微處理器電連接，充電電池與電源模塊電連接。本發(fā)明從視障用戶雙眼的視角，可以把圖像信號(hào)實(shí)時(shí)作閱讀、處理及識(shí)別，并通過語音提示視障用戶，能夠?qū)崟r(shí)地、全方位地協(xié)助視障用戶辨別景物和對(duì)象。

技術(shù)領(lǐng)域

本發(fā)明涉及人工視覺技術(shù)領(lǐng)域，尤其涉及一種視障輔助智能眼鏡、系統(tǒng)及其控制方法。

背景技術(shù)

目前，用戶要把影像和聲音同事傳送給遠(yuǎn)程的一方，需要使用手機(jī)或計(jì)算機(jī)進(jìn)行傳輸、或需要把攝錄機(jī)連接到網(wǎng)上并實(shí)時(shí)進(jìn)行傳輸。大部份智能眼鏡或物聯(lián)網(wǎng)設(shè)備外觀上和一般的眼鏡相差太遠(yuǎn)，而且比較笨重，使用戶感到不便或?qū)擂巍Ｓ脩粼诮邮章曇舴矫妫瑫?huì)受到環(huán)境噪音等干擾，以致有接收不清晰等問題。

目前市場(chǎng)上的智能眼鏡只使用簡(jiǎn)單AI MCU或傳輸?shù)皆贫俗魈幚砑白R(shí)別。但是有很多人工智能都不能為視障者和老人提供最需要的協(xié)助，例如準(zhǔn)確辨認(rèn)街道和文字，而且云端作處理存在長(zhǎng)時(shí)延，更不能透過和人的互動(dòng)解決問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例所要解決的技術(shù)問題在于，提供一種視障輔助智能眼鏡、系統(tǒng)及其控制方法，以協(xié)助視障用戶辨認(rèn)圖像。

為了解決上述技術(shù)問題，本發(fā)明實(shí)施例提出了一種視障輔助智能眼鏡，包括眼鏡本體，眼鏡本體內(nèi)集成有微處理器、耳骨傳導(dǎo)耳機(jī)、無線通訊模塊、CCD光學(xué)模塊、DSP圖像處理模塊、攝像鏡頭、內(nèi)存模塊、電源模塊、充電電池、I/O數(shù)據(jù)端口，攝像鏡頭設(shè)在眼鏡本體前端，CCD光學(xué)模塊將從攝像鏡頭采集的光學(xué)影像轉(zhuǎn)換為高解像壓縮數(shù)據(jù)發(fā)送至DSP圖像處理模塊，微處理器通過I/O數(shù)據(jù)端口與耳骨傳導(dǎo)耳機(jī)、無線通訊模塊、DSP圖像處理模塊電連接，內(nèi)存模塊、電源模塊與微處理器電連接，充電電池與電源模塊電連接。

進(jìn)一步地，無線通訊模塊為wifi模塊、藍(lán)牙模塊、5G模塊中的一種或多種。

相應(yīng)地，本發(fā)明實(shí)施例還提供了一種視障輔助智能眼鏡系統(tǒng)，包括上述的視障輔助智能眼鏡，還包括手機(jī)端、服務(wù)器、服務(wù)終端，其中，

視障輔助智能眼鏡通過無線通訊模塊與手機(jī)端連接通信，實(shí)時(shí)采集視障用戶面前的圖像，并將圖像發(fā)送至手機(jī)端，同時(shí)通過耳骨傳導(dǎo)耳機(jī)輸出手機(jī)端回傳的信息；

手機(jī)端：將視障輔助智能眼鏡發(fā)送的圖像實(shí)時(shí)進(jìn)行預(yù)處理，將預(yù)處理連續(xù)與數(shù)字化目標(biāo)默認(rèn)值進(jìn)行對(duì)比，當(dāng)相似度達(dá)到閾值時(shí)，將結(jié)果發(fā)送至視障輔助智能眼鏡；若未比對(duì)到相似度達(dá)到閾值時(shí)或用戶選擇進(jìn)入人工模式時(shí)，則將當(dāng)前的圖像上傳至服務(wù)器，同時(shí)將服務(wù)器回傳的信息發(fā)送至視障輔助智能眼鏡；

服務(wù)器：將手機(jī)端上傳的圖像分配至服務(wù)終端，將服務(wù)終端上傳的識(shí)別結(jié)果回傳至對(duì)應(yīng)的手機(jī)端；或通過網(wǎng)絡(luò)實(shí)時(shí)連接視障輔助智能眼鏡和服務(wù)終端；

服務(wù)終端：對(duì)應(yīng)的志愿者通過服務(wù)終端接收手機(jī)端上傳的圖像，再將志愿者人工識(shí)別結(jié)果發(fā)送至服務(wù)器；或與視障輔助智能眼鏡連接通信，使志愿者與視障用戶直接實(shí)時(shí)通訊，實(shí)時(shí)為視障用戶提供人工幫助。

進(jìn)一步地，手機(jī)端中采用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像進(jìn)行預(yù)處理，所述圖像數(shù)據(jù)依次進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)模型的第一個(gè)卷積層、第二個(gè)卷積層、池化層、第一個(gè)完全連接層以及第二個(gè)完全連接層后輸出結(jié)果。

進(jìn)一步地，手機(jī)端還包括文字識(shí)別模塊：識(shí)別圖像中的文字，并將識(shí)別結(jié)果發(fā)送至視障輔助智能眼鏡。

相應(yīng)地，本發(fā)明實(shí)施例還提供了一種視障輔助智能眼鏡系統(tǒng)的控制方法，包括：