[發(fā)明專利]基于MR眼鏡的廣告推送管理方法、設(shè)備及應(yīng)用

有效

• 申請(qǐng)?zhí)枺?/td>: 202011267167.6
• 申請(qǐng)日: 2020-11-13
• 公開（公告）號(hào): CN112181152B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 陳濤;朱若晴
• 申請(qǐng)（專利權(quán)）人: 幻蝎科技（武漢）有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06V10/25;G06V10/44;G06V10/762;G06N20/00;G06Q30/0251;H04L67/55
• 代理公司: 北京金智普華知識(shí)產(chǎn)權(quán)代理有限公司 11401
• 代理人: 楊采良

1.一種基于MR眼鏡的廣告推送管理方法，其特征在于，通過識(shí)別用戶生物信息判斷是否對(duì)當(dāng)前物體感興趣，然后系統(tǒng)向用戶推送內(nèi)容信息，通過緩存視頻獲取即時(shí)信息，所述基于MR眼鏡的廣告推送管理方法還包括：

步驟S211:識(shí)別場景：通過MR眼鏡衛(wèi)星定位系統(tǒng)確認(rèn)用戶當(dāng)前場景，再通過用戶日常作息習(xí)慣判斷當(dāng)前時(shí)刻是否適合彈出內(nèi)容信息；

步驟S212：識(shí)別用戶當(dāng)前運(yùn)動(dòng)狀態(tài)：通過MR眼鏡的加速度傳感器、陀螺儀、IMU判斷用戶當(dāng)前的運(yùn)動(dòng)狀態(tài)是否適合彈出內(nèi)容信息；

步驟S213：物體檢測：利用MR眼鏡的本地算力運(yùn)行對(duì)象檢測器對(duì)前置攝像頭拍到的物理世界圖像數(shù)據(jù)進(jìn)行AI對(duì)象識(shí)別，同時(shí)AI識(shí)別技術(shù)識(shí)別并框選圖像中多個(gè)物體；

步驟S214：空間環(huán)境識(shí)別：空間分析模塊?根據(jù)“S213的多個(gè)物體檢測結(jié)果”分析用戶當(dāng)前物理環(huán)境，根據(jù)環(huán)境更進(jìn)一步確認(rèn)S211識(shí)別的環(huán)境和隱私安全；

步驟S215:循環(huán)錄制緩存：MR眼鏡前置攝像頭循環(huán)錄制一段時(shí)間內(nèi)的視頻、照片、音頻，緩存在MR眼鏡本地存儲(chǔ)器中；MR眼鏡前置攝像頭循環(huán)錄制一段時(shí)間內(nèi)的視頻、照片、音頻，緩存在MR眼鏡本地存儲(chǔ)器中；具體為將視頻/音頻記錄到緩沖器；當(dāng)視頻/音頻數(shù)據(jù)被攝像頭和麥克風(fēng)捕獲時(shí)，情緒/認(rèn)知狀態(tài)觸發(fā)的記錄系統(tǒng)將視頻/音頻數(shù)據(jù)寫入緩沖器；所述緩沖器被實(shí)現(xiàn)為循環(huán)緩沖器，緩沖器循環(huán)存儲(chǔ)最近一段時(shí)間內(nèi)的數(shù)據(jù)，手動(dòng)設(shè)置緩沖器的儲(chǔ)存容量，當(dāng)容量滿了之后循環(huán)刪除最早時(shí)間的視頻，寫入新的視頻數(shù)據(jù)；

步驟S216:檢測用戶當(dāng)前生物信息，包括眼動(dòng)行為數(shù)據(jù)、腦電數(shù)據(jù)、心跳、血壓、呼吸頻率，判斷用戶是否可能對(duì)當(dāng)前影像感興趣；

步驟S217：調(diào)取并分析用戶“感興趣生物指標(biāo)”時(shí)間前后的緩存圖像/視頻/音頻，AI識(shí)別技術(shù)識(shí)別圖像/視頻中物體或事件，及識(shí)別圖像顯著性，同時(shí)并框選圖像物體；

步驟S218:?MR眼鏡將S213物體檢測后框選的局部圖像從大圖像中截取出來，上傳至云端廣告服務(wù)器，云端服務(wù)器對(duì)接收到的物體局部圖像進(jìn)行匹配識(shí)別，在數(shù)據(jù)庫中檢索相關(guān)內(nèi)容信息，檢索結(jié)果回傳至終端MR眼鏡；其中內(nèi)容信息包括文字、圖片、音頻、視頻、應(yīng)用程序；同時(shí)對(duì)目標(biāo)物體或事件位置坐標(biāo)處呈現(xiàn)“內(nèi)容提示通知”，以全息影像的形式被MR眼鏡光學(xué)顯示器渲染呈現(xiàn)；

步驟S219:?MR眼鏡等待用戶對(duì)“內(nèi)容提示通知”的交互行為，同時(shí)MR眼鏡下載服務(wù)器內(nèi)容數(shù)據(jù)至緩存；如果接收到用戶的交互指令，則進(jìn)一步呈現(xiàn)服務(wù)器傳回的內(nèi)容信息；如果未接收到用戶的交互指令，則當(dāng)“內(nèi)容提示通知”離開用戶視野畫面后一段時(shí)間自動(dòng)消失，清空緩存信息；

步驟S220:?當(dāng)接收到用戶的交互指令后呈現(xiàn)內(nèi)容信息；

進(jìn)一步包括：情緒/認(rèn)知狀態(tài)觸發(fā)的記錄系統(tǒng)包括緩沖器，傳感器數(shù)據(jù)分析模塊，記錄模塊，凝視檢測模塊和視頻段存儲(chǔ)器；

緩沖器被配置為當(dāng)從攝像機(jī)和麥克風(fēng)接收到視頻和音頻數(shù)據(jù)時(shí)存儲(chǔ)視頻和音頻數(shù)據(jù)；

傳感器數(shù)據(jù)分析模塊從感測設(shè)備接收傳感器數(shù)據(jù)，并且分析所接收的傳感器數(shù)據(jù)以確定用戶的情緒或認(rèn)知狀態(tài)；傳感器數(shù)據(jù)分析模塊提供指示用戶的情緒或認(rèn)知狀態(tài)的可用數(shù)據(jù)；

記錄模塊基于指示用戶的情緒或認(rèn)知狀態(tài)的數(shù)據(jù)來確定是否記錄視頻片段；記錄模塊被配置為基于用戶的情緒或認(rèn)知狀態(tài)的改變來開始記錄視頻片段，或記錄模塊可以被配置為在用戶的情緒或認(rèn)知狀態(tài)從中立狀態(tài)變?yōu)榉侵辛顟B(tài)時(shí)開始記錄視頻片段，或記錄模塊被配置為在表示用戶的情緒或認(rèn)知狀態(tài)的值超過閾值時(shí)開始記錄視頻片段；

注視檢測模塊跟蹤用戶的注視以確定用戶注視的方向；凝視檢測模塊可以被配置為視頻疊加，該視頻疊加包括關(guān)于在捕獲視頻時(shí)用戶的凝視方向的彩色的點(diǎn)，突出顯示或其他可視指示符；

視頻段存儲(chǔ)器被配置為存儲(chǔ)基于用戶的情緒或認(rèn)知狀態(tài)記錄的視頻片段；當(dāng)記錄模塊啟動(dòng)記錄時(shí)，將存儲(chǔ)在緩沖器中的視頻和音頻數(shù)據(jù)復(fù)制到新的視頻段，該新的視頻段存儲(chǔ)在視頻段存儲(chǔ)器中；記錄模塊將附加的視頻和音頻數(shù)據(jù)記錄到視頻片段；視頻段存儲(chǔ)器還存儲(chǔ)與視頻片段相關(guān)聯(lián)的元數(shù)據(jù)，其包括觸發(fā)記錄的用戶的情緒或認(rèn)知狀態(tài)的指示符，用戶的情緒的一個(gè)或多個(gè)指示符；或視頻錄制時(shí)的認(rèn)知狀態(tài)，以及用于提供視覺指示符。

2.如權(quán)利要求1所述的基于MR眼鏡的廣告推送管理方法，其特征在于，所述步驟S211中，通過MR智能眼鏡定位技術(shù)包括GPS/北斗衛(wèi)星和WiFi模塊、通信信號(hào)基站獲得定位位置信息，在購物大賣場，商業(yè)街，娛樂具有消費(fèi)行為的場所，則啟動(dòng)廣告推薦系統(tǒng)。