[發明專利]一種基于圖書館共享空間用戶群閱讀關注度實時檢測系統及方法

在審

• 申請號: 202110033487.3
• 申請日: 2021-01-11
• 公開（公告）號: CN112784714A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 王婧怡
• 申請（專利權）人: 江蘇大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/36
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于圖書館共享空間用戶群閱讀關注度實時檢測系統及方法，檢測系統設置于共享空間內，檢測系統包括條紋投影放大單元、圖像采集單元和計算機處理系統；條紋投影放大單元朝向共享空間內的用戶群體投射條紋光束；圖像采集單元采集共享空間內含有條紋光束的用戶群體條紋調制圖像，同時將所采集的條紋調制圖像輸入計算機處理系統；計算機處理系統用于調控條紋投影放大單元，且計算機處理系統對所采集的條紋調制圖像進行處理提取出運動區域個數N、平均運動幅值和平均形肢變化速度通過運動區域個數N、平均運動幅值和平均形肢變化速度表征共享空間內用戶群體的閱讀關注度。

技術領域

本發明屬于新一代信息技術領域，尤其是一種基于圖書館共享空間用戶群形肢變化識別下的閱讀關注度實時檢測系統及方法。

背景技術

隨著信息技術的發展，互聯網、新媒體、大數據、人工智能、移動設備等技術革故鼎新，用戶對圖書館的服務要求和資源需求也隨之發生改變，涌現出諸多高校圖書館學習共享空間建設的新嘗試。圖書館學習共享空間成為用戶與圖書館聯系最為重要的一個場所，當今人工智能的出現沖擊著各個應用領域，高校圖書館服務體系從以文獻信息服務為標志的“數字化服務1.0”向側重于挖掘館藏資源“智慧化服務2.0”轉變。智慧空間中不同的情景構建往往影響著用戶的閱讀效果，而不同用戶不同閱讀狀態對其空間情景構建有著不同的要求。因此圖書館智慧空間用戶閱讀狀態的檢測和識別成為提高圖書館服務工作效率的一個重要研究內容。

圖書館共享空間用戶閱讀關注度是衡量用戶和圖書館之間情感和價值取向的重要指標，圖書館是否有著較高的服務效率、較好的服務質量、濃厚的學術氛圍從用戶的情緒反應就能判斷，好的情緒就有好的閱讀關注度，從而就有好的閱讀效果。用戶閱讀關注度與其形肢姿態及其變化有著密切的聯系，其形肢姿態即是用戶的表情，人們的表情主要有三種不同的表現方式，分別是聲調表情、肢體表情和面部表情，其中面部表情是人與人之間互相傳達情緒、認知、意圖和觀點的最有利也是最便捷的方式之一，從而出現了一些與臉、眼相關的檢測技術。例如：基于數據挖掘理論下離群點檢測技術的學習狀態識別方法，該方法將有限的教育資源分配給最迫切需求的學生。使用基于密度的局部離群點檢測算法對學生考試成績數據進行挖掘，找出可疑離群學生，然后對可疑離群學生進行學習狀態分析；又如通過云平臺控制與可變焦的高清球型攝像機快速對教室學生進行人臉識別，可快速對教室所有學生進行人臉識別，并不斷掃描聽課狀態，將獲取的圖像視頻數據實時上傳至云端服務器進行分析，對結構化數據進行大數據處理，輸出統計結果，并進行后臺的可視化呈現，同時將系統與學生的微信或QQ進行綁定，能夠實現上課實時狀態提醒等服務功能；再如利用視頻監控技術、Java編程技術、圖像處理技術、統計分析技術，通過人臉狀態進行學習狀態的檢測技術，該技術可對學生四種上課狀態即:認真上課、發呆、睡覺、玩手機進行分類識別；還有基于神經網絡RNN的眼動分析算法進行學習狀態分析的技術，該技術提出了一種基于RNN-EMA(RNN-Eye Movement Analysis)的眼動分析算法，該算法通過對序列眼動向量分析，預測學生學習行為，完成當前學習狀態檢測；再比如基于面部表情的學習疲勞識別和干預方法，該方法將用戶表情特征分解到不同的子空間，在表情子空間中進行識別，最終進行智慧學習空間中的表情識別；此外、還有基于微表情下的學生學習專注度分析，通過用戶眼、臉的微表情進行分類等等。用戶閱讀關注度與其情緒密切相關，其表達總會伴隨著人體的形肢動作，高興時的手舞足蹈，悲傷時的垂頭喪氣。情緒的形肢動作的表達被研究者稱為情緒軀體語，情緒軀體語言的研究表明大腦在對軀體刺激和非軀體的中性事物刺激進行辨認時，對軀體刺激腦區的激活類似于對面部的辨認。情緒將身體置于情緒信息加工的核心，認為情緒體驗和情緒加工均離不開軀體感覺資源。因此有學者文提出了視頻圖像數學差的像素處理方法，該方法可識別用戶閱讀過程中的軀體運動狀態變化，從而判斷用戶的基本情緒。又如有學者通過視頻圖像捕獲用戶的姿態關節點坐標，并與標準姿態比較進行打分，來度量當前的姿態情緒。所以用戶形肢姿態及其變化可作為用戶情緒狀態識別的一個依據，由此體現用戶的閱讀關注度。從上述的研究分析可以看出無論是人臉檢測還是面部表情檢測，如果只是滿足于對靜態圖片進行檢測，則很難應用于圖書館用戶的實時檢測，情緒檢測系統也是如此。如上述的方法僅僅將用戶軀體的二維狀態作為判斷依據，由此產生較大的判斷誤差。