[發明專利]一種面向虛實融合的闖關交互式實驗方法和系統

有效

• 申請號: 202010908528.4
• 申請日: 2020-09-02
• 公開（公告）號: CN111968470B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 馮志全;王康
• 申請（專利權）人: 濟南大學
• 主分類號: G09B23/24
• 分類號: G09B23/24
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 李修杰

1.一種面向虛實融合的闖關交互式實驗方法，其特征在于，包括以下步驟：

獲取與實驗操作相關的用戶意圖集合，根據所述用戶意圖集合的不同模態表達方式確定在一段時間內用戶意圖；根據所述用戶操作意圖出現的時間確定在某時刻的用戶意圖；所述與實驗操作相關的用戶意圖集合包括基于視覺的手勢動作意圖集合、基于聽覺的語音意圖集合、基于觸覺的傳感器信息集合和場景集合；

所述手勢動作意圖集合H^k＝{H₁,H₂,...,H_n}；所述語音意圖集合S^k＝{S₁,S₂,...,S_n}；所述傳感器信息集合T^k＝{T₁,T₂,...,T_n}；所述場景集合E^k＝{E_t1,E_t2,...,E_tn}；

其中ti為不同時刻的場景信息；所述k為約束參數,k＝a或b，a為語音意圖的權重，b為傳感器意圖的權重；

所述根據所述用戶意圖集合的不同模態表達方式確定在一段時間內用戶意圖的表達式為：

其中，為一段時間內用戶意圖；S^A為a或b并集計算為a時的語音集合；T^B為a或b并集計算為b時的傳感器集合；H_i∈H^k；E_i∈E^k；

所述根據所述用戶操作意圖出現的時間確定在某時刻的用戶意圖的方法為：

根據實驗步驟和時間節點設置意圖時間序列集合V＝{V_t1,V_t2,...V_tn}；其中V_t1至V_tn是根據實驗步驟和意圖出現的時機設置的意圖時序序列，V_ti為一個m維的向量，表示當前出現的用戶意圖；

根據V＝{V_t1,V_t2,...V_tn}，結合可得到在某時刻的用戶意圖為U_ti＝[0,0,...,0,U_a,0,...,0,U_b,0,...,0,U_c,0,...,0]·V_ti^T；

通過在某時刻的用戶意圖對智能化虛實融合實驗儀器的操作進行實驗，在實驗中設計與實驗內容相應的關卡，并根據用戶對關卡的不同選擇進行不同實驗步驟或者呈現不同實驗效果。

2.根據權利要求1所述的一種面向虛實融合的闖關交互式實驗方法，其特征在于，所述智能化虛實融合實驗儀器包括燒杯、分液漏斗、攪拌棒、膠頭滴管和稱量臺；

所述燒杯的底部中心點設置加速度傳感器，或者在杯體的外壁設置若干觸覺傳感器；所述加速度傳感器用來獲取燒杯的傾倒角度；所述燒杯的三維角度表示為A₁＝(x,y,z)；所述觸覺傳感器用于標識用戶對實驗試劑的選擇操作；其中，x，y，z分別是x軸，y軸，z軸旋轉的角度；

所述分液漏斗的活；塞設置為轉動傳感器，頂部設置光敏傳感器；所述轉動傳感器獲取流速的離散數值，通過離散數值的變化量化液體的釋放；所述光敏傳感器用于確定分液漏斗是否添加液體；

所述攪拌棒的一端設置加速度傳感器，用來獲取攪拌速度；所述攪拌速度的表達式為其中g_x，g_y，g_z分別是x軸，y軸和z軸的運動的角速度；

所述膠頭滴管的膠頭處設置壓力傳感器；用來獲取膠頭滴管滴液的速率；

所述稱量臺的臺面中間層設置壓力傳感器；用來獲取待測量物體的重量。

3.根據權利要求2所述的一種面向虛實融合的闖關交互式實驗方法，其特征在于，所述智能化虛實融合實驗儀器通過杜邦線連接至STM32開發板；所述STM32開發板通過串口連接至電腦上位機。