[發明專利]一種基于自主學習劇本的智能機器人提線木偶表演系統

有效

• 申請號: 201710391603.2
• 申請日: 2017-05-27
• 公開（公告）號: CN107330913B
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 胡凱;夏旻;徐春燕;張艷;孔維斌
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/194;G06T5/40;A63J19/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱小兵

1.一種基于自主學習劇本的智能機器人提線木偶表演方法，其特征是：包括以下步驟：

步驟1：跟蹤測量老舊木偶的運動，錄下藝術家的講述和背景音樂，然后存儲為計算資源，并根據指示驅動新的提線機器人木偶運動，播放講述和背景音樂以及驅動渲染燈光；

步驟2：依據步驟1中的計算資源計算出老舊木偶的運動，得到一個可供人工修正的劇本模式，包括以下步驟：

1)采樣：在舞臺中心以及舞臺四角貼上標志圖案，采用相機以及麥克風保存所需分析的藝術家的劇本的視頻信息；

2)目標區域提取：在采樣步驟中拍攝時，選取出單幀圖像中舞臺的四角的標志圖案，得到圖案I(c，f，d)，其中I代表的是目前處理的圖像，其中c為相機來源，f代表的是幀數，代表的是第d次處理過程，并統計出四個中最大的面積M(max，c)和最小的面積M(min，c)；

3)去背景：分析單幀圖像I(c，f，d)，采用直方圖統計法的方法，統計出出現次數最大的顏色值，刪除所有這些顏色值，得到I(c，f，d)，其中d＝2；

4)去噪：統計出所有整體聯通區域Block(c，f，d，b)的面積大小，僅保留面積在M(max，c)和最小的面積M(min，c)之間的整體聯通區域，得到圖像I(c，f，d)，此時d＝3；

5)二值化：把圖像I(c，f，d)二值化，得到新的I(c，f，d)，其中d＝4；

6)特征提取：提取出整體聯通區域Block(c，f，d，b)的一系列像素值，作為這個整體聯通區域Block(c，f，d，b)的特征值Ts(c，f，d，b)，Ts(c，f，d，b)＝(t1，t2，…，tnn)，其中tnn為第n*n個方塊的特征值，b代表的是圖像I(c，f，d)中d＝4的所有聯通區域的編號；

7)識別：選出對整體聯通區域Block(c，f，d，b)的識別的結果；

8)計算位置和電機運動關系；

9)系統保護：判斷每個電機組的位置信息是否安全，從而判斷是否取消該電機組運動；

步驟3：根據工作人員的操作，優化編排步驟2中劇本模式中的動作、解說、背景音樂和渲染舞臺背景，或者重新徹底編排劇本模式，以機器人提線木偶的形式重新進行無限自動展示。

2.根據權利要求1所述的方法，其特征是：識別步驟包括以下步驟：

① 將每個待識別的聯通區域的特征值Ts(c，f，d，b)＝(t1，t2，…，tnn)與已知的貼上的標志圖案的特征值Ttar(e)＝(t′1，t′2，…，t’nn)一一相減，其中e代表的是已知貼上的某個標志圖案，即1和0的對比，取絕對值之和，公式如下：

② 得到每個待識別的聯通區域與任意一個已知的貼上的標志圖案的特征值Ttar(e)之間的偏離與整體方塊數目的比例程度；

③ 選出PorDevi(c，f，d，b，e)最小的結果，如果其值也在偏離閾值TPorDevi范圍內，即PorDevi(c，f，d，b，e)＜TPorDevi，那么將Ttar(e)作為Block(c，f，d，b)識別的結果。