[發明專利]一種手語檢索的方法

有效

• 申請號: 201010592907.3
• 申請日: 2010-12-08
• 公開（公告）號: CN102004795A
• 公開（公告）日: 2011-04-06
• 發明（設計）人: 張師林;李和平;張樹武
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/00
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 梁愛榮

1.一種手語檢索的方法，其特征在于，所述方法的步驟如下：

步驟S1：對手語進行視頻解碼并提取圖像底層紋理特征、顏色特征和輪廓特征，根據手語運動特征生成手語特征庫，用手語追蹤雙手方法得到手語特征為雙手運動的坐標特征、雙手運動的速度特征和雙手的形狀特征，進而構成時間序列特征，并以手語特征的字符串存儲下來；

步驟S2：對于用戶輸入的視頻用坐標、速度和形狀特征表示，得到用戶輸入視頻的字符串；

步驟S3：利用字符串編輯距離算法對檢索時用戶輸入手語視頻的字符串和手語特征的字符串進行距離度量，得到輸入視頻和手語特征庫中視頻的相似度量。

2.根據權利要求1所述的手語檢索的方法，其特征在于，所述雙手追蹤和定位的步驟如下：

步驟S11：獲取輸入計算機的手語新聞視頻幀或攝像頭視頻，對于手語新聞或者攝像頭視頻進行檢測，如果檢測視頻幀中有人臉，則進行步驟S12的操作；如果檢測視頻幀中沒有人臉，則對此視頻幀不做處理返回計算機輸入端；

步驟S12：根據視頻幀中的人臉坐標，得到人臉下方距離人臉中心一倍人臉直徑的胸部位置作為極坐標的中心，建立極坐標系，以刻畫后續雙手位置；

步驟S13：將視頻幀轉化為亮度色度顏色空間(YUV)，并且映射到色度二維空間，利用膚色的良好的聚類性質分割膚色，膚色分割的公式為：

0.261π≤tan-1(UV)≤0.3111π]]>

43≤U2+V2≤78]]>

0.25π≤tan-1(UV)≤0.3161π]]>

0≤U2+V2≤70]]>

式中U和V是在亮度色度顏色空間(YUV)中被正交調制了的色度信息，作用是描述影像色彩及飽和度；

步驟S14：把所有滿足膚色的區域作為候選雙手運動區域，并且把候選雙手運動區域二值化，得到的二值化灰度圖，此時，人臉、脖子、手臂以及接近膚色的衣服的區域都被分割出來了；

步驟S15：對步驟S14獲得的候選雙手運動區域進行定位，獲取雙手位置；接下來，對于步驟S14得到的二值化灰度圖在相鄰兩幀間計算光流；對光流算法中的檢測區域大小的閾值和速度閾值自動調整，用以獲取多個光流塊；

步驟S16：多個光流塊對應了視頻中的包含了膚色的運動區域，由于衣服、人臉和臂部運動不明顯，所以光流塊集中的地方是人手所在的位置；使用聚類算法把光流塊聚類成兩類，如果兩類距離小于指定閾值，認為雙手重合，則兩類合并成一類，作為左手和右手的坐標；如果兩類大于指定閾值，則兩類按照坐標關系分別對應了左手和右手的坐標位置。