[發明專利]基于視覺追隨的拉花軌跡采集、拉花控制方法及系統

在審

• 申請號: 202111510902.6
• 申請日: 2021-12-10
• 公開（公告）號: CN114568942A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 馬良
• 申請（專利權）人: 上海氦豚機器人科技有限公司
• 主分類號: A47J31/44
• 分類號: A47J31/44;A47J31/52;G06T7/73;G06V20/60;G06V10/74;G06K9/62
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.一種基于視覺追隨的拉花軌跡采集方法，其特征在于，所述方法包括：

S110：接收觸發的拉花學習指令；

S120：根據所述拉花學習指令控制信息采集設備執行信息采集，獲取檢測區域內若干具有包括裝有基底溶液的第一基底杯具和裝有拉花奶泡的第一拉花杯具在內的拉花模仿對象的圖像信息；

S130：對所述圖像信息中的所述拉花模仿對象進行若干第一特征點標記，構建第一三維坐標系，且各所述第一特征點標記位于所述第一三維坐標系內；

S140：對所述圖像信息的拉花預備姿態、拉花結束姿態進行判斷，將具有拉花預備姿態的所述圖像信息所在時間作為拉花學習的起始時間，將具有拉花結束姿態的所述圖像信息所在時間作為拉花學習的結束時間，利用所述起始時間和所述結束時間確定拉花學習的時間段；

S150：基于所述起始時間到所述結束時間所在的時間序列，獲取各所述第一特征點在所述第一三維坐標系中的坐標信息，并形成各所述第一特征點在所述第一三維坐標系中的坐標軌跡，以便根據所述坐標軌跡控制飲品制備機器人快速復現拉花動作及拉花軌跡。

2.如權利要求1所述的基于視覺追隨的拉花軌跡采集方法，其特征在于，在步驟S120中，進一步包括：

S121：根據所述拉花學習指令執行信息采集后，獲取檢測區域內的若干圖像信息；

S122：按照時間序列依次判斷各所述圖像信息中是否具有包括第一基底杯具和第一拉花杯具在內的拉花模仿對象，輸出各所述圖像信息的判斷結果；

S123：在所述判斷結果中，所述圖像信息不具有所述拉花模仿對象時，重復步驟S122，進行下一所述圖像信息的判斷，否則進入步驟S130中。

3.如權利要求1所述的基于視覺追隨的拉花軌跡采集方法，其特征在于，在步驟S500之后，還包括：通過所述第一特征點的坐標軌跡拆解，獲取拉花圖案軌跡和拉花動作軌跡；

其中，所述拉花圖案軌跡表現為標記在所述拉花杯出料口的所述第一特征點的運動軌跡；

所述拉花動作軌跡為通過多個所述第一特征點表現所述第一基底杯具和所述第一拉花杯具移動以及傾斜運動軌跡。

4.如權利要求3所述的基于視覺追隨的拉花軌跡采集方法，其特征在于，對所述結束時間所在的所述圖像信息中，將所述第一基底杯具中的奶泡圖案作為拉花目標圖案，所述拉花目標圖案與所述拉花圖案軌跡以及所述拉花動作軌跡一一對應。

5.如權利要求4所述的基于視覺追隨的拉花軌跡采集方法，其特征在于，在步驟S150之后還包括將獲取的所述拉花目標圖案、所述拉花圖案軌跡和所述拉花動作軌跡進行數據編碼轉換處理，并對形成的拉花數據包進行保存，以便傳輸給所述飲品制備機器人，以使所述飲品制備機器人根據觸發的所述拉花目標圖案執行相應軌跡的飲品拉花。

6.如權利要求2所述的基于視覺追隨的拉花軌跡采集方法，其特征在于，在步驟S122中，判斷各所述圖像信息中是否具有包括第一基底杯具和第一拉花杯具在內的拉花模仿對象的方法為，

預設拉花模仿對象的多個關鍵特征信息，將所述關鍵特征信息與所述圖像信息進行匹配，當所述圖像信息中包括所有所述關鍵特征信息時，判斷為所述圖像信息中具有拉花模仿對象。

7.如權利要求6所述的基于視覺追隨的拉花軌跡采集方法，其特征在于，在步驟S130中，對所述拉花模仿對象進行若干第一特征點標記中，所述第一特征點包括所述關鍵特征信息，且包括所述關鍵特征信息在內的所述第一特征點分布于所述第一基底杯具和所述第一拉花杯具上。