[發明專利]基于卷積神經網絡的視頻采集方法和視頻采集系統

在審

• 申請號: 202010632493.6
• 申請日: 2020-07-02
• 公開（公告）號: CN112001224A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 王宇;宗文
• 申請（專利權）人: 北京奧維視訊科技有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/08
• 代理公司: 北京律和信知識產權代理事務所(普通合伙) 11446
• 代理人: 郝文博

1.一種基于卷積神經網絡的視頻采集方法，包括：

S101：接收視頻采集裝置獲取的視頻；

S102：通過卷積神經網絡模型，在所述視頻的視頻幀中提取關鍵部位；

S103：根據所述關鍵部位的檢測信息和定位信息，調整所述視頻采集裝置的物理參數。

2.如權利要求1所述的視頻采集方法，還包括：通過以下步驟建立所述卷積神經網絡模型：

選擇模型和訓練框架；

建立標注所述關鍵部位的訓練集；

利用所述模型和訓練框架對所述訓練集進行訓練，輸出所述卷積神經網絡模型的模型拓撲和參數。

3.如權利要求2所述的視頻采集方法，其中所述模型包括R-CNN模型、Fast R-CNN模型、Faster R-CNN模型、Mask R-CNN模型中的一個，其中所述視頻采集方法還包括：

在所述視頻幀的預定區域中選擇多個方框，作為所述關鍵部位的檢測和定位信息的備選方案。

4.如權利要求1-3中任一項所述的視頻采集方法，其中所述步驟S102包括：通過所述卷積神經網絡模型，在所述視頻的多幀視頻幀中提取所述關鍵部位，

其中所述視頻采集方法還包括：當在預設數目的連續多幀中均檢測到同一關鍵部位時，且所述同一關鍵部位在所述連續多幀中的坐標差異和/或尺寸差異小于閾值時，判斷所述同一關鍵部位的檢測具有一致性，

其中所述步驟S103包括：當所有的同一關鍵部位的檢測具有一致性時，根據所述關鍵部位的檢測信息和定位信息，調整所述視頻采集裝置的物理參數。

5.如權利要求4所述的視頻采集方法，還包括：判斷不同的關鍵部位是否符合預設位置關系；當不同的關鍵部位符合預設位置關系時，確定所述關鍵部位的檢測正常；

其中所述步驟S103包括：當不同的關鍵部位符合預設位置關系、且所有的同一關鍵部位的檢測具有一致性時，根據所述關鍵部位的檢測信息和定位信息，調整所述視頻采集裝置的物理參數。

6.如權利要求5所述的視頻采集方法，其中所述關鍵部位包括手術醫師的手部和患者的手術部位，所述物理參數包括所述視頻采集裝置的角度和焦距。

7.如權利要求6所述的視頻采集方法，其中所述步驟S103包括：通過以下方式調節所述視頻采集裝置的角度：

預設滑動時間窗的長度為N3幀，代表一關鍵部位的運動軌跡的一系列位移矢量為其中0≤iN3，所述視頻采集裝置的角度調整后所述關鍵部位的位移矢量為ADJ_k，ADJ_k的幅值滿足：

8.如權利要求7所述的視頻采集方法，其中ADJ_k的幅值應滿足

其中γ1。

9.如權利要求8所述的視頻采集方法，其中所述步驟S103包括：

對于計算出的ADJ_k，確定經過如此調整之后所述關鍵部位是否依然落在特定視場區域內：

如果落在特定視場區域內，根據所述計算出的ADJ_k調整所述視頻采集裝置的角度；否則，則增大或減小γ的取值重新計算ADJ_k，直到Object_k能夠落在所述特定視場區域之內。

10.如權利要求6所述的視頻采集方法，其中所述步驟S103包括：根據所述關鍵部位在視頻幀中所占的比例，調節所述視頻采集裝置的焦距。

11.一種視頻采集系統，包括：

視頻采集裝置，配置成可實時采集視頻；

圖像處理單元，所述圖像處理單元與所述視頻采集裝置通訊以接收所述視頻采集裝置采集的視頻，并配置成可執行如權利要求1-10中任一項所述的視頻采集方法，并調整所述視頻采集裝置的物理參數。