[發明專利]一種清淤機器人遠程操控視頻數據與音頻數據同步的方法

在審

• 申請號: 201911079066.3
• 申請日: 2019-11-07
• 公開（公告）號: CN110753166A
• 公開（公告）日: 2020-02-04
• 發明（設計）人: 路振芳
• 申請（專利權）人: 金華深聯網絡科技有限公司
• 主分類號: H04N5/04
• 分類號: H04N5/04;H04N7/18;G10L25/51;G10L25/57
• 代理公司: 43218 長沙市標致專利代理事務所(普通合伙)
• 代理人: 徐邵華

本發明公開了一種清淤機器人遠程操控視頻數據與音頻數據同步的方法，包括如下步驟：步驟一，獲取音頻信號的特征時間點t1，方法如下：獲取一段音頻信號，對音頻信號的響度dB求導，得到響度的導數dB’,進而得到響度的導數dB’的最大值所對應的時刻，該時刻即為t1；步驟二，獲取視頻信號的特征時間點t2，方法如下：獲取一段視頻信號，對視頻中的清淤機器人機械手的移動速度v求導，進而得到清淤機器人機械手的加速度a的最大值所對應的時刻，該時刻即為t2；通過本發明的技術方案，實現了遠程操作員端的聲音和視頻的同步，避免了聲音信號和視頻信號不同步對操作員的干擾，提高了清淤機器人遠程操作的效率和安全性。

技術領域

本技術屬于清淤機器人遠程操控領域，具體涉及一種清淤機器人遠程操控視頻數據與音頻數據同步的方法。

背景技術

清淤機器人用于城市下水管道的疏通，具有作業效率高、施工速度快等優點。為了解決在特殊環境中的清淤機器人操作問題，現有技術普遍采用遠程操控的方式，即，操作員在遠程、安全的環境中操控清淤機器人進行施工作業，現場的視頻、聲音等信號傳輸到操作員端，操作員的操作信號傳輸到清淤機器人端；上述清淤機器人端的視頻、音頻信號傳輸到操作員端時，由于聲音信號和視頻信號的傳輸速度不同，導致聲音信號和視頻信號不同步，進而干擾操作員的操作。

發明內容

針對上述問題，本方案提出了一種清淤機器人遠程操控視頻數據與音頻數據同步的方法，可以實現遠程操作員端的聲音和視頻的同步。

本發明的技術方案如下：

一種清淤機器人遠程操控視頻數據與音頻數據同步的方法，包括如下步驟：

步驟一，獲取音頻信號的特征時間點t1，方法如下：

獲取一段音頻信號，對音頻信號的響度dB求導，得到響度的導數dB’,進而得到響度的導數dB’的最大值所對應的時刻，該時刻即為t1；

步驟二，獲取視頻信號的特征時間點t2，方法如下：

獲取一段視頻信號，對視頻中的清淤機器人機械手的移動速度v求導，得到清淤機器人機械手的加速度a，進而得到清淤機器人機械手的加速度a的最大值所對應的時刻，該時刻即為t2；

步驟三，

計算Δt＝|t1-t2|，并與預先設定的閾值Cmax進行比較，如果Δt>Cmax成立，說明計算出現異常，需要重新開始計算；如果Δt>Cmax不成立，說明本次計算有效，可以用Δt對音頻信號或視頻信號進行同步校正，方法如下：

如果t1>t2成立，說明音頻信號存在滯后，此時需要音頻信號提前Δt+C,如果t1>t2不成立，說明視頻信號存在滯后，此時需要視頻信號提前Δt+C；其中，C為預設的常數；

進一步的，預設的常數C＝0。

本發明的原理如下：

首先，需要獲取音頻信號的特征時間點t1，其方法如下：

獲取一段音頻信號，對音頻信號的響度dB求導，得到響度的導數dB’,進而得到響度的導數dB’的最大值所對應的時刻，該時刻即為t1。

然后，需要獲取視頻信號的特征時間點t2，其方法如下：

獲取一段視頻信號，對視頻中的清淤機器人機械手的移動速度v求導，得到清淤機器人機械手的加速度a，進而得到清淤機器人機械手加速度a的最大值所對應的時刻，該時刻即為t2。

計算Δt＝|t1-t2|，并與預先設定的閾值Cmax進行比較，如果Δt>Cmax成立，說明計算出現異常，需要重新開始計算；如果Δt>Cmax不成立，說明本次計算有效，可以用Δt對音頻信號或視頻信號進行同步校正，方法如下：