[發明專利]一種基于雙目云臺攝像機的船只違法捕撈行為判別方法及系統

有效

• 申請號: 201810336565.5
• 申請日: 2018-04-16
• 公開（公告）號: CN108776937B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 張程;王建華;張山甲;趙明繪
• 申請（專利權）人: 上海海事大學
• 主分類號: G06Q50/02
• 分類號: G06Q50/02;G06Q50/26;G06V20/40;G06V10/77;G06V10/764;G06K9/62;G01S13/88
• 代理公司: 上海互順專利代理事務所(普通合伙) 31332
• 代理人: 余毅勤

1.一種基于雙目云臺攝像機的船只違法捕撈行為判別方法，使用一種基于雙目云臺攝像機的船只違法捕撈行為判別系統，所述基于雙目云臺攝像機的船只違法捕撈行為判別系統包括：雙目云臺攝像機、定位系統、與雙目云臺攝像機連接的圖像分析模塊，與雙目云臺攝像機、圖像分析模塊、定位系統同時連接的船載監控服務器，與船載監控服務器連接的無線收發端，與無線收發端連接的岸基監控服務器；雙目云臺攝像機與圖像分析模塊通過千兆以太網口連接，雙目云臺攝像機與船載監控服務器通過串口連接；圖像分析模塊與船載監控服務器通過USB連接；定位系統與船載監控服務器通過串口連接；無線收發端與船載監控服務器通過串口連接，無線收發端與岸基監控服務器通過海事衛星連接；雙目云臺攝像機、圖像分析模塊、定位系統、船載監控服務器和無線收發端均搭載于無人船上，岸基監控服務器在陸地上；

雙目云臺攝像機采集目標區域圖像，同時將雙目云臺攝像機的云臺轉動角度通過串口傳輸進船載監控服務器，將目標區域圖像通過千兆以太網口傳輸給圖像分析模塊；定位系統向船載監控服務器提供無人船經緯度信息、航向信息；圖像分析模塊處理分析目標區域圖像并通過USB向船載監控服務器傳輸圖像分析處理結果；船載監控服務器接收圖像分析模塊的圖像分析處理結果，同時接收定位系統的經緯度信息和航向信息，依據警報規則對相應的警報信息做出判斷與反應；無線收發端通過海事衛星將船載監控服務器的警報信息和符合警報規則的一幀圖像發送給岸基監控服務器；岸基監控服務器通過海事衛星接收無線收發端的警報信息和符合警報規則的一幀圖像；

其特征在于，所述基于雙目云臺攝像機的船只違法捕撈行為判別方法包括以下步驟：

步驟1：設定違法捕撈的警報規則：違法捕撈的警報規則包括三種類型，分別為禁漁警報，禁入警報，限速警報；

每種警報規則設定方法如下：

步驟11禁漁警報：實時檢測目標區域內船只的外表，通過提取圖像特征點的方法檢測船只外表是否出現漁網或海洋生物的特征，如有，則判斷目標區域內相應船只違法，禁漁警報的具體判別方法如下：

通過雙目云臺攝像機采集目標區域圖像，將采集到的圖像傳輸到圖像分析模塊做空間域銳化處理得到圖像中物體的邊緣信息，之后通過局部直方圖均衡方法增強圖像中的物體邊緣信息，濾波后提取圖像中船只物體輪廓并通過曲線擬合的方式進行總體輪廓的降維處理得到增強輪廓，最后用主成分分析法提取增強輪廓的特征點并通過紋理分析判斷船只外表是否出現漁網以及魚類生物特征判斷該船只是否符合禁漁警報規則；

步驟12禁入警報：根據雙目云臺攝像機云臺轉動角度以及其計算出的無人船與目標區域內船只的距離，結合定位系統的經緯度信息，與目標區域經緯度對比，判斷出船只是否進入禁入區域，如有，則此船只違法；禁入警報的具體判別方法如下：

通過雙目云臺攝像機采集目標區域圖像，將采集到的圖像傳輸到圖像分析模塊做空間域銳化處理，之后通過增強處理，提取圖像中船只物體輪廓，船載監控服務器根據圖像分析模塊的圖像分析處理結果計算出無人船與圖像中船只的距離，再結合定位系統給出的經緯度和航向信息以及雙目云臺攝像機的云臺轉動角度，將搭載該系統的無人船與圖像中船只之間的距離垂直投影到經緯線的方向上，判斷采集到的圖像內的船只在經緯線方向上的投影的經緯度是否超出目標區域的經緯度，也即通過下兩式：

X＝D₁*cos(θ-α)； (1)

Y＝D₁*sin(θ-α)； (2)

式中：X表示為無人船與圖像中的船只之間的距離D₁在經線方向的投影長度，單位為米；Y表示為無人船與圖像中的船只之間的距離D₁在緯線方向的投影長度，單位為米；D₁為無人船與圖像中的船只之間的距離，單位為米；θ為云臺相對于無人船中線面方向順時針轉動的角度，單位為弧度；α為無人船中線面方向相較于經線方向的銳角，單位為弧度；

步驟13限速警報：當目標區域內船只的當前航速低于監管區域設定的最低限速值或高于最高限速值，判斷為違法船只，限速警報的具體判別方法如下：

通過雙目云臺攝像機采集目標區域第一幀圖像，將采集到的圖像傳輸到圖像分析模塊做空間域銳化處理，之后通過增強處理，提取圖像中船只物體輪廓，船載監控服務器根據圖像分析模塊的圖像分析處理結果計算出無人船與圖像中船只的距離，之后間隔一段時間t，再次通過雙目云臺攝像機采集目標區域第二幀圖像，將采集到的圖像傳輸到圖像分析模塊做空間域銳化處理，之后通過增強處理，提取圖像中相同船只物體輪廓，再次計算無人船與圖像中船只的距離，結合下列計算公式計算出船速：

V＝(D₁²+D₂²-2*D₁*D₂*cos(θ))/t； (3)

式中：V為目標船只的船速，單位為m/s；D₁為第一幀圖像中目標船只與無人船的距離，單位為米；D₂為第二幀圖像中目標船只與無人船的距離，單位為米；θ為云臺相對于無人船中線面方向順時針轉動的角度，單位為弧度；t為雙目云臺攝像機兩幀圖像采集的時間間隔，單位為秒；

步驟2：設定目標區域集合A:集合A有多個目標區域，每個目標區域均為規則矩形區域，且矩形區域的長寬方向與經緯線方向一致，每個目標區域均進行步驟1中的警報規則元素的設定，目標區域集合A由目標區域和目標區域警報規則元素構成；

步驟3：判斷船只是否違法：判斷船只是否違法的具體方法如下：

步驟31：獲取步驟2設定的目標區域集合A；

步驟32：選取搭載該系統的船只所在的目標區域A(i)，船載監控服務器通過對接收的圖像分析模塊的圖像分析處理結果、雙目云臺攝像機的云臺轉動角和定位系統的航向、經緯度信息處理，判斷目標區域內船只是否符合目標區域A(i)設定的警報規則,如有，保存符合警報規則的一幀圖像，并且觸發警報；

步驟4：觸發警報：船載監控服務器通過無線收發端發出警報信息和符合警報規則的一幀圖像到岸基監控服務器，完成警報，之后繼續執行步驟3、4。

2.根據權利要求1所述的基于雙目云臺攝像機的船只違法捕撈行為判別方法，其特征在于：步驟1中，限速警報時，目標區域設定的最低限速閾值取值范圍為0.1～4節，最高限速閾值的取值范圍為4～15節。