[發(fā)明專利]一種基于多元圖像融合的智能化掉篩遠程檢測方法

有效

• 申請?zhí)枺?/td>: 202011189819.9
• 申請日: 2020-10-30
• 公開（公告）號: CN112422818B
• 公開（公告）日: 2022-01-07
• 發(fā)明（設(shè)計）人: 彭晨;鄭偉;楊明錦;王海寬;王玉龍
• 申請（專利權(quán)）人: 上海大學(xué)
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/353;H04W84/12;G06T5/00;G06T5/30;G06T7/00;G06T7/50;G06T7/90
• 代理公司: 上海上大專利事務(wù)所(普通合伙) 31205
• 代理人: 何文欣

1.一種基于多元圖像融合的智能化掉篩遠程檢測方法，其特征在于，操作步驟如下：

步驟1、綁定深度相機與彩色相機，根據(jù)兩相機拍攝的篩板范圍以及信號強度，確定相機的理想高度與數(shù)量；

步驟2、搭建無線局域網(wǎng)，實現(xiàn)深度相機與工控機之間的無線通信；

步驟3、搭建無線局域網(wǎng)下的樹莓派視頻服務(wù)器，實現(xiàn)彩色相機與工控機之間的無線通信；

步驟4、畫面校準：校準深度相機與彩色相機的畫面，使畫面統(tǒng)一；

步驟5、深度數(shù)據(jù)預(yù)處理：濾除干擾信號，將深度信息轉(zhuǎn)換成偽彩色圖；

步驟6、利用彩色相機對篩板進行識別與定位，確定篩板的坐標；

步驟7、利用深度相機采集定位區(qū)域深度信息，設(shè)定深度信息的變化閾值，判斷篩板是否發(fā)生故障并做出記錄與警報提示。

2.根據(jù)權(quán)利要求1所述的一種基于多元圖像融合的智能化掉篩遠程檢測方法，其特征在于，所述步驟1的具體操作步驟如下：

步驟1.1：將深度相機與彩色相機綁定，結(jié)合畫面拍攝到的篩板數(shù)量與畫面的信號強度，置于工作高度范圍；畫面的邊緣應(yīng)無篩板，便于步驟3中的畫面校準；當深度圖像中過曝點較多時，由于深度相機發(fā)射到物料表面的光較多，通過抬高相機的高度或降低深度相機的積分時間進行彌補；

步驟1.2：安裝相機，分別調(diào)節(jié)深度相機與彩色相機的焦距，使篩板清晰顯示；

步驟1.3：根據(jù)上述步驟，最終確定所需設(shè)備的數(shù)量，以覆蓋整個脫介篩篩面。

3.根據(jù)權(quán)利要求1所述的一種基于多元圖像融合的智能化掉篩遠程檢測方法，其特征在于，所述步驟2的具體操作步驟如下：

步驟2.1：實現(xiàn)同一局域網(wǎng)下工控機與深度相機的通信，工控機與深度相機之間采用Socket通信；工控機首先向深度相機發(fā)送連接請求指令，該指令完成了工控機對深度相機發(fā)送指令的請求，同時告知深度相機準備連接，深度相機接收到指令后進行初始化，主要包括過曝點使能指令、積分時間使能指令；

步驟2.2：深度相機在初始化之后，向工控機發(fā)送獲取深度數(shù)據(jù)指令、信號強度指令和底層芯片溫度指令，實現(xiàn)工控機獲取深度相機的數(shù)據(jù)；

步驟2.3：工控機在接收到深度相機的指令后，發(fā)送獲取深度數(shù)據(jù)指令，此時深度相機開始采集數(shù)據(jù)，采集的數(shù)據(jù)以流的形式發(fā)送至工控機；工控機保存原始數(shù)據(jù)，并將原始數(shù)據(jù)解析為二維數(shù)組，最終完成“三次握手”實現(xiàn)通信。

4.根據(jù)權(quán)利要求1所述的一種基于多元圖像融合的智能化掉篩遠程檢測方法，其特征在于，所述步驟3的具體操作步驟如下：

步驟3.1：視頻服務(wù)器的主線程，初始化靜態(tài)全局結(jié)構(gòu)體global，具體為首先定義好各個組件的輸入與輸出，以功能模塊為單位來進行描述，并且在組件之間建立鏈接關(guān)系；

步驟3.2：視頻服務(wù)器采集圖像線程，即cam_thread線程，該線程包含一個循環(huán)，用戶只要沒有按下Ctrl+C，全局變量global中的stop位仍為0，循環(huán)就會永遠繼續(xù)下去；抓圖函數(shù)uvcGrab以阻塞方式等待圖像數(shù)據(jù)，捕獲并處理了一幀視頻之后，用函數(shù)memcpy_picture拷貝圖像至全局緩沖區(qū)，再用函數(shù)pthread_cond_broadcast通知所有阻塞住并等待數(shù)據(jù)的客戶端線程；

步驟3.3：視頻服務(wù)器圖像輸出線程，即server_thread線程，同cam_thread線程一樣，此線程包含一個循環(huán)，只要用戶沒有按下Ctrl+C，全局變量global中的stop位仍為0，循環(huán)就會永遠繼續(xù)下去；server_thread線程將運行一個TCP服務(wù)器，TCP服務(wù)器線程負責(zé)監(jiān)聽客戶端請求，一旦有請求就創(chuàng)建一個新的客戶端處理線程專門負責(zé)來自此客戶端的HTTP請求；這樣TCP服務(wù)器就可以一直監(jiān)聽客戶端請求，而一個客戶端處理線程只會響應(yīng)一個IP地址的請求，提高視頻服務(wù)器的并發(fā)性；

步驟3.4：客戶端處理線程會通過互斥鎖和條件變量的方式，阻塞并等待全局緩沖區(qū)global中的圖像更新，一旦視頻采集線程更新了全局緩沖區(qū)global中的圖像，客戶端處理線程會解除阻塞，并對全局緩沖區(qū)加鎖，將全局緩沖區(qū)內(nèi)的圖像幀拷貝到發(fā)送緩沖區(qū)，并通過sprintf函數(shù)發(fā)送給客戶端。