[發明專利]一種雙目異構相機與RFID的雙重目標定位與身份辨識方法

有效

• 申請號: 202010110245.5
• 申請日: 2020-02-24
• 公開（公告）號: CN111340884B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 周海波;王碩;李晨銘;陳勝勇;楊守瑞;趙萌;沈創蕓;劉彪;韓慧軒;劉淑鍵
• 申請（專利權）人: 天津理工大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T5/00
• 代理公司: 天津賽凌知識產權代理事務所(特殊普通合伙) 12270
• 代理人: 李蕊

1.一種雙目異構相機與RFID的雙重目標定位與身份辨識方法，其特征在于：包括如下步驟：

步驟S1，對雙目異構相機進行標定，建立圖像坐標系與雙目異構相機坐標系映射關系，得到其內參矩陣、外參矩陣和畸變參數；在雙目異構相機進行標定中，主要包括單目相機標定和雙目相機標定兩個過程，通過單目相機標定獲取：相機內參矩陣與畸變參數：徑向畸變系數k1,k2,k3；切向畸變系數：p1,p2；通過雙目相機標定獲得相機的外參矩陣，包括旋轉矩陣Rot，平移矩陣Trans，如下式：

步驟S2，根據相機與機器人之間位姿變換，機器人與養殖場之間位姿變換，獲取相機坐標系到養殖場坐標系的位姿變換矩陣，利用該位姿變換矩陣實現雙目相機三維坐標到養殖場三維坐標的轉換；針對養殖場巡檢環境建立不同的坐標系，包括相機坐標系C、機器人坐標系R以及養殖場整體的世界坐標系w；

在各坐標系中分別建立位姿矩陣，包括旋轉矩陣Rot和平移矩陣Trans，相機坐標系到養殖場坐標系的轉換公式表示為：

步驟S3，采集雙目圖像，檢測目標分別在雙目相機圖像中的區域，然后將兩圖像中相同目標進行匹配為一組，最后提取各組目標的局部圖像；首先將雙目相機采集的圖像利用步驟S1中標定出的畸變參數去除畸變，作為輸入圖像；然后使用目標檢測神經網絡檢測模型對輸入圖像進行目標檢測，得到目標在圖像中所在的區域；最后將兩幅圖像中檢測到的目標進行特征提取與匹配，找出其對應關系，得到目標圖像坐標；

步驟S4，根據目標圖像坐標以及圖像坐標系與世界坐標系的單應性矩陣，計算出目標的相機世界坐標，然后轉換到養殖場世界坐標；首先對步驟S3得到畸變校正后的圖像進行立體校正，把消除畸變后的兩幅圖像在水平方向嚴格的對齊，使得兩幅圖像的對極線恰好在同一水平線上，這樣一幅圖像上任意一點與其在另一幅圖像上的匹配點就必然具有相同的行號，只需要在該行進行一維搜索就可匹配到對應點；

之后，將步驟S3得到的目標圖像坐標進行三維重建，得到目標在雙目相機坐標系下的坐標；

最后，將目標在雙目相機坐標系下的坐標轉換到養殖場坐標系；

步驟S5，利用RFID定位信息，獲得目標的養殖場世界坐標系坐標，以及其身份ID相關信息；

步驟S6，對雙目視覺計算出的養殖場世界坐標與RFID得到的養殖場世界坐標進行坐標匹配，將坐標相同或相近的目標匹配為同一目標，從而將某一目標的位置信息、身份相關信息與圖像信息聯系到一起。