Калібрування камери для датасету Nuscenes із використанням радару: детальний огляд та практичне використання

3 Березня 2024 в 13:35 129

У сфері комп’ютерного зору та обробки зображень калібрування камер є ключовим етапом у розв’язанні різноманітних завдань, таких як відстеження об’єктів, розпізнавання облич, визначення розмірів та відстаней до об’єктів на зображеннях. Однак, інтеграція радарних даних в процес калібрування камер стає все більш актуальною, особливо в контексті використання датасетів, які включають в себе інформацію від радарів, лідарів та інших сенсорів. У цій статті ми розглянемо процес калібрування камери для датасету Nuscenes, зосередившись на використанні радарних даних.

Однією з ключових задач у калібруванні камер є отримання матриці проекції, яка дозволяє перетворити тривимірні об’єкти у двовимірні координати на зображенні. Для цього необхідно мати точні дані про екструзії (трансформації) різних сенсорів в системі координат камери. У випадку використання радарних даних, нам потрібні екструзії радару щодо лідару та камери.

Одним зі способів отримання матриці проекції для радару є використання даних про трансформації (екструзії) радару щодо камери. Для цього ми можемо скористатися інформацією про трансформації лідару та камери щодо світу, а також трансформацію радару щодо лідару.

# Python код для обчислення матриці проекції
import numpy as np
from pyquaternion import Quaternion
# Деталі трансформації радару
radar_translation = np.array([2.422, 0.8, 0.78])
radar_rotation_quaternion = Quaternion([0.7028982997921758, 0.0, 0.0, 0.7112903627557937])
radar_rotation_matrix = radar_rotation_quaternion.rotation_matrix
radar_transformation_matrix = np.eye(4)
radar_transformation_matrix[:3, :3] = radar_rotation_matrix
radar_transformation_matrix[:3, 3] = radar_translation
# Деталі трансформації камери
camera_translation = np.array([1.5752559464, 0.500519383135, 1.50696032589])
camera_rotation_quaternion = Quaternion([0.6812088525125634, -0.6687507165046241, 0.2101702448905517, -0.21108161122114324])
camera_rotation_matrix = camera_rotation_quaternion.rotation_matrix
camera_transformation_matrix = np.eye(4)
camera_transformation_matrix[:3, :3] = camera_rotation_matrix
camera_transformation_matrix[:3, 3] = camera_translation
# Деталі трансформації лідару
lidar_translation = np.array([0.985793, 0.0, 1.84019])
lidar_rotation_quaternion = Quaternion([0.706749235646644, -0.015300993788500868, 0.01739745181256607, -0.7070846669051719])
lidar_rotation_matrix = lidar_rotation_quaternion.rotation_matrix
lidar_transformation_matrix = np.eye(4)
lidar_transformation_matrix[:3, :3] = lidar_rotation_matrix
lidar_transformation_matrix[:3, 3] = lidar_translation
# Обчислити комбіновану трансформацію
combined_transformation_matrix = (np.linalg.inv(camera_transformation_matrix)) @ (np.linalg.inv(lidar_transformation_matrix)) @ (np.linalg.inv(radar_transformation_matrix))
print("Combined Transformation Matrix (4x4):\n", combined_transformation_matrix)
# Отримання матриці проекції
projection = np.dot(cam_int, combined_transformation_matrix)

# Python код для обчислення матриці проекції

import numpy as np

from pyquaternion import Quaternion

# Деталі трансформації радару

radar_translation = np.array([2.422, 0.8, 0.78])

radar_rotation_quaternion = Quaternion([0.7028982997921758, 0.0, 0.0, 0.7112903627557937])

radar_rotation_matrix = radar_rotation_quaternion.rotation_matrix

radar_transformation_matrix = np.eye(4)

radar_transformation_matrix[:3, :3] = radar_rotation_matrix

radar_transformation_matrix[:3, 3] = radar_translation

# Деталі трансформації камери

camera_translation = np.array([1.5752559464, 0.500519383135, 1.50696032589])

camera_rotation_quaternion = Quaternion([0.6812088525125634, -0.6687507165046241, 0.2101702448905517, -0.21108161122114324])

camera_rotation_matrix = camera_rotation_quaternion.rotation_matrix

camera_transformation_matrix = np.eye(4)

camera_transformation_matrix[:3, :3] = camera_rotation_matrix

camera_transformation_matrix[:3, 3] = camera_translation

# Деталі трансформації лідару

lidar_translation = np.array([0.985793, 0.0, 1.84019])

lidar_rotation_quaternion = Quaternion([0.706749235646644, -0.015300993788500868, 0.01739745181256607, -0.7070846669051719])

lidar_rotation_matrix = lidar_rotation_quaternion.rotation_matrix

lidar_transformation_matrix = np.eye(4)

lidar_transformation_matrix[:3, :3] = lidar_rotation_matrix

lidar_transformation_matrix[:3, 3] = lidar_translation

# Обчислити комбіновану трансформацію

combined_transformation_matrix = (np.linalg.inv(camera_transformation_matrix)) @ (np.linalg.inv(lidar_transformation_matrix)) @ (np.linalg.inv(radar_transformation_matrix))

print("Combined Transformation Matrix (4x4):\n", combined_transformation_matrix)

# Отримання матриці проекції

projection = np.dot(cam_int, combined_transformation_matrix)

Отже, ми здійснили успішний розрахунок матриці проекції для радару в контексті датасету Nuscenes. Цей підхід дозволяє точно визначити положення об’єктів на зображеннях за допомогою радарних даних, що робить його важливим інструментом у різних завданнях машинного зору та автономних систем.

Необхідно зазначити, що в реальних умовах залежно від конкретної задачі та особливостей датасету можуть виникати додаткові складнощі, які потребують уточнення або адаптації методів калібрування. Однак, базовий підхід, описаний у цій статті, надає загальний фреймворк для калібрування камери з використанням радарних даних в контексті датасету Nuscenes.