DEVIANT：开启单目3D物体检测新篇章

admin 3个月前 (01-22) 阅读数 53 #开源软件项目

在现代神经网络中，卷积操作对于任意的二维平移具有不变性。然而，这些基础块对于投影平面上的任意三维平移（\(t_x, t_y, t_z\)）并不具有不变性。尽管如此，所有的单目3D检测器都使用这些基础块来获取三维坐标，而这并非这些基础块设计之初的目的。本文介绍的DEVIANT项目，是迈向投影平面上任意三维平移不变性卷积的第一步。由于深度信息在单目检测中是最难估计的，DEVIANT网络采用现有的尺度不变性可导向块构建，使其在投影平面上对深度平移（\(t_z\)）具有不变性。

## 项目介绍

DEVIANT（Depth EquiVarIAnt NeTwork）是一种为单目3D物体检测设计的网络，具有深度平移不变性的特点。该网络在KITTI和Waymo数据集上取得了领先的单目3D检测效果，甚至在跨数据集评估中也优于传统的网络。

## 项目及技术应用场景

DEVIANT网络的核心应用场景是单目3D物体检测，这在自动驾驶、机器人视觉等领域有着广泛的应用。通过深度平移不变性，DEVIANT网络能够在单目相机的情况下，更准确、更稳定地预测物体的三维坐标。

## 核心功能解析

### 深度平移不变性

DEVIANT网络通过采用尺度不变性可导向块（SES块），在投影平面上对深度平移具有不变性。这使得网络能够学习到更一致的深度估计，从而提高检测的准确性。

### 数据集支持

DEVIANT项目支持KITTI、nuScenes和Waymo等多个数据集，这意味着它可以在多种不同的环境和场景下进行训练和测试。

## 安装与配置指南

### 环境搭建

- Python 3.7
- PyTorch 1.10
- Torchvision 0.11
- Cuda 11.3
- Ubuntu 18.04/Debian 8.9

项目使用了NVIDIA A100 GPU进行测试，其他平台尚未进行测试。

### 数据集准备

根据[data_setup_README.md](data/data_setup_README.md)中的说明，设置KITTI、nuScenes和Waymo数据集。

### 模型训练

运行以下命令开始模型训练：

```bash
chmod +x scripts_training.sh
./scripts_training.sh
```

## 实战案例分析

通过项目提供的模型动物园，我们可以看到DEVIANT网络在不同数据集和不同配置下的表现。例如，在KITTI Val数据集上，DEVIANT网络在All（0.7）类别下达到了24.63的AP40值。

## 常见问题解答

- **如何在不同版本的CUDA上进行推理？** 在推理前，可以通过设置CUDA环境变量来指定CUDA版本。
- **如何检查Waymo数据集版本？** 使用`waymo_check.py`脚本来检查数据集版本。

## 发展历程与未来展望

DEVIANT项目基于GUP Net、GrooMeD-NMS、SiamSE等开源项目，并在此基础上进行了改进和创新。未来，项目团队将继续优化网络结构，提高检测性能，并拓展到更多的应用场景中。

通过DEVIANT项目，我们看到了单目3D物体检测领域的新的可能性，也为自动驾驶等领域的发展提供了新的技术支持。

版权声明

本文版权归开源软件库所有，未得允许禁止转裁。