---
license: agpl-3.0
library_name: ultralytics
pipeline_tag: object-detection
tags:
  - ultralytics
  - yolo11
  - autonomous-driving
  - carla
  - object-detection
---

# YOLO11s Drive Scene CARLA v1

面向智能驾驶场景理解的 YOLO11s 目标检测模型。模型在通用道路数据基础上进行了 CARLA 0.9.16 域适配，用于实时识别车辆、行人、骑行者、摩托车、交通灯、交通标志、交通锥和道路护栏。

该模型是 `LMM-in-AutoDrive/scene_understanding` 模块的默认实时检测权重。模型只提供二维目标检测结果，不直接生成驾驶决策。

## 模型信息

- 基础模型：Ultralytics YOLO11s
- 任务：二维目标检测
- 输入分辨率：`640 x 640`
- 默认置信度阈值：`0.10`
- 推理框架：Ultralytics
- 验证系统：Linux、Python 3.12.13
- 验证硬件：NVIDIA GeForce RTX 5090
- 权重文件：`best.pt`
- 权重大小：19,164,762 字节
- 许可证：AGPL-3.0
- 项目仓库：[ZhuShanzhe/LMM-in-AutoDrive](https://github.com/ZhuShanzhe/LMM-in-AutoDrive)

## 检测类别

| ID | 类别 | 含义 |
|---:|---|---|
| 0 | `vehicle` | 汽车、公交车、卡车等机动车 |
| 1 | `pedestrian` | 行人 |
| 2 | `cyclist` | 自行车骑行者 |
| 3 | `motorcycle` | 摩托车及摩托车骑行者 |
| 4 | `traffic_light` | 交通灯 |
| 5 | `traffic_sign` | 交通标志 |
| 6 | `traffic_cone` | 交通锥 |
| 7 | `road_barrier` | 道路护栏和隔离设施 |

## 训练数据

训练和域适配使用了：

- BDD100K 道路场景数据；
- nuScenes 多相机道路场景数据；
- CARLA 0.9.16 仿真数据；
- CARLA 行人横穿、前车紧急制动、城市道路和交通灯场景。

数据集不包含在本模型仓库中。使用者必须分别遵守 BDD100K、nuScenes 和 CARLA 的许可与使用条款。

## 验证结果

总体指标：

| 指标 | 结果 |
|---|---:|
| Precision | 0.6786 |
| Recall | 0.4974 |
| mAP50 | 0.5405 |
| mAP50-95 | 0.2643 |

分类指标：

| 类别 | Precision | Recall | mAP50 | mAP50-95 |
|---|---:|---:|---:|---:|
| `vehicle` | 0.7981 | 0.6970 | 0.7655 | 0.4736 |
| `pedestrian` | 0.7291 | 0.4813 | 0.5515 | 0.2571 |
| `cyclist` | 0.5836 | 0.3022 | 0.3374 | 0.1677 |
| `motorcycle` | 0.6235 | 0.3268 | 0.3435 | 0.1641 |
| `traffic_light` | 0.6548 | 0.5782 | 0.5837 | 0.2149 |
| `traffic_sign` | 0.7107 | 0.5375 | 0.6013 | 0.3046 |
| `traffic_cone` | 0.6485 | 0.5356 | 0.5778 | 0.2495 |
| `road_barrier` | 0.6806 | 0.5204 | 0.5632 | 0.2830 |

Ultralytics 验证记录中的 RTX 5090 单图阶段时延：

| 阶段 | 时延 |
|---|---:|
| 预处理 | 0.2405 ms/image |
| 模型推理 | 0.5276 ms/image |
| 后处理 | 0.3502 ms/image |
| 三阶段合计 | 1.1184 ms/image |

该数字来自当前验证配置，不包含图像采集、跨进程传输、跟踪、车道处理、语义对齐和下游决策。

## 下载

```bash
hf download UNIC0RN-Zhu/yolo11s-drive-scene-carla-v1 \
  --local-dir ./models/yolo11s-drive-scene-carla-v1
```

## 推理

```bash
pip install ultralytics
```

```python
from ultralytics import YOLO

model = YOLO("./models/yolo11s-drive-scene-carla-v1/best.pt")
results = model.predict(
    source="frame.jpg",
    imgsz=640,
    conf=0.10,
    device=0,
)

for result in results:
    print(result.boxes.xyxy)
    print(result.boxes.conf)
    print(result.boxes.cls)
```

完整项目链路应通过 `scene_understanding` 模块加载该权重，以获得项目约定的实体 ID、类别映射和下游数据结构。

## 文件

| 文件 | 说明 |
|---|---|
| `best.pt` | CARLA 域适配后的 YOLO11s 权重 |
| `args.yaml` | Ultralytics 训练参数 |
| `validation_metrics.json` | 总体和分类验证指标 |
| `results.csv` | 训练过程逐轮指标 |
| `SHA256SUMS` | 权重校验和 |
| `LICENSE` | 完整 GNU AGPL-3.0 文本 |
| `README.md` | 模型卡 |

权重 SHA256：

```text
a96c29ef518990f410f54ec2c4a4ef617b2b184996c2b980eb44072243070c44  best.pt
```

## 限制与安全

- 验证集上的总体召回率为 49.74%，不能将该检测器视为安全完备的感知系统。
- `cyclist` 和 `motorcycle` 的召回率分别约为 30.22% 和 32.68%，是当前主要短板。
- 模型受到训练数据、天气、相机视角、距离、遮挡和仿真到真实域差异影响。
- `conf=0.10` 用于提高候选召回率，必须由跟踪器、语义对齐和安全模块过滤误检。
- 模型不检测车道拓扑，不完成多帧跟踪，也不直接输出控制指令。
- 不得仅依靠本模型输出控制真实车辆；本模型不构成自动驾驶安全认证。

## 权重安全

`best.pt` 是 Ultralytics/PyTorch checkpoint。PyTorch checkpoint 可能包含 pickle 序列化对象，只应从可信仓库加载。仓库中公布了 SHA256，下载后应先核验：

```bash
sha256sum -c SHA256SUMS
```

## 许可证

本仓库中的 YOLO11s 派生权重和相关发布文件采用 GNU AGPL-3.0。完整条款见 `LICENSE`。使用者还必须遵守训练数据集各自的许可条款。