Feature Extraction
Transformers
Safetensors
English
modernbert
autonomous-driving
structured-output
compositional-semantics
research-only
text-embeddings-inference
Instructions to use UNIC0RN-Zhu/modernbert-drive-command-base with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use UNIC0RN-Zhu/modernbert-drive-command-base with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("feature-extraction", model="UNIC0RN-Zhu/modernbert-drive-command-base")# Load model directly from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("UNIC0RN-Zhu/modernbert-drive-command-base") model = AutoModel.from_pretrained("UNIC0RN-Zhu/modernbert-drive-command-base", device_map="auto") - Notebooks
- Google Colab
- Kaggle
Upload README.md with huggingface_hub
Browse files
README.md
CHANGED
|
@@ -16,17 +16,17 @@ tags:
|
|
| 16 |
|
| 17 |
> 仅限非商业学术、科研、教学和个人实验,必须免费提供;不得用于车辆或机器人运行,也不得用于可能造成人身伤害或财产损失的高风险用途。完整约束见 `LICENSE`、`NOTICE` 和 `licenses/` 中的上游许可。
|
| 18 |
|
| 19 |
-
该
|
| 20 |
|
| 21 |
```text
|
| 22 |
-
/root/autodl-tmp/models/modernbert-drive-command-
|
| 23 |
```
|
| 24 |
|
| 25 |
## 训练配置
|
| 26 |
|
| 27 |
- Backbone:ModernBERT-base
|
| 28 |
- 硬件:RTX 5090,BF16,CUDA/SM120
|
| 29 |
-
- 任务:动作、状态、类别、紧急度、方向、速度变化六头多任务分类
|
| 30 |
- 语料:662,700条英文伪标签,按规范化文本分组切分为70%/20%/10%
|
| 31 |
- 训练:第一阶段1 epoch,学习率3e-5;第二阶段1 epoch,学习率1e-5
|
| 32 |
- 校准:仅使用132,540条验证集逐类选择动作和方向阈值
|
|
@@ -47,10 +47,14 @@ tags:
|
|
| 47 |
|
| 48 |
1,000条端到端解析中,动作exact match为99.30%,P95解析时延为12.97ms。所有准确率均是对伪标签教师的一致率,不是人工金标准或真实道路准确率。
|
| 49 |
|
|
|
|
|
|
|
| 50 |
## 文件
|
| 51 |
|
| 52 |
- `model.safetensors`:ModernBERT backbone权重
|
| 53 |
- `multitask_heads.pt`:六个任务头权重
|
|
|
|
|
|
|
| 54 |
- `inference_config.json`:验证集校准阈值及校准前后指标
|
| 55 |
- `label_schema.json`:六类输出标签顺序
|
| 56 |
- `training_summary.json`:第二阶段训练配置和验证结果
|
|
@@ -65,4 +69,17 @@ tags:
|
|
| 65 |
|
| 66 |
模型可以在学术或科研基础上免费发布,但不得用于商业用途、真实或模拟车辆/机器人运行,以及其他高风险用途。任何使用者都必须自行阅读并遵守上游许可;本模型不构成自动驾驶安全认证。
|
| 67 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 68 |
|
|
|
|
|
|
| 16 |
|
| 17 |
> 仅限非商业学术、科研、教学和个人实验,必须免费提供;不得用于车辆或机器人运行,也不得用于可能造成人身伤害或财产损失的高风险用途。完整约束见 `LICENSE`、`NOTICE` 和 `licenses/` 中的上游许可。
|
| 18 |
|
| 19 |
+
该仓库是英文驾驶指令解析的运行时权重,包含 1.1.0 多任务分类器和 1.2.0 组合语义扩展。推荐部署路径为:
|
| 20 |
|
| 21 |
```text
|
| 22 |
+
/root/autodl-tmp/models/modernbert-drive-command-compositional
|
| 23 |
```
|
| 24 |
|
| 25 |
## 训练配置
|
| 26 |
|
| 27 |
- Backbone:ModernBERT-base
|
| 28 |
- 硬件:RTX 5090,BF16,CUDA/SM120
|
| 29 |
+
- 任务:动作、状态、类别、紧急度、方向、速度变化六头多任务分类,以及实体/关系 token 分类
|
| 30 |
- 语料:662,700条英文伪标签,按规范化文本分组切分为70%/20%/10%
|
| 31 |
- 训练:第一阶段1 epoch,学习率3e-5;第二阶段1 epoch,学习率1e-5
|
| 32 |
- 校准:仅使用132,540条验证集逐类选择动作和方向阈值
|
|
|
|
| 47 |
|
| 48 |
1,000条端到端解析中,动作exact match为99.30%,P95解析时延为12.97ms。所有准确率均是对伪标签教师的一致率,不是人工金标准或真实道路准确率。
|
| 49 |
|
| 50 |
+
1.2.0 组合语义扩展冻结 ModernBERT backbone,在 3,288 条训练样本上训练实体/关系 token 头;1,065 条验证样本的最佳 token-F1 为 99.49%。由 175 条样本组成的组合语义开发回归集在规则校准后达到 100% 图结构 exact match,P95 端到端解析时延为 87.02ms。该结果用于开发回归闭环,不代表独立真实道路泛化性能。
|
| 51 |
+
|
| 52 |
## 文件
|
| 53 |
|
| 54 |
- `model.safetensors`:ModernBERT backbone权重
|
| 55 |
- `multitask_heads.pt`:六个任务头权重
|
| 56 |
+
- `semantic_token_head.pt`:1.2.0 实体/关系 token 头
|
| 57 |
+
- `semantic_token_head_metrics.json`:语义 token 头训练与验证指标
|
| 58 |
- `inference_config.json`:验证集校准阈值及校准前后指标
|
| 59 |
- `label_schema.json`:六类输出标签顺序
|
| 60 |
- `training_summary.json`:第二阶段训练配置和验证结果
|
|
|
|
| 69 |
|
| 70 |
模型可以在学术或科研基础上免费发布,但不得用于商业用途、真实或模拟车辆/机器人运行,以及其他高风险用途。任何使用者都必须自行阅读并遵守上游许可;本模型不构成自动驾驶安全认证。
|
| 71 |
|
| 72 |
+
## 运行
|
| 73 |
+
|
| 74 |
+
```python
|
| 75 |
+
from structured_command_parser.src.modernbert_parser import ModernBertEnglishIntentParser
|
| 76 |
+
|
| 77 |
+
parser = ModernBertEnglishIntentParser(
|
| 78 |
+
"/root/autodl-tmp/models/modernbert-drive-command-compositional",
|
| 79 |
+
device="cuda",
|
| 80 |
+
)
|
| 81 |
+
parser.warmup()
|
| 82 |
+
document = parser.parse("Slow down and stop before the red truck.")
|
| 83 |
+
```
|
| 84 |
|
| 85 |
+
实验链路必须在接受请求前调用`warmup()`,并保留规则短路与下游安全校验。
|