ghy-cmd commited on
Commit
b737c0d
·
verified ·
1 Parent(s): 8abc170

Upload README_zh.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README_zh.md +127 -0
README_zh.md ADDED
@@ -0,0 +1,127 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # 微表情识别与检测
2
+
3
+ **中文文档** | [English](README.md)
4
+
5
+ 基于 PyTorch 的端到端**微表情识别**(短片段)与**长视频微表情检测**框架,内置 Web 可视化平台。
6
+
7
+ 支持数据集:CASME2 / SAMM / SMIC-HS / CAS(ME)³
8
+
9
+ ---
10
+
11
+ ## 快速开始
12
+
13
+ ### 1. 配置环境
14
+
15
+ ```bash
16
+ conda create -n me-env python=3.10
17
+ conda activate me-env
18
+
19
+ # GPU(CUDA 12.1)
20
+ conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
21
+
22
+ # 仅 CPU
23
+ # conda install pytorch torchvision torchaudio cpuonly -c pytorch
24
+
25
+ pip install -r requirements.txt
26
+ ```
27
+
28
+ ### 2. 下载模型权重
29
+
30
+ ```python
31
+ from huggingface_hub import snapshot_download
32
+
33
+ snapshot_download(
34
+ repo_id="ghy-cmd/micro-expression-weights",
35
+ local_dir=".", # 自动还原 checkpoints/ 和 weights/ 目录
36
+ )
37
+ ```
38
+
39
+ ### 3. 启动 Web 平台
40
+
41
+ ```bash
42
+ python -m webapp.app
43
+ # 浏览器访问 http://localhost:5001
44
+ ```
45
+
46
+ ---
47
+
48
+ ## 功能说明
49
+
50
+ | 功能 | 说明 |
51
+ |------|------|
52
+ | **微表情识别** | 上传短视频片段,自动预处理后用模型进行情绪分类 |
53
+ | **长视频微表情检测** | 上传任意长视频,自动人脸裁剪 + 滑窗推理,定位所有微表情区间 |
54
+
55
+ ---
56
+
57
+ ## 模型说明
58
+
59
+ ### 功能一 · 微表情识别
60
+
61
+ 对短片段分类为 **3 类情绪**:正向 / 负向 / 惊讶
62
+
63
+ - HRNet 特征提取器,作用于 onset + apex 帧 → (2, 256, 64, 64)
64
+ - TV-L1 光流(u, v, strain)→ (3, 256, 256)
65
+ - Transformer 编码器,注意力融合(16 头 × 4 阶段,full guidance)
66
+ - LOSO 交叉验证训练,训练集:Composite(CASME2 + SMIC-HS + SAMM)
67
+
68
+ ### 功能二 · 长视频微表情检测
69
+
70
+ 对任意长度视频定位所有微表情区间,并分类为 **4 类**:正向 / 负向 / 惊讶 / 其他
71
+
72
+ - 滑窗推理(窗口 0.4s,步长 0.2s,@ 30fps)
73
+ - 6 种尺度的多尺度时序特征
74
+ - 双任务预测头:检测分数 + 情绪分类
75
+ - 训练集:CAS(ME)³-LV
76
+ - 评估指标:有重叠即 TP 的 F1
77
+
78
+ ---
79
+
80
+ ## 预处理流水线
81
+
82
+ 两个功能共用同一套预处理,与数据集预处理保持一致:
83
+
84
+ 1. **人脸裁剪**(dlib 68点关键点)→ 256×256
85
+ 2. **顶点帧检测**(光应变 + UPC)— 仅功能一
86
+ 3. **HRNet 特征提取** → (2, 256, 64, 64)
87
+ 4. **光流提取**(TV-L1)→ (3, 256, 256)
88
+
89
+ ---
90
+
91
+ ## 训练
92
+
93
+ ```bash
94
+ # 识别 — LOSO 训练
95
+ python train_loso.py --config configs/train_loso.yaml --dataset composite
96
+
97
+ # 检测 — LOSO 训练
98
+ python detection/train_detection.py --config configs/detection_config.yaml
99
+ ```
100
+
101
+ 详见 [docs/TRAINING_GUIDE.md](docs/TRAINING_GUIDE.md)。
102
+
103
+ ---
104
+
105
+ ## 项目结构
106
+
107
+ ```
108
+ ├── webapp/ # Web 可视化平台(Flask)
109
+ │ ├── app.py # 入口 → http://localhost:5000
110
+ │ ├── api/ # REST API(识别 + 检测)
111
+ │ └── core/ # 推理封装
112
+ ├── models/ # 模型结构
113
+ ├── detection/ # 检测训练与评估
114
+ ├── trainers/ # 识别训练工具
115
+ ├── configs/ # YAML 配置文件
116
+ ├── datasets/ # 数据集加载器
117
+ ├── utils/ # 公共工具
118
+ ├── docs/ # 文档与可视化脚本
119
+ ├── train_loso.py # 识别 LOSO 训练脚本
120
+ └── requirements.txt
121
+ ```
122
+
123
+ ---
124
+
125
+ ## 许可证
126
+
127
+ [CC BY-NC 4.0](https://creativecommons.org/licenses/by-nc/4.0/) — 允许学术研究与个人使用,**禁止商业用途**。