Hugging Face's logo

alrosait
/
spacy_ru_core_news_lg_pii

Token Classification
spaCy
Russian
ner
pii
russian
named-entity-recognition
Eval Results (legacy)
Model card Files
xet
 Community
UnicornTowa commited on
Commit
8e0d9e4
·
verified ·
1 Parent(s): 6e89106

Fix metrics: correct values, remove Macro

Browse files
Files changed (1) hide show
  1. README.md +15 -19
README.md CHANGED
@@ -22,14 +22,11 @@ model-index:
22
  type: hivetrace/pii-bench
23
  metrics:
24
  - type: f1
25
- value: 0.933
26
  name: NAME F1
27
- - type: f1
28
- value: 0.714
29
- name: ADDRESS F1
30
  - type: f1
31
  value: 0.824
32
- name: Macro F1
33
  ---
34
 
35
  # spacy_ru_core_news_lg_pii
@@ -61,20 +58,19 @@ for ent in doc.ents:
61
 
62
  ## Поддерживаемые сущности
63
 
64
- | Метка | Описание |
65
- |-------|----------|
66
- | `NAME` | ФИО: полное, сокращённое, с инициалами, в различных падежах |
67
- | `ADDRESS` | Почтовые адреса: город, улица, дом, квартира |
68
 
69
  ## Метрики
70
 
71
  Оценка на [hivetrace/pii-bench](https://huggingface.co/datasets/hivetrace/pii-bench) (1 810 примеров, exact match):
72
 
73
- | Сущность | Precision | Recall | F1 |
74
- |----------|-----------|--------|----|
75
- | NAME | 0.954 | 0.912 | **0.933** |
76
- | ADDRESS | 0.750 | 0.682 | **0.714** |
77
- | **Macro** | 0.852 | 0.797 | **0.824** |
78
 
79
  ## Архитектура
80
 
@@ -88,16 +84,16 @@ for ent in doc.ents:
88
 
89
  Модель обучена на объединённом датасете из трёх источников:
90
 
91
- | Источник | Описание |
92
- |----------|----------|
93
  | [scanpatch/pii-ner-corpus-synthetic-controlled](https://huggingface.co/datasets/scanpatch/pii-ner-corpus-synthetic-controlled) | Взяли русскоязычные примеры, использовали только сущности NAME и ADDRESS |
94
- | [AlexKly/Detailed-NER-Dataset-RU](https://huggingface.co/datasets/AlexKly/Detailed-NER-Dataset-RU) | BIOLU-аннотированный русский NER, метки объединены в NAME и ADDRESS |
95
- | [alrosait/pii-synthetic-ru](https://huggingface.co/datasets/alrosait/pii-synthetic-ru) | Собственный синтетический датасет (4 500 примеров, 13 доменов) |
96
 
97
  **Итоговый размер:** 13 052 train / 1 451 dev документов; 11 460 / 1 264 сущностей
98
  (NAME: 6 298 / 694, ADDRESS: 5 162 / 570).
99
 
100
- ## Связанные артефакты
101
 
102
  - **Датасет**: [alrosait/pii-synthetic-ru](https://huggingface.co/datasets/alrosait/pii-synthetic-ru)
103
  - **Бенчмарк**: [hivetrace/pii-bench](https://huggingface.co/datasets/hivetrace/pii-bench)
 
22
  type: hivetrace/pii-bench
23
  metrics:
24
  - type: f1
25
+ value: 0.944
26
  name: NAME F1
 
 
 
27
  - type: f1
28
  value: 0.824
29
+ name: ADDRESS F1
30
  ---
31
 
32
  # spacy_ru_core_news_lg_pii
 
58
 
59
  ## Поддерживаемые сущности
60
 
61
+ | Метка | Описание |
62
+ |-----------|-------------------------------------------------------------|
63
+ | `NAME` | ФИО: полное, сокращённое, с инициалами, в различных падежах |
64
+ | `ADDRESS` | Почтовые адреса: город, улица, дом, квартира |
65
 
66
  ## Метрики
67
 
68
  Оценка на [hivetrace/pii-bench](https://huggingface.co/datasets/hivetrace/pii-bench) (1 810 примеров, exact match):
69
 
70
+ | Сущность | Precision | Recall | F1 |
71
+ |-----------|-----------|--------|-----------|
72
+ | NAME | 0.968 | 0.921 | **0.944** |
73
+ | ADDRESS | 0.824 | 0.824 | **0.824** |
 
74
 
75
  ## Архитектура
76
 
 
84
 
85
  Модель обучена на объединённом датасете из трёх источников:
86
 
87
+ | Источник | Описание |
88
+ |--------------------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------|
89
  | [scanpatch/pii-ner-corpus-synthetic-controlled](https://huggingface.co/datasets/scanpatch/pii-ner-corpus-synthetic-controlled) | Взяли русскоязычные примеры, использовали только сущности NAME и ADDRESS |
90
+ | [AlexKly/Detailed-NER-Dataset-RU](https://huggingface.co/datasets/AlexKly/Detailed-NER-Dataset-RU) | BIOLU-аннотированный русский NER, метки объединены в NAME и ADDRESS |
91
+ | [alrosait/pii-synthetic-ru](https://huggingface.co/datasets/alrosait/pii-synthetic-ru) | Собственный синтетический датасет (4 500 примеров, 13 доменов) |
92
 
93
  **Итоговый размер:** 13 052 train / 1 451 dev документов; 11 460 / 1 264 сущностей
94
  (NAME: 6 298 / 694, ADDRESS: 5 162 / 570).
95
 
96
+ ## Связанные ресурсы
97
 
98
  - **Датасет**: [alrosait/pii-synthetic-ru](https://huggingface.co/datasets/alrosait/pii-synthetic-ru)
99
  - **Бенчмарк**: [hivetrace/pii-bench](https://huggingface.co/datasets/hivetrace/pii-bench)