{ "tag": "de-pii-v1", "n": 16, "parse_success_rate": 1.0, "entity_micro_precision": 0.9322033898305084, "entity_micro_recall": 0.9016393442622951, "entity_micro_f1": 0.9166666666666666, "risk_level_exact_match": 0.9375, "needs_review_exact_match": 0.6875, "by_type": { "SSN_DE": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 3, "fp": 0, "fn": 0 }, "VAT_ID": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 1, "fp": 0, "fn": 0 }, "IBAN": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 10, "fp": 0, "fn": 0 }, "PHONE": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 15, "fp": 0, "fn": 0 }, "LICENSE_PLATE": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 1, "fp": 0, "fn": 0 }, "ID_CARD": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 4, "fp": 0, "fn": 0 }, "ADDRESS": { "precision": 0.875, "recall": 1.0, "f1": 0.9333333333333333, "tp": 7, "fp": 1, "fn": 0 }, "CUSTOMER_ID": { "precision": 0.6, "recall": 0.42857142857142855, "f1": 0.5, "tp": 3, "fp": 2, "fn": 4 }, "DOB": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 6, "fp": 0, "fn": 0 }, "TAX_ID": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 5, "fp": 0, "fn": 0 }, "IP_ADDRESS": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 2, "fp": 0, "fn": 0 }, "BIC": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 3, "fp": 0, "fn": 0 }, "HEALTH_INSURANCE": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 5, "fp": 0, "fn": 0 }, "COMMERCIAL_REGISTER": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 2, "fp": 0, "fn": 0 }, "EMAIL": { "precision": 1.0, "recall": 1.0, "f1": 1.0, "tp": 11, "fp": 0, "fn": 0 }, "PERSON": { "precision": 0.8648648648648649, "recall": 0.8, "f1": 0.8311688311688312, "tp": 32, "fp": 5, "fn": 8 } }, "examples": [ { "input_text": "CRM-Notiz vom 18.04.2026 - Kündigungsgespräch\n\nKundin Katharina Brandtner (Kundennummer KD-884512) hat heute telefonisch die Kündigung ihres Premium-Tarifs zum 31.05.2026 erklärt. Das Gespräch wurde um 14:32 Uhr aus der Web-Session protokolliert (IP-Adresse: 193.17.204.88, Session-ID im Portal verknüpft). Als Kündigungsgrund nannte Frau Brandtner einen Wechsel zum Wettbewerber aufgrund günstigerer Konditionen. Die schriftliche Bestätigung wurde an k.brandtner+kuendigung@mailprovider.de versendet. Rückfragen zur Restlaufzeit bitte unter +49 170 4421998 klären. Der Kollege Thomas Linnemann übernimmt das Retention-Gespräch morgen. Eine letzte Rechnung wird auf die hinterlegte IBAN DE27 5001 0517 0934 8821 77 zurückerstattet. Ticket #T-2026-04982 bleibt bis zur finalen Abrechnung offen. Hinweis: Kundin bat ausdrücklich um Löschung ihrer Daten nach §17 DSGVO nach Vertragsende.", "gold": { "redacted_text": "CRM-Notiz vom 18.04.2026 - Kündigungsgespräch\n\nKundin [PERSON_1] (Kundennummer [CUSTOMER_ID_1]) hat heute telefonisch die Kündigung ihres Premium-Tarifs zum 31.05.2026 erklärt. Das Gespräch wurde um 14:32 Uhr aus der Web-Session protokolliert (IP-Adresse: [IP_ADDRESS_1], Session-ID im Portal verknüpft). Als Kündigungsgrund nannte Frau [PERSON_1] einen Wechsel zum Wettbewerber aufgrund günstigerer Konditionen. Die schriftliche Bestätigung wurde an [EMAIL_1] versendet. Rückfragen zur Restlaufzeit bitte unter [PHONE_1] klären. Der Kollege [PERSON_2] übernimmt das Retention-Gespräch morgen. Eine letzte Rechnung wird auf die hinterlegte IBAN [IBAN_1] zurückerstattet. Ticket [CUSTOMER_ID_2] bleibt bis zur finalen Abrechnung offen. Hinweis: Kundin bat ausdrücklich um Löschung ihrer Daten nach §17 DSGVO nach Vertragsende.", "entities": [ { "type": "PERSON", "value": "Katharina Brandtner", "replacement": "[PERSON_1]" }, { "type": "CUSTOMER_ID", "value": "KD-884512", "replacement": "[CUSTOMER_ID_1]" }, { "type": "IP_ADDRESS", "value": "193.17.204.88", "replacement": "[IP_ADDRESS_1]" }, { "type": "PERSON", "value": "Brandtner", "replacement": "[PERSON_1]" }, { "type": "EMAIL", "value": "k.brandtner+kuendigung@mailprovider.de", "replacement": "[EMAIL_1]" }, { "type": "PHONE", "value": "+49 170 4421998", "replacement": "[PHONE_1]" }, { "type": "PERSON", "value": "Thomas Linnemann", "replacement": "[PERSON_2]" }, { "type": "IBAN", "value": "DE27 5001 0517 0934 8821 77", "replacement": "[IBAN_1]" }, { "type": "CUSTOMER_ID", "value": "#T-2026-04982", "replacement": "[CUSTOMER_ID_2]" } ], "risk_level": "high", "needs_human_review": true }, "completion": "{\"redacted_text\": \"CRM-Notiz vom 18.04.2026 - Kündigungsgespräch\\n\\nKundin [PERSON_1] (Kundennummer [CUSTOMER_ID_1]) hat heute telefonisch die Kündigung ihres Premium-Tarifs zum 31.05.2026 erklärt. Das Gespräch wurde um 14:32 Uhr aus der Web-Session protokolliert (IP-Adresse: [IP_ADDRESS_1], Session-ID im Portal verknüpft). Als Kündigungsgrund nannte Frau [PERSON_1] einen Wechsel zum Wettbewerber aufgrund günstigerer Konditionen. Die schriftliche Bestätigung wurde an [EMAIL_1] versendet. Rückfragen zur Restlaufzeit bitte unter [PHONE_1] klaren. Der Kollege [PERSON_2] übernimmt das Retention-Gespräch morgen. Eine letzte Rechnung wird auf die hinterlegte IBAN [IBAN_1] zurückerstattet. Ticket #[CUSTOMER_ID_2] bleibt bis zur finalen Abrechnung offen. Hinweis: Kundin bat ausdrücklich um Löschung ihrer Daten nach §17 DSGVO nach Vertragsende.\", \"entities\": [{\"type\": \"PERSON\", \"value\": \"Katharina Brandtner\", \"replacement\": \"[PERSON_1]\"}, {\"type\": \"CUSTOMER_ID\", \"value\": \"KD-884512\", \"replacement\": \"[CUSTOMER_ID_1]\"}, {\"type\": \"IP_ADDRESS\", \"value\": \"193.17.204.88\", \"replacement\": \"[IP_ADDRESS_1]\"}, {\"type\": \"EMAIL\", \"value\": \"k.brandtner+kuendigung@mailprovider.de\", \"replacement\": \"[EMAIL_1]\"}, {\"type\": \"PHONE\", \"value\": \"+49 170 4421998\", \"replacement\": \"[PHONE_1]\"}, {\"type\": \"PERSON\", \"value\": \"Thomas Linnemann\", \"replacement\": \"[PERSON_2]\"}, {\"type\": \"IBAN\", \"value\": \"DE27 5001 0517 0934 8821 77\", \"replacement\": \"[IBAN_1]\"}, {\"type\": \"CUSTOMER_ID\", \"value\": \"T-2026-04982\", \"replacement\": \"[CUSTOMER_ID_2]\"}], \"risk_level\": \"high\", \"needs_human_review\": true}", "valid": true }, { "input_text": "CRM-Notiz vom 18.04.2026 – Ticket #ESC-20260418-7742\n\nEskalation Stufe 2 vom Kunden Markus Hoffmann (Kundennummer K-884213) wegen wiederholt fehlgeschlagener SEPA-Lastschrift. Kunde rief unter +49 170 5582914 an und forderte sofortige Klärung sowie Rückbuchung über 489,90 EUR auf seine IBAN DE47 1001 0010 0299 8845 67.\n\nIdentitätsprüfung gemäß interner Compliance-Richtlinie durchgeführt: Personalausweisnummer L01X4Y7Z9 vom Kunden vorgelesen, Daten stimmen mit Stammdaten überein. Rückruf erfolgt morgen durch Sachbearbeiterin Lena Bachmaier aus Team Retention.\n\nZusatzhinweis: Herr Hoffmann hat angekündigt, bei erneuter Verzögerung den Vertrag zu kündigen. Bitte priorisieren. Notiz erfasst von L. Bachmaier.", "gold": { "redacted_text": "CRM-Notiz vom 18.04.2026 – Ticket #ESC-20260418-7742\n\nEskalation Stufe 2 vom Kunden [PERSON_1] (Kundennummer [CUSTOMER_ID_1]) wegen wiederholt fehlgeschlagener SEPA-Lastschrift. Kunde rief unter [PHONE_1] an und forderte sofortige Klärung sowie Rückbuchung über 489,90 EUR auf seine IBAN [IBAN_1].\n\nIdentitätsprüfung gemäß interner Compliance-Richtlinie durchgeführt: Personalausweisnummer [ID_CARD_1] vom Kunden vorgelesen, Daten stimmen mit Stammdaten überein. Rückruf erfolgt morgen durch Sachbearbeiterin [PERSON_2] aus Team Retention.\n\nZusatzhinweis: Herr [PERSON_1] hat angekündigt, bei erneuter Verzögerung den Vertrag zu kündigen. Bitte priorisieren. Notiz erfasst von [PERSON_2].", "entities": [ { "type": "PERSON", "value": "Markus Hoffmann", "replacement": "[PERSON_1]" }, { "type": "CUSTOMER_ID", "value": "K-884213", "replacement": "[CUSTOMER_ID_1]" }, { "type": "PHONE", "value": "+49 170 5582914", "replacement": "[PHONE_1]" }, { "type": "IBAN", "value": "DE47 1001 0010 0299 8845 67", "replacement": "[IBAN_1]" }, { "type": "ID_CARD", "value": "L01X4Y7Z9", "replacement": "[ID_CARD_1]" }, { "type": "PERSON", "value": "Lena Bachmaier", "replacement": "[PERSON_2]" }, { "type": "PERSON", "value": "Hoffmann", "replacement": "[PERSON_1]" }, { "type": "PERSON", "value": "L. Bachmaier", "replacement": "[PERSON_2]" } ], "risk_level": "high", "needs_human_review": true }, "completion": "{\"redacted_text\": \"CRM-Notiz vom 18.04.2026 – Ticket #[CUSTOMER_ID_1]\\n\\nEskalation Stufe 2 vom Kunden [PERSON_1] (Kundennummer [CUSTOMER_ID_1]) wegen wiederholt fehlgeschlagener SEPA-Lastschrift. Kunde rief unter [PHONE_1] an und forderte sofortige Klärung sowie Rückbuchung über 489,90 EUR auf seine IBAN [IBAN_1].\\n\\nIdentitätsprüfung gemäß interner Compliance-Richtlinie durchgeführt: Personalausweisnummer [ID_CARD_1] vom Kunden vorgelesen, Daten stimmen mit Stammdaten überein. Rückruf erfolgt morgen durch Sachbearbeiterin [PERSON_2] aus Team Retention.\\n\\nZusatzhinweis: Herr [PERSON_1] hat angekündigt, bei erneuter Verzögerung den Vertrag zu kündigen. Bitte priorisieren. Notiz erfasst von [PERSON_2].\", \"entities\": [{\"type\": \"CUSTOMER_ID\", \"value\": \"ESC-20260418-7742\", \"replacement\": \"[CUSTOMER_ID_1]\"}, {\"type\": \"PERSON\", \"value\": \"Markus Hoffmann\", \"replacement\": \"[PERSON_1]\"}, {\"type\": \"PHONE\", \"value\": \"+49 170 5582914\", \"replacement\": \"[PHONE_1]\"}, {\"type\": \"IBAN\", \"value\": \"DE47 1001 0010 0299 8845 67\", \"replacement\": \"[IBAN_1]\"}, {\"type\": \"ID_CARD\", \"value\": \"L01X4Y7Z9\", \"replacement\": \"[ID_CARD_1]\"}, {\"type\": \"PERSON\", \"value\": \"Lena Bachmaier\", \"replacement\": \"[PERSON_2]\"}, {\"type\": \"PERSON\", \"value\": \"Herr Hoffmann\", \"replacement\": \"[PERSON_1]\"}, {\"type\": \"PERSON\", \"value\": \"L. Bachmaier\", \"replacement\": \"[PERSON_2]\"}], \"risk_level\": \"high\", \"needs_human_review\": true}", "valid": true }, { "input_text": "Sehr geehrte Damen und Herren,\n\nim Auftrag unseres Mandanten, Herrn Tobias Kramer, geboren am 14.07.1978, wohnhaft Lindenstraße 42, 80331 München, zeigen wir die anwaltliche Vertretung an. Namens und in Vollmacht unseres Mandanten mahnen wir Sie wegen unberechtigter Nutzung urheberrechtlich geschützter Lichtbildwerke ab.\n\nZur Erledigung der Angelegenheit fordern wir die Zahlung eines pauschalen Schadensersatzes in Höhe von 1.850,00 EUR auf das Kanzleikonto IBAN DE27 1002 0030 0987 6543 21 bis zum 05.05.2026.\n\nRückfragen richten Sie bitte ausschließlich an den unterzeichnenden Kollegen Dr. Ferdinand Hollenbach unter kanzlei+kramer@hollenbach-legal.de oder telefonisch unter +49 89 4412 7730. Eine Empfangsbestätigung erbitten wir umgehend.\n\nMit freundlichen Grüßen\nDr. Ferdinand Hollenbach\nRechtsanwalt", "gold": { "redacted_text": "Sehr geehrte Damen und Herren,\n\nim Auftrag unseres Mandanten, Herrn [PERSON_1], geboren am [DOB_1], wohnhaft [ADDRESS_1], zeigen wir die anwaltliche Vertretung an. Namens und in Vollmacht unseres Mandanten mahnen wir Sie wegen unberechtigter Nutzung urheberrechtlich geschützter Lichtbildwerke ab.\n\nZur Erledigung der Angelegenheit fordern wir die Zahlung eines pauschalen Schadensersatzes in Höhe von 1.850,00 EUR auf das Kanzleikonto IBAN [IBAN_1] bis zum 05.05.2026.\n\nRückfragen richten Sie bitte ausschließlich an den unterzeichnenden Kollegen [PERSON_2] unter [EMAIL_1] oder telefonisch unter [PHONE_1]. Eine Empfangsbestätigung erbitten wir umgehend.\n\nMit freundlichen Grüßen\n[PERSON_2]\nRechtsanwalt", "entities": [ { "type": "PERSON", "value": "Tobias Kramer", "replacement": "[PERSON_1]" }, { "type": "DOB", "value": "14.07.1978", "replacement": "[DOB_1]" }, { "type": "ADDRESS", "value": "Lindenstraße 42, 80331 München", "replacement": "[ADDRESS_1]" }, { "type": "IBAN", "value": "DE27 1002 0030 0987 6543 21", "replacement": "[IBAN_1]" }, { "type": "PERSON", "value": "Dr. Ferdinand Hollenbach", "replacement": "[PERSON_2]" }, { "type": "EMAIL", "value": "kanzlei+kramer@hollenbach-legal.de", "replacement": "[EMAIL_1]" }, { "type": "PHONE", "value": "+49 89 4412 7730", "replacement": "[PHONE_1]" } ], "risk_level": "high", "needs_human_review": true }, "completion": "{\"redacted_text\": \"Sehr geehrte Damen und Herren,\\n\\nim Auftrag unseres Mandanten, Herrn [PERSON_1], geboren am [DOB_1], wohnhaft [ADDRESS_1], zeigen wir die anwaltliche Vertretung an. Namens und in Vollmacht unseres Mandanten mahnen wir Sie wegen unberechtigter Nutzung urheberrechtlich geschützter Lichtbildwerke ab.\\n\\nZur Erledigung der Angelegenheit fordern wir die Zahlung eines pauschalen Schadensersatzes in Höhe von 1.850,00 EUR auf das Kanzleikonto IBAN [IBAN_1] bis zum 05.05.2026.\\n\\nRückfragen richten Sie bitte ausschließlich an den unterzeichnenden Kollegen Dr. [PERSON_2] unter [EMAIL_1] oder telefonisch unter [PHONE_1]. Eine Empfangsbestätigung erbitten wir umgehend.\\n\\nMit freundlichen Grüßen\\n[PERSON_2]\\nRechtsanwalt\", \"entities\": [{\"type\": \"PERSON\", \"value\": \"Tobias Kramer\", \"replacement\": \"[PERSON_1]\"}, {\"type\": \"DOB\", \"value\": \"14.07.1978\", \"replacement\": \"[DOB_1]\"}, {\"type\": \"ADDRESS\", \"value\": \"Lindenstraße 42, 80331 München\", \"replacement\": \"[ADDRESS_1]\"}, {\"type\": \"IBAN\", \"value\": \"DE27 1002 0030 0987 6543 21\", \"replacement\": \"[IBAN_1]\"}, {\"type\": \"PERSON\", \"value\": \"Ferdinand Hollenbach\", \"replacement\": \"[PERSON_2]\"}, {\"type\": \"EMAIL\", \"value\": \"kanzlei+kramer@hollenbach-legal.de\", \"replacement\": \"[EMAIL_1]\"}, {\"type\": \"PHONE\", \"value\": \"+49 89 4412 7730\", \"replacement\": \"[PHONE_1]\"}], \"risk_level\": \"high\", \"needs_human_review\": true}", "valid": true } ] }