---
language:
- es
- en
license: apache-2.0
base_model: mistralai/Mistral-7B-Instruct-v0.2
tags:
- fine-tuned
- legal
- audit
- forensic
- tax
- atlas
- amd
- rocm
- finance
datasets:
- custom
pipeline_tag: text-generation
---

# ATLAS Mistral-7B Legal — Auditoría Forense Fiscal

Fine-tune de **Mistral-7B-Instruct-v0.2** especializado en auditoría forense y cumplimiento fiscal para México y USA, entrenado sobre **AMD Instinct MI300X** con ROCm 7.2.

Parte del ecosistema **ATLAS** — sistema multi-agente de detección de anomalías financieras desarrollado para el AMD Hackathon 2026.

## Métricas de Entrenamiento

| Métrica | Valor |
|---------|-------|
| Train Loss | **0.0584** |
| Eval Loss | **0.0184** |
| Epochs | 3 |
| Tiempo | ~27 minutos |
| Dataset | 3,502 ejemplos legales MX/USA |
| Hardware | AMD Instinct MI300X (205GB VRAM) |

## Especialización

El modelo fue entrenado para razonar sobre casos de auditoría fiscal con base en normativa específica:

**México:**
- Art. 69-B CFF — Operaciones Inexistentes (EFOS/EDOS)
- RESICO — Régimen de Confianza (Personas Físicas)
- Precios de Transferencia (Art. 59-G LISR)
- Auditoría Electrónica y verificación de CFDI

**USA:**
- IRM 4.10 — Examination of Returns
- IRM 4.23 — Employment Tax / Worker Classification
- BSA/FBAR — Anti-Money Laundering
- Bank Deposits Method, Economic Reality Test

## Uso

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Rafaelcedav/atlas-mistral-7b-legal"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16")

messages = [
    {"role": "system", "content": "Eres ATLAS, auditor forense especializado en derecho fiscal MX/USA."},
    {"role": "user", "content": "Empresa con 1 empleado factura 50MDP en servicios de construcción. ¿Qué artículo aplica?"}
]

input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True)
output = model.generate(input_ids, max_new_tokens=512, temperature=0.1)
print(tokenizer.decode(output[0][input_ids.shape[-1]:], skip_special_tokens=True))
```

## Arquitectura ATLAS

Este modelo opera como agente de razonamiento dentro del pipeline multi-agente ATLAS:

```
PDF → [Vision InternVL2-40B] → [Compliance Router] → [Mistral-7B / Reasoning]
    → [Validator] → [Explainer] → Reporte Forense
```

## Hardware & Entorno

- **GPU:** AMD Instinct MI300X VF (205.8 GB VRAM)
- **Framework:** PyTorch 2.5.1 + ROCm 6.2
- **Optimizer:** AdamW (adamw_torch)
- **Precisión:** bfloat16
- **Gradient Checkpointing:** ✅

## Repositorio

Código fuente, scripts de entrenamiento y pipeline completo:
[atlas-amd-hackathon](https://github.com/rafaelcedilloav-eng/atlas-amd-hackathon)

## Modelos Relacionados

- [atlas-r2-qwen3-14b](https://huggingface.co/Rafaelcedav/atlas-r2-qwen3-14b) — Motor principal de razonamiento (14B)
- [atlas-finanzas-deepseek-r1-8b](https://huggingface.co/Rafaelcedav/atlas-finanzas-deepseek-r1-8b) — Análisis financiero profundo