fol-v05-cot-augmented-fol-pretrain-malls-qwen2.5-3

Repo: Laplaces-Red-Devils/fol-v05-cot-augmented-fol-pretrain-malls-qwen2.5-3

LoRA SFT — dịch premises NL → premises FOL (JSON premises_fol trong completion).

Tóm tắt kết quả (tự động)

Bản đầy đủ nằm trong experiment_artifacts/ trên repo này.

Siêu tham số (từ experiment_log.json)

• model: Laplaces-Red-Devils/fol-pretrain-malls-qwen2.5-3
• max_seq_length: 3500
• num_train_epochs: 25
• load_in_8bit: True
• use_unsloth: True
• unsloth_load_in_4bit: False
• gradient_accumulation_steps: 8

Benchmark test (trước / sau FT)

	Trước FT	Sau FT
test exact match (full)	—	—

Độ trễ greedy (fol_inference_latency.json)

• split: test — n: 30
• trung bình: 27.576 s / mẫu (σ ≈ 18.623 s)

Artifacts

Trong experiment_artifacts/:

• experiment_log.json — siêu tham số (gần configs/fol_model.yaml), fol_eval_* sau eval greedy, fol_inference_latency_benchmark nếu bật benchmark.
• train_metrics.json — metrics cuối từ Trainer.
• fol_eval_metrics.json — exact match FOL (nếu có).
• fol_inference_latency.json — trung bình thời gian greedy một mẫu (sau FT, nếu có).
• fol_hub_reload_eval.json — sau push: tải merged từ Hub, greedy trên N mẫu test ngẫu nhiên + exact-match trên đúng N mẫu (CLI).

Biến môi trường: prefix FOL_* (xem FolSFTConfig trong services/config_fol.py).

Xác minh sau khi tải merged từ Hub

Tải lại merged từ Laplaces-Red-Devils/fol-v05-cot-augmented-fol-pretrain-malls-qwen2.5-3 rồi chỉ greedy trên N mẫu test ngẫu nhiên; bảng dưới là exact-match trên đúng N mẫu đó. JSON đủ: experiment_artifacts/fol_hub_reload_eval.json.

Exact match (N mẫu test ngẫu nhiên)

Split	Accuracy	Đúng / Tổng
test	—	— / 50

Xem trước mẫu test ngẫu nhiên (README: 2 / 50 — terminal + JSON có đủ)

Mẫu 1 (split_index=14)

• gold (rút gọn): {"premises_fol": ["∀x (AtBK(x) → ∃d (SocialWorkDays(x, d) ∧ d ≥ 15))", "∀x (AtBK(x) ∧ ¬∃d (SocialWorkDays(x, d) ∧ d ≥ 15) → ¬Graduate(x))", "∀x (AtBK(x) ∧ ¬Graduate(x) ∧ TimeSpent(x) ≥ 6 → OutOfSchool(x))", "∀x (OutOfSchool(x) → StudyMore(x …
• pred (rút gọn): {"premises_fol": ["∀x (S(x) → G(x))", "∀x (G(x) → S(x))", "∀x (¬G(x) → O(x))", "∀x (O(x) → M(x))", "O(John)"]} …

Mẫu 2 (split_index=3)

• gold (rút gọn): {"premises_fol": ["∀x (ResearchBackground(x) → StrongQualifications(x))", "∀x (StrongQualifications(x) → SeniorRoleSuitability(x))", "∀x (DevelopmentProgram(x))", "∀x (ResearchBackground(x))", "∀x (PromotionEligible(x) → Bonus(x))", "∀x (Pr …
• pred (rút gọn): {"premises_fol": ["∀x (HasResearchBackground(x) → StrongQualifications(x))", "∀x (StrongQualifications(x) → SuitableForSeniorRole(x))", "∀x (EnrolledInDevelopmentProgram(x))", "∀x (HasResearchBackground(x))", "∀x (EligibleForPromotion(x) → …