Сплошная сверка чисел карточки: заголовочное число было подписано неверно

26 895 998 464 — это счёт ТОЛЬКО языковой части. Полное минус зрение минус
оверлей ALTAY даёт его до байта. Карточка называла этим числом размер
мультимодальной модели, то есть исключала ровно ту часть, которая делает её
мультимодальной. Первоисточника у числа не было нигде в репозитории.

всего в чекпойнте: 27 274 981 624
языковая часть: 26 895 998 464
зрительная башня: 371 380 976
оверлей ALTAY: 7 602 184
тензоров: 2 509 (стояло 2 503)

Объяснение под числом не сходилось само с собой: 11.96 млрд байт + 23.9 млрд
+ 3.17 млрд FP8 = 27.07 млрд, а не 26.896; и все U8 считались четырёхбитными,
хотя эмбеддинги восьмибитные, а зрение смешанное.

Считается теперь по заголовкам shard-файлов, ширина восстанавливается из формы
таблицы масштабов; неразрешённых тензоров не остаётся ни одного
(count_parameters.py, PARAMETER_COUNT_RECEIPT.json).

Плюс квитанция на ёмкость арены: 1 017 164 токена, 492 блока при 490 нужных.
Число карточка называла и раньше, но записано оно не было.

README.md

@@ -89,8 +89,10 @@ model-index:
 
 # LOMONOSOV ZENIT 27B «ALTAY» — INDEV
 
-A 26,895,998,464-parameter multimodal model with a **1,010,000-token context**,
-built to run on one consumer graphics card.
+A **26,895,998,464**-parameter language model with a **1,010,000-token context**,
+built to run on one consumer graphics card. With the vision tower and the ALTAY
+overlay the checkpoint holds **27,274,981,624** parameters in total
+(`receipts/PARAMETER_COUNT_RECEIPT.json`).
 
 **This is a work in progress, and the card says so wherever it matters.** Every
 number below was measured on our own hardware and has a receipt. Nothing is
@@ -113,13 +115,37 @@ Languages: English, Russian, Ukrainian. Multimodal input is inherited from the
 base model.
 
 **The "model size" badge above says about 17B. Ignore it.** Hugging Face counts
-the elements in each tensor as they are stored, and the NVFP4 text weights are
-four-bit, packed two to a byte in `U8` tensors. There are 11.96 billion such
-bytes, holding 23.9 billion parameters; add the 3.17 billion FP8 attention
-weights, where one byte is one parameter, and you get the real figure of
-26,895,998,464. The badge is halving the packed half. Nothing is missing from
-the files: 2,503 tensors, every shard's header verified against its file length
-after a round trip through the Hub.
+the elements in each tensor as they are stored, and most weights here are packed
+several to an element. Counted properly — original width recovered per tensor
+from the shape of its scale table, which resolves every packed tensor with none
+left over:
+
+| | parameters |
+|---|---:|
+| four-bit packed | 24,054,511,616 |
+| eight-bit packed | 1,504,074,752 |
+| unpacked: FP8 attention, BF16 norms and biases | 1,716,395,256 |
+| **total** | **27,274,981,624** |
+| of that, the language model | 26,895,998,464 |
+| vision tower | 371,380,976 |
+| ALTAY overlay | 7,602,184 |
+
+Embeddings are not tied (`tie_word_embeddings: false`), so `embed_tokens` and
+`lm_head` are 1,271,398,400 each and counted separately; there is no double
+count. Nothing is missing from the files: **2,509** tensors, matching
+`model.safetensors.index.json` exactly, every shard's header verified against its
+file length after a round trip through the Hub.
+
+> **Corrected 2026-07-26.** This paragraph used to derive the figure as "11.96
+> billion bytes holding 23.9 billion parameters, add 3.17 billion FP8" — which
+> sums to 27.07 billion, not to the number it claimed to produce, and it counted
+> every `U8` tensor as four-bit when the embeddings are eight-bit and the vision
+> tower is mixed. It also said 2,503 tensors. And the headline called
+> 26,895,998,464 the size of a *multimodal* model, when that figure is precisely
+> the count with the multimodal part left out. The number itself had no primary
+> source anywhere in the repository — it is measured now
+> (`receipts/PARAMETER_COUNT_RECEIPT.json`, reproduced by `count_parameters.py`),
+> and it turns out to be exactly the language model.
 
 Built on **Qwen3.6-27B** by Alibaba, then requantised and given the ALTAY overlay
 and the extended window. Development followed the practices of **ChatGPT 5.6 Sol
@@ -743,8 +769,10 @@ are the same either way.
 
 # LOMONOSOV ZENIT 27B «ALTAY» — INDEV
 
-Мультимодальная модель на 26 895 998 464 параметра с контекстом
-**1 010 000 токенов**, рассчитанная на одну потребительскую видеокарту.
+Языковая модель на **26 895 998 464** параметра с контекстом
+**1 010 000 токенов**, рассчитанная на одну потребительскую видеокарту. Вместе
+со зрительной башней и оверлеем ALTAY в чекпойнте **27 274 981 624** параметра
+(`receipts/PARAMETER_COUNT_RECEIPT.json`).
 
 **Это работа в процессе, и карточка говорит об этом там, где это важно.** Каждое
 число ниже измерено на нашем железе и имеет квитанцию. Ничего не оценено на глаз,
@@ -763,13 +791,37 @@ are the same either way.
 базовой модели.
 
 **Бейдж «model size» наверху показывает около 17B. Не верьте ему.** Hugging Face
-считает элементы тензоров так, как они лежат в файле, а текстовые веса в NVFP4
-четырёхбитные и упакованы по два значения в байт, тип `U8`. Таких байтов 11.96
-миллиарда, а параметров в них 23.9 миллиарда; прибавьте 3.17 миллиарда весов
-внимания в FP8, где байт равен параметру, и получите настоящее число —
-26 895 998 464. Бейдж делит упакованную половину надвое. В файлах ничего не
-пропало: 2 503 тензора, у каждого шарда заголовок сверен с длиной файла после
-скачивания обратно с Hub.
+считает элементы тензоров так, как они лежат в файле, а почти все веса здесь
+упакованы по нескольку в элемент. Если считать правильно — восстанавливая
+исходную ширину каждого тензора по форме его таблицы масштабов, при этом
+неразрешённых тензоров не остаётся ни одного:
+
+| | параметров |
+|---|---:|
+| упаковано по четыре бита | 24 054 511 616 |
+| упаковано по восемь бит | 1 504 074 752 |
+| без упаковки: внимание FP8, нормировки и смещения BF16 | 1 716 395 256 |
+| **всего** | **27 274 981 624** |
+| из них языковая часть | 26 895 998 464 |
+| зрительная башня | 371 380 976 |
+| оверлей ALTAY | 7 602 184 |
+
+Эмбеддинги не связаны (`tie_word_embeddings: false`), поэтому `embed_tokens` и
+`lm_head` весят по 1 271 398 400 и считаются порознь — двойного счёта нет. В
+файлах ничего не пропало: **2 509** тензоров, ровно столько же в
+`model.safetensors.index.json`, у каждого шарда заголовок сверен с длиной файла
+после скачивания обратно с Hub.
+
+> **Исправлено 2026-07-26.** Здесь число выводилось так: «11.96 миллиарда байт,
+> в них 23.9 миллиарда параметров, прибавьте 3.17 миллиарда FP8» — а это в сумме
+> 27.07 миллиарда, а вовсе не то число, которое абзац брался получить. Считались
+> при этом все `U8` как четырёхбитные, хотя эмбеддинги восьмибитные, а зрение
+> смешанное. И тензоров стояло 2 503. Заголовок же называл 26 895 998 464
+> размером **мультимодальной** модели, тогда как это ровно тот счёт, из которого
+> мультимодальная часть исключена. Первоисточника у числа не было нигде в
+> репозитории — теперь оно замерено
+> (`receipts/PARAMETER_COUNT_RECEIPT.json`, воспроизводится `count_parameters.py`),
+> и оказалось в точности размером языковой части.
 
 Построена на **Qwen3.6-27B** от Alibaba, затем переквантована и получила
 наложение ALTAY и расширенное окно. Разработка шла с оглядкой на практики

count_parameters.py

@@ -0,0 +1,153 @@
+#!/usr/bin/env python3
+"""Пересчёт параметров по заголовкам shard-файлов. Веса не читаются.
+
+Зачем. Заголовочное число карточки — 26 895 998 464 — не имело первоисточника:
+его нет ни в конфиге, ни в родословных, ни в одной квитанции. Правило выпуска
+запрещает в карточке цифры без замера, поэтому число надо либо подтвердить, либо
+исправить.
+
+Почему «в лоб» не считается. Веса упакованы, и упакованы по-разному:
+
+  * `weight_packed` встречается и в `U8`, и в `I32` — то есть число элементов
+    тензора само по себе о числе параметров не говорит;
+  * ширина тоже разная: NVFP4 кладёт по два значения в байт, эмбеддинги
+    квантованы в 8 бит, зрение — `SELECTIVE_W8_W4_A16`, то есть вперемешку.
+
+Первая попытка удвоила все `U8` подряд и дала 27 553 793 896 — мимо на 658
+миллионов. Вторая читала число элементов вместо байт и промахнулась в другую
+сторону.
+
+Как считается здесь. Исходная ширина восстанавливается из таблицы масштабов:
+при групповом квантовании `weight_scale` имеет форму [out, in/group_size], а
+`weight_packed` занимает `in * bits / 8` байт на строку. Перебирая размер группы
+из конфига (16, 32, 64, 128), берём тот, при котором ширина выходит ровно 4 или
+8 бит. Неразрешённых тензоров при этом не остаётся ни одного — это и есть
+проверка, что подбор не выдумывает.
+
+Служебные тензоры (масштабы, нули, формы) в счёт не идут; нормировки, смещения
+и параметры Gated DeltaNet (`A_log`, `dt_bias`, `altay_alpha`) идут.
+"""
+from __future__ import annotations
+
+import argparse
+import collections
+import glob
+import json
+import math
+import os
+import struct
+
+BYTES = {"U8": 1, "I8": 1, "I32": 4, "I64": 8,
+         "F8_E4M3": 1, "BF16": 2, "F16": 2, "F32": 4}
+
+# Не параметры: таблицы масштабов, нулей и сохранённые формы.
+SKIP = ("weight_scale", "weight_shape", "weight_zero_point",
+        "weight_global_scale", "input_scale", "input_global_scale",
+        "weight_g_idx")
+
+
+def bucket(name: str) -> str:
+    if name.startswith("model.visual"):
+        return "vision_tower"
+    if "altay" in name.lower():
+        return "altay_overlay"
+    if "embed_tokens" in name:
+        return "embed_tokens"
+    if name.startswith("lm_head") or ".lm_head" in name:
+        return "lm_head"
+    return "language_model"
+
+
+def header(path: str) -> dict:
+    with open(path, "rb") as fh:
+        n = struct.unpack("<Q", fh.read(8))[0]
+        return json.loads(fh.read(n))
+
+
+def count(directory: str) -> dict:
+    per = collections.Counter()
+    by_file = collections.Counter()
+    by_width = collections.Counter()
+    unresolved: list = []
+
+    for path in sorted(glob.glob(os.path.join(directory, "*.safetensors"))):
+        hdr = header(path)
+        shapes = {k: (v.get("shape") or [], v.get("dtype"))
+                  for k, v in hdr.items() if k != "__metadata__"}
+        for name, (shape, dtype) in shapes.items():
+            if name.endswith(SKIP):
+                continue
+            n = 0
+            if name.endswith(".weight_packed"):
+                scale = shapes.get(name[: -len(".weight_packed")] + ".weight_scale")
+                if not scale or len(shape) < 2 or len(scale[0]) < 2:
+                    unresolved.append(name)
+                    continue
+                out_features = shape[0]
+                row_bytes = shape[1] * BYTES[dtype]
+                groups = scale[0][1]
+                for group_size in (16, 32, 64, 128):
+                    in_features = groups * group_size
+                    bits = row_bytes * 8 / in_features
+                    if abs(bits - 4) < 1e-9 or abs(bits - 8) < 1e-9:
+                        n = out_features * in_features
+                        by_width[int(round(bits))] += n
+                        break
+                else:
+                    unresolved.append(name)
+                    continue
+            elif dtype in ("F8_E4M3", "BF16", "F32", "F16"):
+                n = math.prod(shape) if shape else 1
+            per[bucket(name)] += n
+            by_file[os.path.basename(path)] += n
+
+    packed_total = sum(by_width.values())
+    total = sum(per.values())
+    language = per["language_model"] + per["embed_tokens"] + per["lm_head"]
+    return {
+        "schema": "lomonosov_zenit_parameter_count_v1",
+        "method": "заголовки safetensors; ширина восстановлена из формы weight_scale",
+        "unresolved_tensors": unresolved,
+        "by_purpose": dict(per),
+        "by_file": dict(by_file),
+        "quantised_by_width_bits": {str(k): v for k, v in sorted(by_width.items())},
+        "packed_total": packed_total,
+        "unpacked_total": total - packed_total,
+        "language_model_total": language,
+        "vision_tower": per["vision_tower"],
+        "altay_overlay": per["altay_overlay"],
+        "total_all_parts": total,
+    }
+
+
+def main() -> int:
+    ap = argparse.ArgumentParser()
+    ap.add_argument("--model", required=True)
+    ap.add_argument("--out")
+    args = ap.parse_args()
+
+    result = count(args.model)
+    cfg = json.load(open(os.path.join(args.model, "config.json"), encoding="utf-8"))
+    result["tie_word_embeddings"] = cfg.get("tie_word_embeddings")
+    result["note_on_tying"] = (
+        "эмбеддинги НЕ связаны, поэтому embed_tokens и lm_head считаются отдельно "
+        "и двойного счёта нет"
+    )
+    result["card_headline_figure"] = 26_895_998_464
+    result["card_figure_equals"] = (
+        "language_model_total: заголовочное число карточки — счёт ТОЛЬКО языковой "
+        "части, без зрения и без оверлея ALTAY"
+    )
+    result["card_figure_matches_language_model"] = (
+        result["language_model_total"] == 26_895_998_464
+    )
+
+    if args.out:
+        with open(args.out, "w", encoding="utf-8") as fh:
+            json.dump(result, fh, ensure_ascii=False, indent=1)
+    print(json.dumps(result, ensure_ascii=False, indent=1))
+    return 0
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

receipts/KV_ARENA_CAPACITY_RECEIPT.json

@@ -0,0 +1,19 @@
+{
+ "schema": "lomonosov_zenit_kv_arena_capacity_v1",
+ "what_this_shows": "ёмкость арены KV на релизной сборке, как её объявляет сам движок",
+ "source": "строка vLLM kv_cache_utils.py: 'GPU KV cache size'",
+ "arena_bytes": 13000000000,
+ "kv_cache_tokens": 1017164,
+ "window_tokens": 1010001,
+ "spare_tokens": 7163,
+ "block_tokens": 2064,
+ "blocks_total": 492,
+ "blocks_for_window": 490,
+ "spare_blocks": 2,
+ "why_spare_matters": "арена впритык (ноль свободных блоков) once дала шестикратный простой движка; сквозной прогон на двух свободных блоках простоя не показал — million_arena.json",
+ "observed_in": [
+  "million_arena2.log 03:18:19 UTC+3",
+  "повтор 04:41:30 UTC+3"
+ ],
+ "host": "арендованная RTX 5090, vast.ai"
+}

receipts/PARAMETER_COUNT_RECEIPT.json

@@ -0,0 +1,37 @@
+{
+ "schema": "lomonosov_zenit_parameter_count_v1",
+ "method": "заголовки safetensors; ширина восстановлена из формы weight_scale",
+ "unresolved_tensors": [],
+ "by_purpose": {
+  "altay_overlay": 7602184,
+  "embed_tokens": 1271398400,
+  "language_model": 24353201664,
+  "lm_head": 1271398400,
+  "vision_tower": 371380976
+ },
+ "by_file": {
+  "model-altay-overlay.safetensors": 7602184,
+  "model-embed-int8.safetensors": 1271398400,
+  "model-text-1-of-5.safetensors": 2493626176,
+  "model-text-2-of-5.safetensors": 6670320992,
+  "model-text-3-of-5.safetensors": 6734207840,
+  "model-text-4-of-5.safetensors": 6665569632,
+  "model-text-5-of-5.safetensors": 3060875424,
+  "model-vision.safetensors": 371380976
+ },
+ "quantised_by_width_bits": {
+  "4": 24054511616,
+  "8": 1504074752
+ },
+ "packed_total": 25558586368,
+ "unpacked_total": 1716395256,
+ "language_model_total": 26895998464,
+ "vision_tower": 371380976,
+ "altay_overlay": 7602184,
+ "total_all_parts": 27274981624,
+ "tie_word_embeddings": false,
+ "note_on_tying": "эмбеддинги НЕ связаны, поэтому embed_tokens и lm_head считаются отдельно и двойного счёта нет",
+ "card_headline_figure": 26895998464,
+ "card_figure_equals": "language_model_total: заголовочное число карточки — счёт ТОЛЬКО языковой части, без зрения и без оверлея ALTAY",
+ "card_figure_matches_language_model": true
+}