Upload metadata/dsv4_dynamic_iq1m_complete.tensor_types.txt with huggingface_hub

metadata/dsv4_dynamic_iq1m_complete.tensor_types.txt

@@ -0,0 +1,1328 @@
+^blk\.0\.ffn_gate_tid2eid\.weight$=i32
+^blk\.1\.ffn_gate_tid2eid\.weight$=i32
+^blk\.2\.ffn_gate_tid2eid\.weight$=i32
+^blk\.0\.ffn_gate_exps\.weight$=iq1_m
+^blk\.0\.ffn_down_exps\.weight$=q2_k
+^blk\.0\.ffn_up_exps\.weight$=iq1_m
+^blk\.1\.ffn_gate_exps\.weight$=iq1_m
+^blk\.1\.ffn_down_exps\.weight$=q2_k
+^blk\.1\.ffn_up_exps\.weight$=iq1_m
+^blk\.2\.ffn_gate_exps\.weight$=iq1_m
+^blk\.2\.ffn_down_exps\.weight$=q2_k
+^blk\.2\.ffn_up_exps\.weight$=iq1_m
+^blk\.3\.ffn_gate_exps\.weight$=iq1_m
+^blk\.3\.ffn_down_exps\.weight$=q2_k
+^blk\.3\.ffn_up_exps\.weight$=iq1_m
+^blk\.4\.ffn_gate_exps\.weight$=iq1_m
+^blk\.4\.ffn_down_exps\.weight$=q2_k
+^blk\.4\.ffn_up_exps\.weight$=iq1_m
+^blk\.5\.ffn_gate_exps\.weight$=iq1_m
+^blk\.5\.ffn_down_exps\.weight$=q2_k
+^blk\.5\.ffn_up_exps\.weight$=iq1_m
+^blk\.6\.ffn_gate_exps\.weight$=iq1_m
+^blk\.6\.ffn_down_exps\.weight$=iq1_m
+^blk\.6\.ffn_up_exps\.weight$=iq1_m
+^blk\.7\.ffn_gate_exps\.weight$=iq1_m
+^blk\.7\.ffn_down_exps\.weight$=iq1_m
+^blk\.7\.ffn_up_exps\.weight$=iq1_m
+^blk\.8\.ffn_gate_exps\.weight$=iq1_m
+^blk\.8\.ffn_down_exps\.weight$=iq1_m
+^blk\.8\.ffn_up_exps\.weight$=iq1_m
+^blk\.9\.ffn_gate_exps\.weight$=iq1_m
+^blk\.9\.ffn_down_exps\.weight$=iq1_m
+^blk\.9\.ffn_up_exps\.weight$=iq1_m
+^blk\.10\.ffn_gate_exps\.weight$=iq1_m
+^blk\.10\.ffn_down_exps\.weight$=iq1_m
+^blk\.10\.ffn_up_exps\.weight$=iq1_m
+^blk\.11\.ffn_gate_exps\.weight$=iq1_m
+^blk\.11\.ffn_down_exps\.weight$=iq1_m
+^blk\.11\.ffn_up_exps\.weight$=iq1_m
+^blk\.12\.ffn_gate_exps\.weight$=iq1_m
+^blk\.12\.ffn_down_exps\.weight$=iq1_m
+^blk\.12\.ffn_up_exps\.weight$=iq1_m
+^blk\.13\.ffn_gate_exps\.weight$=iq1_m
+^blk\.13\.ffn_down_exps\.weight$=iq1_m
+^blk\.13\.ffn_up_exps\.weight$=iq1_m
+^blk\.14\.ffn_gate_exps\.weight$=iq1_m
+^blk\.14\.ffn_down_exps\.weight$=iq1_m
+^blk\.14\.ffn_up_exps\.weight$=iq1_m
+^blk\.15\.ffn_gate_exps\.weight$=iq1_m
+^blk\.15\.ffn_down_exps\.weight$=iq1_m
+^blk\.15\.ffn_up_exps\.weight$=iq1_m
+^blk\.16\.ffn_gate_exps\.weight$=iq1_m
+^blk\.16\.ffn_down_exps\.weight$=iq1_m
+^blk\.16\.ffn_up_exps\.weight$=iq1_m
+^blk\.17\.ffn_gate_exps\.weight$=iq1_m
+^blk\.17\.ffn_down_exps\.weight$=iq1_m
+^blk\.17\.ffn_up_exps\.weight$=iq1_m
+^blk\.18\.ffn_gate_exps\.weight$=iq1_m
+^blk\.18\.ffn_down_exps\.weight$=iq1_m
+^blk\.18\.ffn_up_exps\.weight$=iq1_m
+^blk\.19\.ffn_gate_exps\.weight$=iq1_m
+^blk\.19\.ffn_down_exps\.weight$=iq1_m
+^blk\.19\.ffn_up_exps\.weight$=iq1_m
+^blk\.20\.ffn_gate_exps\.weight$=iq1_m
+^blk\.20\.ffn_down_exps\.weight$=iq1_m
+^blk\.20\.ffn_up_exps\.weight$=iq1_m
+^blk\.21\.ffn_gate_exps\.weight$=iq1_m
+^blk\.21\.ffn_down_exps\.weight$=iq1_m
+^blk\.21\.ffn_up_exps\.weight$=iq1_m
+^blk\.22\.ffn_gate_exps\.weight$=iq1_m
+^blk\.22\.ffn_down_exps\.weight$=iq1_m
+^blk\.22\.ffn_up_exps\.weight$=iq1_m
+^blk\.23\.ffn_gate_exps\.weight$=iq1_m
+^blk\.23\.ffn_down_exps\.weight$=iq1_m
+^blk\.23\.ffn_up_exps\.weight$=iq1_m
+^blk\.24\.ffn_gate_exps\.weight$=iq1_m
+^blk\.24\.ffn_down_exps\.weight$=iq1_m
+^blk\.24\.ffn_up_exps\.weight$=iq1_m
+^blk\.25\.ffn_gate_exps\.weight$=iq1_m
+^blk\.25\.ffn_down_exps\.weight$=iq1_m
+^blk\.25\.ffn_up_exps\.weight$=iq1_m
+^blk\.26\.ffn_gate_exps\.weight$=iq1_m
+^blk\.26\.ffn_down_exps\.weight$=iq1_m
+^blk\.26\.ffn_up_exps\.weight$=iq1_m
+^blk\.27\.ffn_gate_exps\.weight$=iq1_m
+^blk\.27\.ffn_down_exps\.weight$=iq1_m
+^blk\.27\.ffn_up_exps\.weight$=iq1_m
+^blk\.28\.ffn_gate_exps\.weight$=iq1_m
+^blk\.28\.ffn_down_exps\.weight$=iq1_m
+^blk\.28\.ffn_up_exps\.weight$=iq1_m
+^blk\.29\.ffn_gate_exps\.weight$=iq1_m
+^blk\.29\.ffn_down_exps\.weight$=iq1_m
+^blk\.29\.ffn_up_exps\.weight$=iq1_m
+^blk\.30\.ffn_gate_exps\.weight$=iq1_m
+^blk\.30\.ffn_down_exps\.weight$=iq1_m
+^blk\.30\.ffn_up_exps\.weight$=iq1_m
+^blk\.31\.ffn_gate_exps\.weight$=iq1_m
+^blk\.31\.ffn_down_exps\.weight$=iq1_m
+^blk\.31\.ffn_up_exps\.weight$=iq1_m
+^blk\.32\.ffn_gate_exps\.weight$=iq1_m
+^blk\.32\.ffn_down_exps\.weight$=iq1_m
+^blk\.32\.ffn_up_exps\.weight$=iq1_m
+^blk\.33\.ffn_gate_exps\.weight$=iq1_m
+^blk\.33\.ffn_down_exps\.weight$=iq1_m
+^blk\.33\.ffn_up_exps\.weight$=iq1_m
+^blk\.34\.ffn_gate_exps\.weight$=iq1_m
+^blk\.34\.ffn_down_exps\.weight$=iq1_m
+^blk\.34\.ffn_up_exps\.weight$=iq1_m
+^blk\.35\.ffn_gate_exps\.weight$=iq1_m
+^blk\.35\.ffn_down_exps\.weight$=iq1_m
+^blk\.35\.ffn_up_exps\.weight$=iq1_m
+^blk\.36\.ffn_gate_exps\.weight$=iq1_m
+^blk\.36\.ffn_down_exps\.weight$=iq1_m
+^blk\.36\.ffn_up_exps\.weight$=iq1_m
+^blk\.37\.ffn_gate_exps\.weight$=iq1_m
+^blk\.37\.ffn_down_exps\.weight$=iq1_m
+^blk\.37\.ffn_up_exps\.weight$=iq1_m
+^blk\.38\.ffn_gate_exps\.weight$=iq1_m
+^blk\.38\.ffn_down_exps\.weight$=iq1_m
+^blk\.38\.ffn_up_exps\.weight$=iq1_m
+^blk\.39\.ffn_gate_exps\.weight$=iq1_m
+^blk\.39\.ffn_down_exps\.weight$=iq1_m
+^blk\.39\.ffn_up_exps\.weight$=iq1_m
+^blk\.40\.ffn_gate_exps\.weight$=iq1_m
+^blk\.40\.ffn_down_exps\.weight$=iq1_m
+^blk\.40\.ffn_up_exps\.weight$=iq1_m
+^blk\.41\.ffn_gate_exps\.weight$=iq1_m
+^blk\.41\.ffn_down_exps\.weight$=iq1_m
+^blk\.41\.ffn_up_exps\.weight$=iq1_m
+^blk\.42\.ffn_gate_exps\.weight$=iq1_m
+^blk\.42\.ffn_down_exps\.weight$=iq1_m
+^blk\.42\.ffn_up_exps\.weight$=iq1_m
+^token_embd\.weight$=f16
+^blk\.0\.attn_kv\.weight$=q8_0
+^blk\.0\.attn_output_a\.weight$=q8_0
+^blk\.0\.attn_output_b\.weight$=q8_0
+^blk\.0\.attn_q_a\.weight$=q8_0
+^blk\.0\.attn_q_b\.weight$=q8_0
+^blk\.0\.ffn_gate_inp\.weight$=f16
+^blk\.0\.ffn_gate_shexp\.weight$=q8_0
+^blk\.0\.ffn_down_shexp\.weight$=q8_0
+^blk\.0\.ffn_up_shexp\.weight$=q8_0
+^blk\.0\.hc_attn_fn\.weight$=f16
+^blk\.0\.hc_ffn_fn\.weight$=f16
+^blk\.1\.attn_kv\.weight$=q8_0
+^blk\.1\.attn_output_a\.weight$=q8_0
+^blk\.1\.attn_output_b\.weight$=q8_0
+^blk\.1\.attn_q_a\.weight$=q8_0
+^blk\.1\.attn_q_b\.weight$=q8_0
+^blk\.1\.ffn_gate_inp\.weight$=f16
+^blk\.1\.ffn_gate_shexp\.weight$=q8_0
+^blk\.1\.ffn_down_shexp\.weight$=q8_0
+^blk\.1\.ffn_up_shexp\.weight$=q8_0
+^blk\.1\.hc_attn_fn\.weight$=f16
+^blk\.1\.hc_ffn_fn\.weight$=f16
+^blk\.2\.attn_compressor_ape\.weight$=f16
+^blk\.2\.attn_compressor_gate\.weight$=f16
+^blk\.2\.attn_compressor_kv\.weight$=f16
+^blk\.2\.indexer_compressor_ape\.weight$=f16
+^blk\.2\.indexer_compressor_gate\.weight$=f16
+^blk\.2\.indexer_compressor_kv\.weight$=f16
+^blk\.2\.indexer\.proj\.weight$=f16
+^blk\.2\.indexer\.attn_q_b\.weight$=f16
+^blk\.2\.attn_kv\.weight$=q8_0
+^blk\.2\.attn_output_a\.weight$=q8_0
+^blk\.2\.attn_output_b\.weight$=q8_0
+^blk\.2\.attn_q_a\.weight$=q8_0
+^blk\.2\.attn_q_b\.weight$=q8_0
+^blk\.2\.ffn_gate_inp\.weight$=f16
+^blk\.2\.ffn_gate_shexp\.weight$=q8_0
+^blk\.2\.ffn_down_shexp\.weight$=q8_0
+^blk\.2\.ffn_up_shexp\.weight$=q8_0
+^blk\.2\.hc_attn_fn\.weight$=f16
+^blk\.2\.hc_ffn_fn\.weight$=f16
+^blk\.3\.attn_compressor_ape\.weight$=f16
+^blk\.3\.attn_compressor_gate\.weight$=f16
+^blk\.3\.attn_compressor_kv\.weight$=f16
+^blk\.3\.attn_kv\.weight$=q8_0
+^blk\.3\.attn_output_a\.weight$=q8_0
+^blk\.3\.attn_output_b\.weight$=q8_0
+^blk\.3\.attn_q_a\.weight$=q8_0
+^blk\.3\.attn_q_b\.weight$=q8_0
+^blk\.3\.ffn_gate_inp\.weight$=f16
+^blk\.3\.ffn_gate_shexp\.weight$=q8_0
+^blk\.3\.ffn_down_shexp\.weight$=q8_0
+^blk\.3\.ffn_up_shexp\.weight$=q8_0
+^blk\.3\.hc_attn_fn\.weight$=f16
+^blk\.3\.hc_ffn_fn\.weight$=f16
+^blk\.4\.attn_compressor_ape\.weight$=f16
+^blk\.4\.attn_compressor_gate\.weight$=f16
+^blk\.4\.attn_compressor_kv\.weight$=f16
+^blk\.4\.indexer_compressor_ape\.weight$=f16
+^blk\.4\.indexer_compressor_gate\.weight$=f16
+^blk\.4\.indexer_compressor_kv\.weight$=f16
+^blk\.4\.indexer\.proj\.weight$=f16
+^blk\.4\.indexer\.attn_q_b\.weight$=f16
+^blk\.4\.attn_kv\.weight$=q8_0
+^blk\.4\.attn_output_a\.weight$=q8_0
+^blk\.4\.attn_output_b\.weight$=q8_0
+^blk\.4\.attn_q_a\.weight$=q8_0
+^blk\.4\.attn_q_b\.weight$=q8_0
+^blk\.4\.ffn_gate_inp\.weight$=f16
+^blk\.4\.ffn_gate_shexp\.weight$=q8_0
+^blk\.4\.ffn_down_shexp\.weight$=q8_0
+^blk\.4\.ffn_up_shexp\.weight$=q8_0
+^blk\.4\.hc_attn_fn\.weight$=f16
+^blk\.4\.hc_ffn_fn\.weight$=f16
+^blk\.5\.attn_compressor_ape\.weight$=f16
+^blk\.5\.attn_compressor_gate\.weight$=f16
+^blk\.5\.attn_compressor_kv\.weight$=f16
+^blk\.5\.attn_kv\.weight$=q8_0
+^blk\.5\.attn_output_a\.weight$=q8_0
+^blk\.5\.attn_output_b\.weight$=q8_0
+^blk\.5\.attn_q_a\.weight$=q8_0
+^blk\.5\.attn_q_b\.weight$=q8_0
+^blk\.5\.ffn_gate_inp\.weight$=f16
+^blk\.5\.ffn_gate_shexp\.weight$=q8_0
+^blk\.5\.ffn_down_shexp\.weight$=q8_0
+^blk\.5\.ffn_up_shexp\.weight$=q8_0
+^blk\.5\.hc_attn_fn\.weight$=f16
+^blk\.5\.hc_ffn_fn\.weight$=f16
+^blk\.6\.attn_compressor_ape\.weight$=f16
+^blk\.6\.attn_compressor_gate\.weight$=f16
+^blk\.6\.attn_compressor_kv\.weight$=f16
+^blk\.6\.indexer_compressor_ape\.weight$=f16
+^blk\.6\.indexer_compressor_gate\.weight$=f16
+^blk\.6\.indexer_compressor_kv\.weight$=f16
+^blk\.6\.indexer\.proj\.weight$=f16
+^blk\.6\.indexer\.attn_q_b\.weight$=f16
+^blk\.6\.attn_kv\.weight$=q8_0
+^blk\.6\.attn_output_a\.weight$=q8_0
+^blk\.6\.attn_output_b\.weight$=q8_0
+^blk\.6\.attn_q_a\.weight$=q8_0
+^blk\.6\.attn_q_b\.weight$=q8_0
+^blk\.6\.ffn_gate_inp\.weight$=f16
+^blk\.6\.ffn_gate_shexp\.weight$=q8_0
+^blk\.6\.ffn_down_shexp\.weight$=q8_0
+^blk\.6\.ffn_up_shexp\.weight$=q8_0
+^blk\.6\.hc_attn_fn\.weight$=f16
+^blk\.6\.hc_ffn_fn\.weight$=f16
+^blk\.7\.attn_compressor_ape\.weight$=f16
+^blk\.7\.attn_compressor_gate\.weight$=f16
+^blk\.7\.attn_compressor_kv\.weight$=f16
+^blk\.7\.attn_kv\.weight$=q8_0
+^blk\.7\.attn_output_a\.weight$=q8_0
+^blk\.7\.attn_output_b\.weight$=q8_0
+^blk\.7\.attn_q_a\.weight$=q8_0
+^blk\.7\.attn_q_b\.weight$=q8_0
+^blk\.7\.ffn_gate_inp\.weight$=f16
+^blk\.7\.ffn_gate_shexp\.weight$=q8_0
+^blk\.7\.ffn_down_shexp\.weight$=q8_0
+^blk\.7\.ffn_up_shexp\.weight$=q8_0
+^blk\.7\.hc_attn_fn\.weight$=f16
+^blk\.7\.hc_ffn_fn\.weight$=f16
+^blk\.8\.attn_compressor_ape\.weight$=f16
+^blk\.8\.attn_compressor_gate\.weight$=f16
+^blk\.8\.attn_compressor_kv\.weight$=f16
+^blk\.8\.indexer_compressor_ape\.weight$=f16
+^blk\.8\.indexer_compressor_gate\.weight$=f16
+^blk\.8\.indexer_compressor_kv\.weight$=f16
+^blk\.8\.indexer\.proj\.weight$=f16
+^blk\.8\.indexer\.attn_q_b\.weight$=f16
+^blk\.8\.attn_kv\.weight$=q8_0
+^blk\.8\.attn_output_a\.weight$=q8_0
+^blk\.8\.attn_output_b\.weight$=q8_0
+^blk\.8\.attn_q_a\.weight$=q8_0
+^blk\.8\.attn_q_b\.weight$=q8_0
+^blk\.8\.ffn_gate_inp\.weight$=f16
+^blk\.8\.ffn_gate_shexp\.weight$=q8_0
+^blk\.8\.ffn_down_shexp\.weight$=q8_0
+^blk\.8\.ffn_up_shexp\.weight$=q8_0
+^blk\.8\.hc_attn_fn\.weight$=f16
+^blk\.8\.hc_ffn_fn\.weight$=f16
+^blk\.9\.attn_compressor_ape\.weight$=f16
+^blk\.9\.attn_compressor_gate\.weight$=f16
+^blk\.9\.attn_compressor_kv\.weight$=f16
+^blk\.9\.attn_kv\.weight$=q8_0
+^blk\.9\.attn_output_a\.weight$=q8_0
+^blk\.9\.attn_output_b\.weight$=q8_0
+^blk\.9\.attn_q_a\.weight$=q8_0
+^blk\.9\.attn_q_b\.weight$=q8_0
+^blk\.9\.ffn_gate_inp\.weight$=f16
+^blk\.9\.ffn_gate_shexp\.weight$=q8_0
+^blk\.9\.ffn_down_shexp\.weight$=q8_0
+^blk\.9\.ffn_up_shexp\.weight$=q8_0
+^blk\.9\.hc_attn_fn\.weight$=f16
+^blk\.9\.hc_ffn_fn\.weight$=f16
+^blk\.10\.attn_compressor_ape\.weight$=f16
+^blk\.10\.attn_compressor_gate\.weight$=f16
+^blk\.10\.attn_compressor_kv\.weight$=f16
+^blk\.10\.indexer_compressor_ape\.weight$=f16
+^blk\.10\.indexer_compressor_gate\.weight$=f16
+^blk\.10\.indexer_compressor_kv\.weight$=f16
+^blk\.10\.indexer\.proj\.weight$=f16
+^blk\.10\.indexer\.attn_q_b\.weight$=f16
+^blk\.10\.attn_kv\.weight$=q8_0
+^blk\.10\.attn_output_a\.weight$=q8_0
+^blk\.10\.attn_output_b\.weight$=q8_0
+^blk\.10\.attn_q_a\.weight$=q8_0
+^blk\.10\.attn_q_b\.weight$=q8_0
+^blk\.10\.ffn_gate_inp\.weight$=f16
+^blk\.10\.ffn_gate_shexp\.weight$=q8_0
+^blk\.10\.ffn_down_shexp\.weight$=q8_0
+^blk\.10\.ffn_up_shexp\.weight$=q8_0
+^blk\.10\.hc_attn_fn\.weight$=f16
+^blk\.10\.hc_ffn_fn\.weight$=f16
+^blk\.11\.attn_compressor_ape\.weight$=f16
+^blk\.11\.attn_compressor_gate\.weight$=f16
+^blk\.11\.attn_compressor_kv\.weight$=f16
+^blk\.11\.attn_kv\.weight$=q8_0
+^blk\.11\.attn_output_a\.weight$=q8_0
+^blk\.11\.attn_output_b\.weight$=q8_0
+^blk\.11\.attn_q_a\.weight$=q8_0
+^blk\.11\.attn_q_b\.weight$=q8_0
+^blk\.11\.ffn_gate_inp\.weight$=f16
+^blk\.11\.ffn_gate_shexp\.weight$=q8_0
+^blk\.11\.ffn_down_shexp\.weight$=q8_0
+^blk\.11\.ffn_up_shexp\.weight$=q8_0
+^blk\.11\.hc_attn_fn\.weight$=f16
+^blk\.11\.hc_ffn_fn\.weight$=f16
+^blk\.12\.attn_compressor_ape\.weight$=f16
+^blk\.12\.attn_compressor_gate\.weight$=f16
+^blk\.12\.attn_compressor_kv\.weight$=f16
+^blk\.12\.indexer_compressor_ape\.weight$=f16
+^blk\.12\.indexer_compressor_gate\.weight$=f16
+^blk\.12\.indexer_compressor_kv\.weight$=f16
+^blk\.12\.indexer\.proj\.weight$=f16
+^blk\.12\.indexer\.attn_q_b\.weight$=f16
+^blk\.12\.attn_kv\.weight$=q8_0
+^blk\.12\.attn_output_a\.weight$=q8_0
+^blk\.12\.attn_output_b\.weight$=q8_0
+^blk\.12\.attn_q_a\.weight$=q8_0
+^blk\.12\.attn_q_b\.weight$=q8_0
+^blk\.12\.ffn_gate_inp\.weight$=f16
+^blk\.12\.ffn_gate_shexp\.weight$=q8_0
+^blk\.12\.ffn_down_shexp\.weight$=q8_0
+^blk\.12\.ffn_up_shexp\.weight$=q8_0
+^blk\.12\.hc_attn_fn\.weight$=f16
+^blk\.12\.hc_ffn_fn\.weight$=f16
+^blk\.13\.attn_compressor_ape\.weight$=f16
+^blk\.13\.attn_compressor_gate\.weight$=f16
+^blk\.13\.attn_compressor_kv\.weight$=f16
+^blk\.13\.attn_kv\.weight$=q8_0
+^blk\.13\.attn_output_a\.weight$=q8_0
+^blk\.13\.attn_output_b\.weight$=q8_0
+^blk\.13\.attn_q_a\.weight$=q8_0
+^blk\.13\.attn_q_b\.weight$=q8_0
+^blk\.13\.ffn_gate_inp\.weight$=f16
+^blk\.13\.ffn_gate_shexp\.weight$=q8_0
+^blk\.13\.ffn_down_shexp\.weight$=q8_0
+^blk\.13\.ffn_up_shexp\.weight$=q8_0
+^blk\.13\.hc_attn_fn\.weight$=f16
+^blk\.13\.hc_ffn_fn\.weight$=f16
+^blk\.14\.attn_compressor_ape\.weight$=f16
+^blk\.14\.attn_compressor_gate\.weight$=f16
+^blk\.14\.attn_compressor_kv\.weight$=f16
+^blk\.14\.indexer_compressor_ape\.weight$=f16
+^blk\.14\.indexer_compressor_gate\.weight$=f16
+^blk\.14\.indexer_compressor_kv\.weight$=f16
+^blk\.14\.indexer\.proj\.weight$=f16
+^blk\.14\.indexer\.attn_q_b\.weight$=f16
+^blk\.14\.attn_kv\.weight$=q8_0
+^blk\.14\.attn_output_a\.weight$=q8_0
+^blk\.14\.attn_output_b\.weight$=q8_0
+^blk\.14\.attn_q_a\.weight$=q8_0
+^blk\.14\.attn_q_b\.weight$=q8_0
+^blk\.14\.ffn_gate_inp\.weight$=f16
+^blk\.14\.ffn_gate_shexp\.weight$=q8_0
+^blk\.14\.ffn_down_shexp\.weight$=q8_0
+^blk\.14\.ffn_up_shexp\.weight$=q8_0
+^blk\.14\.hc_attn_fn\.weight$=f16
+^blk\.14\.hc_ffn_fn\.weight$=f16
+^blk\.15\.attn_compressor_ape\.weight$=f16
+^blk\.15\.attn_compressor_gate\.weight$=f16
+^blk\.15\.attn_compressor_kv\.weight$=f16
+^blk\.15\.attn_kv\.weight$=q8_0
+^blk\.15\.attn_output_a\.weight$=q8_0
+^blk\.15\.attn_output_b\.weight$=q8_0
+^blk\.15\.attn_q_a\.weight$=q8_0
+^blk\.15\.attn_q_b\.weight$=q8_0
+^blk\.15\.ffn_gate_inp\.weight$=f16
+^blk\.15\.ffn_gate_shexp\.weight$=q8_0
+^blk\.15\.ffn_down_shexp\.weight$=q8_0
+^blk\.15\.ffn_up_shexp\.weight$=q8_0
+^blk\.15\.hc_attn_fn\.weight$=f16
+^blk\.15\.hc_ffn_fn\.weight$=f16
+^blk\.16\.attn_compressor_ape\.weight$=f16
+^blk\.16\.attn_compressor_gate\.weight$=f16
+^blk\.16\.attn_compressor_kv\.weight$=f16
+^blk\.16\.indexer_compressor_ape\.weight$=f16
+^blk\.16\.indexer_compressor_gate\.weight$=f16
+^blk\.16\.indexer_compressor_kv\.weight$=f16
+^blk\.16\.indexer\.proj\.weight$=f16
+^blk\.16\.indexer\.attn_q_b\.weight$=f16
+^blk\.16\.attn_kv\.weight$=q8_0
+^blk\.16\.attn_output_a\.weight$=q8_0
+^blk\.16\.attn_output_b\.weight$=q8_0
+^blk\.16\.attn_q_a\.weight$=q8_0
+^blk\.16\.attn_q_b\.weight$=q8_0
+^blk\.16\.ffn_gate_inp\.weight$=f16
+^blk\.16\.ffn_gate_shexp\.weight$=q8_0
+^blk\.16\.ffn_down_shexp\.weight$=q8_0
+^blk\.16\.ffn_up_shexp\.weight$=q8_0
+^blk\.16\.hc_attn_fn\.weight$=f16
+^blk\.16\.hc_ffn_fn\.weight$=f16
+^blk\.17\.attn_compressor_ape\.weight$=f16
+^blk\.17\.attn_compressor_gate\.weight$=f16
+^blk\.17\.attn_compressor_kv\.weight$=f16
+^blk\.17\.attn_kv\.weight$=q8_0
+^blk\.17\.attn_output_a\.weight$=q8_0
+^blk\.17\.attn_output_b\.weight$=q8_0
+^blk\.17\.attn_q_a\.weight$=q8_0
+^blk\.17\.attn_q_b\.weight$=q8_0
+^blk\.17\.ffn_gate_inp\.weight$=f16
+^blk\.17\.ffn_gate_shexp\.weight$=q8_0
+^blk\.17\.ffn_down_shexp\.weight$=q8_0
+^blk\.17\.ffn_up_shexp\.weight$=q8_0
+^blk\.17\.hc_attn_fn\.weight$=f16
+^blk\.17\.hc_ffn_fn\.weight$=f16
+^blk\.18\.attn_compressor_ape\.weight$=f16
+^blk\.18\.attn_compressor_gate\.weight$=f16
+^blk\.18\.attn_compressor_kv\.weight$=f16
+^blk\.18\.indexer_compressor_ape\.weight$=f16
+^blk\.18\.indexer_compressor_gate\.weight$=f16
+^blk\.18\.indexer_compressor_kv\.weight$=f16
+^blk\.18\.indexer\.proj\.weight$=f16
+^blk\.18\.indexer\.attn_q_b\.weight$=f16
+^blk\.18\.attn_kv\.weight$=q8_0
+^blk\.18\.attn_output_a\.weight$=q8_0
+^blk\.18\.attn_output_b\.weight$=q8_0
+^blk\.18\.attn_q_a\.weight$=q8_0
+^blk\.18\.attn_q_b\.weight$=q8_0
+^blk\.18\.ffn_gate_inp\.weight$=f16
+^blk\.18\.ffn_gate_shexp\.weight$=q8_0
+^blk\.18\.ffn_down_shexp\.weight$=q8_0
+^blk\.18\.ffn_up_shexp\.weight$=q8_0
+^blk\.18\.hc_attn_fn\.weight$=f16
+^blk\.18\.hc_ffn_fn\.weight$=f16
+^blk\.19\.attn_compressor_ape\.weight$=f16
+^blk\.19\.attn_compressor_gate\.weight$=f16
+^blk\.19\.attn_compressor_kv\.weight$=f16
+^blk\.19\.attn_kv\.weight$=q8_0
+^blk\.19\.attn_output_a\.weight$=q8_0
+^blk\.19\.attn_output_b\.weight$=q8_0
+^blk\.19\.attn_q_a\.weight$=q8_0
+^blk\.19\.attn_q_b\.weight$=q8_0
+^blk\.19\.ffn_gate_inp\.weight$=f16
+^blk\.19\.ffn_gate_shexp\.weight$=q8_0
+^blk\.19\.ffn_down_shexp\.weight$=q8_0
+^blk\.19\.ffn_up_shexp\.weight$=q8_0
+^blk\.19\.hc_attn_fn\.weight$=f16
+^blk\.19\.hc_ffn_fn\.weight$=f16
+^blk\.20\.attn_compressor_ape\.weight$=f16
+^blk\.20\.attn_compressor_gate\.weight$=f16
+^blk\.20\.attn_compressor_kv\.weight$=f16
+^blk\.20\.indexer_compressor_ape\.weight$=f16
+^blk\.20\.indexer_compressor_gate\.weight$=f16
+^blk\.20\.indexer_compressor_kv\.weight$=f16
+^blk\.20\.indexer\.proj\.weight$=f16
+^blk\.20\.indexer\.attn_q_b\.weight$=f16
+^blk\.20\.attn_kv\.weight$=q8_0
+^blk\.20\.attn_output_a\.weight$=q8_0
+^blk\.20\.attn_output_b\.weight$=q8_0
+^blk\.20\.attn_q_a\.weight$=q8_0
+^blk\.20\.attn_q_b\.weight$=q8_0
+^blk\.20\.ffn_gate_inp\.weight$=f16
+^blk\.20\.ffn_gate_shexp\.weight$=q8_0
+^blk\.20\.ffn_down_shexp\.weight$=q8_0
+^blk\.20\.ffn_up_shexp\.weight$=q8_0
+^blk\.20\.hc_attn_fn\.weight$=f16
+^blk\.20\.hc_ffn_fn\.weight$=f16
+^blk\.21\.attn_compressor_ape\.weight$=f16
+^blk\.21\.attn_compressor_gate\.weight$=f16
+^blk\.21\.attn_compressor_kv\.weight$=f16
+^blk\.21\.attn_kv\.weight$=q8_0
+^blk\.21\.attn_output_a\.weight$=q8_0
+^blk\.21\.attn_output_b\.weight$=q8_0
+^blk\.21\.attn_q_a\.weight$=q8_0
+^blk\.21\.attn_q_b\.weight$=q8_0
+^blk\.21\.ffn_gate_inp\.weight$=f16
+^blk\.21\.ffn_gate_shexp\.weight$=q8_0
+^blk\.21\.ffn_down_shexp\.weight$=q8_0
+^blk\.21\.ffn_up_shexp\.weight$=q8_0
+^blk\.21\.hc_attn_fn\.weight$=f16
+^blk\.21\.hc_ffn_fn\.weight$=f16
+^blk\.22\.attn_compressor_ape\.weight$=f16
+^blk\.22\.attn_compressor_gate\.weight$=f16
+^blk\.22\.attn_compressor_kv\.weight$=f16
+^blk\.22\.indexer_compressor_ape\.weight$=f16
+^blk\.22\.indexer_compressor_gate\.weight$=f16
+^blk\.22\.indexer_compressor_kv\.weight$=f16
+^blk\.22\.indexer\.proj\.weight$=f16
+^blk\.22\.indexer\.attn_q_b\.weight$=f16
+^blk\.22\.attn_kv\.weight$=q8_0
+^blk\.22\.attn_output_a\.weight$=q8_0
+^blk\.22\.attn_output_b\.weight$=q8_0
+^blk\.22\.attn_q_a\.weight$=q8_0
+^blk\.22\.attn_q_b\.weight$=q8_0
+^blk\.22\.ffn_gate_inp\.weight$=f16
+^blk\.22\.ffn_gate_shexp\.weight$=q8_0
+^blk\.22\.ffn_down_shexp\.weight$=q8_0
+^blk\.22\.ffn_up_shexp\.weight$=q8_0
+^blk\.22\.hc_attn_fn\.weight$=f16
+^blk\.22\.hc_ffn_fn\.weight$=f16
+^blk\.23\.attn_compressor_ape\.weight$=f16
+^blk\.23\.attn_compressor_gate\.weight$=f16
+^blk\.23\.attn_compressor_kv\.weight$=f16
+^blk\.23\.attn_kv\.weight$=q8_0
+^blk\.23\.attn_output_a\.weight$=q8_0
+^blk\.23\.attn_output_b\.weight$=q8_0
+^blk\.23\.attn_q_a\.weight$=q8_0
+^blk\.23\.attn_q_b\.weight$=q8_0
+^blk\.23\.ffn_gate_inp\.weight$=f16
+^blk\.23\.ffn_gate_shexp\.weight$=q8_0
+^blk\.23\.ffn_down_shexp\.weight$=q8_0
+^blk\.23\.ffn_up_shexp\.weight$=q8_0
+^blk\.23\.hc_attn_fn\.weight$=f16
+^blk\.23\.hc_ffn_fn\.weight$=f16
+^blk\.24\.attn_compressor_ape\.weight$=f16
+^blk\.24\.attn_compressor_gate\.weight$=f16
+^blk\.24\.attn_compressor_kv\.weight$=f16
+^blk\.24\.indexer_compressor_ape\.weight$=f16
+^blk\.24\.indexer_compressor_gate\.weight$=f16
+^blk\.24\.indexer_compressor_kv\.weight$=f16
+^blk\.24\.indexer\.proj\.weight$=f16
+^blk\.24\.indexer\.attn_q_b\.weight$=f16
+^blk\.24\.attn_kv\.weight$=q8_0
+^blk\.24\.attn_output_a\.weight$=q8_0
+^blk\.24\.attn_output_b\.weight$=q8_0
+^blk\.24\.attn_q_a\.weight$=q8_0
+^blk\.24\.attn_q_b\.weight$=q8_0
+^blk\.24\.ffn_gate_inp\.weight$=f16
+^blk\.24\.ffn_gate_shexp\.weight$=q8_0
+^blk\.24\.ffn_down_shexp\.weight$=q8_0
+^blk\.24\.ffn_up_shexp\.weight$=q8_0
+^blk\.24\.hc_attn_fn\.weight$=f16
+^blk\.24\.hc_ffn_fn\.weight$=f16
+^blk\.25\.attn_compressor_ape\.weight$=f16
+^blk\.25\.attn_compressor_gate\.weight$=f16
+^blk\.25\.attn_compressor_kv\.weight$=f16
+^blk\.25\.attn_kv\.weight$=q8_0
+^blk\.25\.attn_output_a\.weight$=q8_0
+^blk\.25\.attn_output_b\.weight$=q8_0
+^blk\.25\.attn_q_a\.weight$=q8_0
+^blk\.25\.attn_q_b\.weight$=q8_0
+^blk\.25\.ffn_gate_inp\.weight$=f16
+^blk\.25\.ffn_gate_shexp\.weight$=q8_0
+^blk\.25\.ffn_down_shexp\.weight$=q8_0
+^blk\.25\.ffn_up_shexp\.weight$=q8_0
+^blk\.25\.hc_attn_fn\.weight$=f16
+^blk\.25\.hc_ffn_fn\.weight$=f16
+^blk\.26\.attn_compressor_ape\.weight$=f16
+^blk\.26\.attn_compressor_gate\.weight$=f16
+^blk\.26\.attn_compressor_kv\.weight$=f16
+^blk\.26\.indexer_compressor_ape\.weight$=f16
+^blk\.26\.indexer_compressor_gate\.weight$=f16
+^blk\.26\.indexer_compressor_kv\.weight$=f16
+^blk\.26\.indexer\.proj\.weight$=f16
+^blk\.26\.indexer\.attn_q_b\.weight$=f16
+^blk\.26\.attn_kv\.weight$=q8_0
+^blk\.26\.attn_output_a\.weight$=q8_0
+^blk\.26\.attn_output_b\.weight$=q8_0
+^blk\.26\.attn_q_a\.weight$=q8_0
+^blk\.26\.attn_q_b\.weight$=q8_0
+^blk\.26\.ffn_gate_inp\.weight$=f16
+^blk\.26\.ffn_gate_shexp\.weight$=q8_0
+^blk\.26\.ffn_down_shexp\.weight$=q8_0
+^blk\.26\.ffn_up_shexp\.weight$=q8_0
+^blk\.26\.hc_attn_fn\.weight$=f16
+^blk\.26\.hc_ffn_fn\.weight$=f16
+^blk\.27\.attn_compressor_ape\.weight$=f16
+^blk\.27\.attn_compressor_gate\.weight$=f16
+^blk\.27\.attn_compressor_kv\.weight$=f16
+^blk\.27\.attn_kv\.weight$=q8_0
+^blk\.27\.attn_output_a\.weight$=q8_0
+^blk\.27\.attn_output_b\.weight$=q8_0
+^blk\.27\.attn_q_a\.weight$=q8_0
+^blk\.27\.attn_q_b\.weight$=q8_0
+^blk\.27\.ffn_gate_inp\.weight$=f16
+^blk\.27\.ffn_gate_shexp\.weight$=q8_0
+^blk\.27\.ffn_down_shexp\.weight$=q8_0
+^blk\.27\.ffn_up_shexp\.weight$=q8_0
+^blk\.27\.hc_attn_fn\.weight$=f16
+^blk\.27\.hc_ffn_fn\.weight$=f16
+^blk\.28\.attn_compressor_ape\.weight$=f16
+^blk\.28\.attn_compressor_gate\.weight$=f16
+^blk\.28\.attn_compressor_kv\.weight$=f16
+^blk\.28\.indexer_compressor_ape\.weight$=f16
+^blk\.28\.indexer_compressor_gate\.weight$=f16
+^blk\.28\.indexer_compressor_kv\.weight$=f16
+^blk\.28\.indexer\.proj\.weight$=f16
+^blk\.28\.indexer\.attn_q_b\.weight$=f16
+^blk\.28\.attn_kv\.weight$=q8_0
+^blk\.28\.attn_output_a\.weight$=q8_0
+^blk\.28\.attn_output_b\.weight$=q8_0
+^blk\.28\.attn_q_a\.weight$=q8_0
+^blk\.28\.attn_q_b\.weight$=q8_0
+^blk\.28\.ffn_gate_inp\.weight$=f16
+^blk\.28\.ffn_gate_shexp\.weight$=q8_0
+^blk\.28\.ffn_down_shexp\.weight$=q8_0
+^blk\.28\.ffn_up_shexp\.weight$=q8_0
+^blk\.28\.hc_attn_fn\.weight$=f16
+^blk\.28\.hc_ffn_fn\.weight$=f16
+^blk\.29\.attn_compressor_ape\.weight$=f16
+^blk\.29\.attn_compressor_gate\.weight$=f16
+^blk\.29\.attn_compressor_kv\.weight$=f16
+^blk\.29\.attn_kv\.weight$=q8_0
+^blk\.29\.attn_output_a\.weight$=q8_0
+^blk\.29\.attn_output_b\.weight$=q8_0
+^blk\.29\.attn_q_a\.weight$=q8_0
+^blk\.29\.attn_q_b\.weight$=q8_0
+^blk\.29\.ffn_gate_inp\.weight$=f16
+^blk\.29\.ffn_gate_shexp\.weight$=q8_0
+^blk\.29\.ffn_down_shexp\.weight$=q8_0
+^blk\.29\.ffn_up_shexp\.weight$=q8_0
+^blk\.29\.hc_attn_fn\.weight$=f16
+^blk\.29\.hc_ffn_fn\.weight$=f16
+^blk\.30\.attn_compressor_ape\.weight$=f16
+^blk\.30\.attn_compressor_gate\.weight$=f16
+^blk\.30\.attn_compressor_kv\.weight$=f16
+^blk\.30\.indexer_compressor_ape\.weight$=f16
+^blk\.30\.indexer_compressor_gate\.weight$=f16
+^blk\.30\.indexer_compressor_kv\.weight$=f16
+^blk\.30\.indexer\.proj\.weight$=f16
+^blk\.30\.indexer\.attn_q_b\.weight$=f16
+^blk\.30\.attn_kv\.weight$=q8_0
+^blk\.30\.attn_output_a\.weight$=q8_0
+^blk\.30\.attn_output_b\.weight$=q8_0
+^blk\.30\.attn_q_a\.weight$=q8_0
+^blk\.30\.attn_q_b\.weight$=q8_0
+^blk\.30\.ffn_gate_inp\.weight$=f16
+^blk\.30\.ffn_gate_shexp\.weight$=q8_0
+^blk\.30\.ffn_down_shexp\.weight$=q8_0
+^blk\.30\.ffn_up_shexp\.weight$=q8_0
+^blk\.30\.hc_attn_fn\.weight$=f16
+^blk\.30\.hc_ffn_fn\.weight$=f16
+^blk\.31\.attn_compressor_ape\.weight$=f16
+^blk\.31\.attn_compressor_gate\.weight$=f16
+^blk\.31\.attn_compressor_kv\.weight$=f16
+^blk\.31\.attn_kv\.weight$=q8_0
+^blk\.31\.attn_output_a\.weight$=q8_0
+^blk\.31\.attn_output_b\.weight$=q8_0
+^blk\.31\.attn_q_a\.weight$=q8_0
+^blk\.31\.attn_q_b\.weight$=q8_0
+^blk\.31\.ffn_gate_inp\.weight$=f16
+^blk\.31\.ffn_gate_shexp\.weight$=q8_0
+^blk\.31\.ffn_down_shexp\.weight$=q8_0
+^blk\.31\.ffn_up_shexp\.weight$=q8_0
+^blk\.31\.hc_attn_fn\.weight$=f16
+^blk\.31\.hc_ffn_fn\.weight$=f16
+^blk\.32\.attn_compressor_ape\.weight$=f16
+^blk\.32\.attn_compressor_gate\.weight$=f16
+^blk\.32\.attn_compressor_kv\.weight$=f16
+^blk\.32\.indexer_compressor_ape\.weight$=f16
+^blk\.32\.indexer_compressor_gate\.weight$=f16
+^blk\.32\.indexer_compressor_kv\.weight$=f16
+^blk\.32\.indexer\.proj\.weight$=f16
+^blk\.32\.indexer\.attn_q_b\.weight$=f16
+^blk\.32\.attn_kv\.weight$=q8_0
+^blk\.32\.attn_output_a\.weight$=q8_0
+^blk\.32\.attn_output_b\.weight$=q8_0
+^blk\.32\.attn_q_a\.weight$=q8_0
+^blk\.32\.attn_q_b\.weight$=q8_0
+^blk\.32\.ffn_gate_inp\.weight$=f16
+^blk\.32\.ffn_gate_shexp\.weight$=q8_0
+^blk\.32\.ffn_down_shexp\.weight$=q8_0
+^blk\.32\.ffn_up_shexp\.weight$=q8_0
+^blk\.32\.hc_attn_fn\.weight$=f16
+^blk\.32\.hc_ffn_fn\.weight$=f16
+^blk\.33\.attn_compressor_ape\.weight$=f16
+^blk\.33\.attn_compressor_gate\.weight$=f16
+^blk\.33\.attn_compressor_kv\.weight$=f16
+^blk\.33\.attn_kv\.weight$=q8_0
+^blk\.33\.attn_output_a\.weight$=q8_0
+^blk\.33\.attn_output_b\.weight$=q8_0
+^blk\.33\.attn_q_a\.weight$=q8_0
+^blk\.33\.attn_q_b\.weight$=q8_0
+^blk\.33\.ffn_gate_inp\.weight$=f16
+^blk\.33\.ffn_gate_shexp\.weight$=q8_0
+^blk\.33\.ffn_down_shexp\.weight$=q8_0
+^blk\.33\.ffn_up_shexp\.weight$=q8_0
+^blk\.33\.hc_attn_fn\.weight$=f16
+^blk\.33\.hc_ffn_fn\.weight$=f16
+^blk\.34\.attn_compressor_ape\.weight$=f16
+^blk\.34\.attn_compressor_gate\.weight$=f16
+^blk\.34\.attn_compressor_kv\.weight$=f16
+^blk\.34\.indexer_compressor_ape\.weight$=f16
+^blk\.34\.indexer_compressor_gate\.weight$=f16
+^blk\.34\.indexer_compressor_kv\.weight$=f16
+^blk\.34\.indexer\.proj\.weight$=f16
+^blk\.34\.indexer\.attn_q_b\.weight$=f16
+^blk\.34\.attn_kv\.weight$=q8_0
+^blk\.34\.attn_output_a\.weight$=q8_0
+^blk\.34\.attn_output_b\.weight$=q8_0
+^blk\.34\.attn_q_a\.weight$=q8_0
+^blk\.34\.attn_q_b\.weight$=q8_0
+^blk\.34\.ffn_gate_inp\.weight$=f16
+^blk\.34\.ffn_gate_shexp\.weight$=q8_0
+^blk\.34\.ffn_down_shexp\.weight$=q8_0
+^blk\.34\.ffn_up_shexp\.weight$=q8_0
+^blk\.34\.hc_attn_fn\.weight$=f16
+^blk\.34\.hc_ffn_fn\.weight$=f16
+^blk\.35\.attn_compressor_ape\.weight$=f16
+^blk\.35\.attn_compressor_gate\.weight$=f16
+^blk\.35\.attn_compressor_kv\.weight$=f16
+^blk\.35\.attn_kv\.weight$=q8_0
+^blk\.35\.attn_output_a\.weight$=q8_0
+^blk\.35\.attn_output_b\.weight$=q8_0
+^blk\.35\.attn_q_a\.weight$=q8_0
+^blk\.35\.attn_q_b\.weight$=q8_0
+^blk\.35\.ffn_gate_inp\.weight$=f16
+^blk\.35\.ffn_gate_shexp\.weight$=q8_0
+^blk\.35\.ffn_down_shexp\.weight$=q8_0
+^blk\.35\.ffn_up_shexp\.weight$=q8_0
+^blk\.35\.hc_attn_fn\.weight$=f16
+^blk\.35\.hc_ffn_fn\.weight$=f16
+^blk\.36\.attn_compressor_ape\.weight$=f16
+^blk\.36\.attn_compressor_gate\.weight$=f16
+^blk\.36\.attn_compressor_kv\.weight$=f16
+^blk\.36\.indexer_compressor_ape\.weight$=f16
+^blk\.36\.indexer_compressor_gate\.weight$=f16
+^blk\.36\.indexer_compressor_kv\.weight$=f16
+^blk\.36\.indexer\.proj\.weight$=f16
+^blk\.36\.indexer\.attn_q_b\.weight$=f16
+^blk\.36\.attn_kv\.weight$=q8_0
+^blk\.36\.attn_output_a\.weight$=q8_0
+^blk\.36\.attn_output_b\.weight$=q8_0
+^blk\.36\.attn_q_a\.weight$=q8_0
+^blk\.36\.attn_q_b\.weight$=q8_0
+^blk\.36\.ffn_gate_inp\.weight$=f16
+^blk\.36\.ffn_gate_shexp\.weight$=q8_0
+^blk\.36\.ffn_down_shexp\.weight$=q8_0
+^blk\.36\.ffn_up_shexp\.weight$=q8_0
+^blk\.36\.hc_attn_fn\.weight$=f16
+^blk\.36\.hc_ffn_fn\.weight$=f16
+^blk\.37\.attn_compressor_ape\.weight$=f16
+^blk\.37\.attn_compressor_gate\.weight$=f16
+^blk\.37\.attn_compressor_kv\.weight$=f16
+^blk\.37\.attn_kv\.weight$=q8_0
+^blk\.37\.attn_output_a\.weight$=q8_0
+^blk\.37\.attn_output_b\.weight$=q8_0
+^blk\.37\.attn_q_a\.weight$=q8_0
+^blk\.37\.attn_q_b\.weight$=q8_0
+^blk\.37\.ffn_gate_inp\.weight$=f16
+^blk\.37\.ffn_gate_shexp\.weight$=q8_0
+^blk\.37\.ffn_down_shexp\.weight$=q8_0
+^blk\.37\.ffn_up_shexp\.weight$=q8_0
+^blk\.37\.hc_attn_fn\.weight$=f16
+^blk\.37\.hc_ffn_fn\.weight$=f16
+^blk\.38\.attn_compressor_ape\.weight$=f16
+^blk\.38\.attn_compressor_gate\.weight$=f16
+^blk\.38\.attn_compressor_kv\.weight$=f16
+^blk\.38\.indexer_compressor_ape\.weight$=f16
+^blk\.38\.indexer_compressor_gate\.weight$=f16
+^blk\.38\.indexer_compressor_kv\.weight$=f16
+^blk\.38\.indexer\.proj\.weight$=f16
+^blk\.38\.indexer\.attn_q_b\.weight$=f16
+^blk\.38\.attn_kv\.weight$=q8_0
+^blk\.38\.attn_output_a\.weight$=q8_0
+^blk\.38\.attn_output_b\.weight$=q8_0
+^blk\.38\.attn_q_a\.weight$=q8_0
+^blk\.38\.attn_q_b\.weight$=q8_0
+^blk\.38\.ffn_gate_inp\.weight$=f16
+^blk\.38\.ffn_gate_shexp\.weight$=q8_0
+^blk\.38\.ffn_down_shexp\.weight$=q8_0
+^blk\.38\.ffn_up_shexp\.weight$=q8_0
+^blk\.38\.hc_attn_fn\.weight$=f16
+^blk\.38\.hc_ffn_fn\.weight$=f16
+^blk\.39\.attn_compressor_ape\.weight$=f16
+^blk\.39\.attn_compressor_gate\.weight$=f16
+^blk\.39\.attn_compressor_kv\.weight$=f16
+^blk\.39\.attn_kv\.weight$=q8_0
+^blk\.39\.attn_output_a\.weight$=q8_0
+^blk\.39\.attn_output_b\.weight$=q8_0
+^blk\.39\.attn_q_a\.weight$=q8_0
+^blk\.39\.attn_q_b\.weight$=q8_0
+^blk\.39\.ffn_gate_inp\.weight$=f16
+^blk\.39\.ffn_gate_shexp\.weight$=q8_0
+^blk\.39\.ffn_down_shexp\.weight$=q8_0
+^blk\.39\.ffn_up_shexp\.weight$=q8_0
+^blk\.39\.hc_attn_fn\.weight$=f16
+^blk\.39\.hc_ffn_fn\.weight$=f16
+^blk\.40\.attn_compressor_ape\.weight$=f16
+^blk\.40\.attn_compressor_gate\.weight$=f16
+^blk\.40\.attn_compressor_kv\.weight$=f16
+^blk\.40\.indexer_compressor_ape\.weight$=f16
+^blk\.40\.indexer_compressor_gate\.weight$=f16
+^blk\.40\.indexer_compressor_kv\.weight$=f16
+^blk\.40\.indexer\.proj\.weight$=f16
+^blk\.40\.indexer\.attn_q_b\.weight$=f16
+^blk\.40\.attn_kv\.weight$=q8_0
+^blk\.40\.attn_output_a\.weight$=q8_0
+^blk\.40\.attn_output_b\.weight$=q8_0
+^blk\.40\.attn_q_a\.weight$=q8_0
+^blk\.40\.attn_q_b\.weight$=q8_0
+^blk\.40\.ffn_gate_inp\.weight$=f16
+^blk\.40\.ffn_gate_shexp\.weight$=q8_0
+^blk\.40\.ffn_down_shexp\.weight$=q8_0
+^blk\.40\.ffn_up_shexp\.weight$=q8_0
+^blk\.40\.hc_attn_fn\.weight$=f16
+^blk\.40\.hc_ffn_fn\.weight$=f16
+^blk\.41\.attn_compressor_ape\.weight$=f16
+^blk\.41\.attn_compressor_gate\.weight$=f16
+^blk\.41\.attn_compressor_kv\.weight$=f16
+^blk\.41\.attn_kv\.weight$=q8_0
+^blk\.41\.attn_output_a\.weight$=q8_0
+^blk\.41\.attn_output_b\.weight$=q8_0
+^blk\.41\.attn_q_a\.weight$=q8_0
+^blk\.41\.attn_q_b\.weight$=q8_0
+^blk\.41\.ffn_gate_inp\.weight$=f16
+^blk\.41\.ffn_gate_shexp\.weight$=q8_0
+^blk\.41\.ffn_down_shexp\.weight$=q8_0
+^blk\.41\.ffn_up_shexp\.weight$=q8_0
+^blk\.41\.hc_attn_fn\.weight$=f16
+^blk\.41\.hc_ffn_fn\.weight$=f16
+^blk\.42\.attn_compressor_ape\.weight$=f16
+^blk\.42\.attn_compressor_gate\.weight$=f16
+^blk\.42\.attn_compressor_kv\.weight$=f16
+^blk\.42\.indexer_compressor_ape\.weight$=f16
+^blk\.42\.indexer_compressor_gate\.weight$=f16
+^blk\.42\.indexer_compressor_kv\.weight$=f16
+^blk\.42\.indexer\.proj\.weight$=f16
+^blk\.42\.indexer\.attn_q_b\.weight$=f16
+^blk\.42\.attn_kv\.weight$=q8_0
+^blk\.42\.attn_output_a\.weight$=q8_0
+^blk\.42\.attn_output_b\.weight$=q8_0
+^blk\.42\.attn_q_a\.weight$=q8_0
+^blk\.42\.attn_q_b\.weight$=q8_0
+^blk\.42\.ffn_gate_inp\.weight$=f16
+^blk\.42\.ffn_gate_shexp\.weight$=q8_0
+^blk\.42\.ffn_down_shexp\.weight$=q8_0
+^blk\.42\.ffn_up_shexp\.weight$=q8_0
+^blk\.42\.hc_attn_fn\.weight$=f16
+^blk\.42\.hc_ffn_fn\.weight$=f16
+^output_hc_fn\.weight$=f16
+^output\.weight$=q8_0
+^blk\.0\.attn_sinks\.weight$=f32
+^blk\.0\.attn_kv_a_norm\.weight$=f32
+^blk\.0\.attn_q_a_norm\.weight$=f32
+^blk\.0\.attn_norm\.weight$=f32
+^blk\.0\.ffn_norm\.weight$=f32
+^blk\.0\.hc_attn_base\.weight$=f32
+^blk\.0\.hc_attn_scale\.weight$=f32
+^blk\.0\.hc_ffn_base\.weight$=f32
+^blk\.0\.hc_ffn_scale\.weight$=f32
+^blk\.1\.attn_sinks\.weight$=f32
+^blk\.1\.attn_kv_a_norm\.weight$=f32
+^blk\.1\.attn_q_a_norm\.weight$=f32
+^blk\.1\.attn_norm\.weight$=f32
+^blk\.1\.ffn_norm\.weight$=f32
+^blk\.1\.hc_attn_base\.weight$=f32
+^blk\.1\.hc_attn_scale\.weight$=f32
+^blk\.1\.hc_ffn_base\.weight$=f32
+^blk\.1\.hc_ffn_scale\.weight$=f32
+^blk\.2\.attn_sinks\.weight$=f32
+^blk\.2\.attn_compressor_norm\.weight$=f32
+^blk\.2\.indexer_compressor_norm\.weight$=f32
+^blk\.2\.attn_kv_a_norm\.weight$=f32
+^blk\.2\.attn_q_a_norm\.weight$=f32
+^blk\.2\.attn_norm\.weight$=f32
+^blk\.2\.ffn_norm\.weight$=f32
+^blk\.2\.hc_attn_base\.weight$=f32
+^blk\.2\.hc_attn_scale\.weight$=f32
+^blk\.2\.hc_ffn_base\.weight$=f32
+^blk\.2\.hc_ffn_scale\.weight$=f32
+^blk\.3\.attn_sinks\.weight$=f32
+^blk\.3\.attn_compressor_norm\.weight$=f32
+^blk\.3\.attn_kv_a_norm\.weight$=f32
+^blk\.3\.attn_q_a_norm\.weight$=f32
+^blk\.3\.attn_norm\.weight$=f32
+^blk\.3\.exp_probs_b\.bias$=f32
+^blk\.3\.ffn_norm\.weight$=f32
+^blk\.3\.hc_attn_base\.weight$=f32
+^blk\.3\.hc_attn_scale\.weight$=f32
+^blk\.3\.hc_ffn_base\.weight$=f32
+^blk\.3\.hc_ffn_scale\.weight$=f32
+^blk\.4\.attn_sinks\.weight$=f32
+^blk\.4\.attn_compressor_norm\.weight$=f32
+^blk\.4\.indexer_compressor_norm\.weight$=f32
+^blk\.4\.attn_kv_a_norm\.weight$=f32
+^blk\.4\.attn_q_a_norm\.weight$=f32
+^blk\.4\.attn_norm\.weight$=f32
+^blk\.4\.exp_probs_b\.bias$=f32
+^blk\.4\.ffn_norm\.weight$=f32
+^blk\.4\.hc_attn_base\.weight$=f32
+^blk\.4\.hc_attn_scale\.weight$=f32
+^blk\.4\.hc_ffn_base\.weight$=f32
+^blk\.4\.hc_ffn_scale\.weight$=f32
+^blk\.5\.attn_sinks\.weight$=f32
+^blk\.5\.attn_compressor_norm\.weight$=f32
+^blk\.5\.attn_kv_a_norm\.weight$=f32
+^blk\.5\.attn_q_a_norm\.weight$=f32
+^blk\.5\.attn_norm\.weight$=f32
+^blk\.5\.exp_probs_b\.bias$=f32
+^blk\.5\.ffn_norm\.weight$=f32
+^blk\.5\.hc_attn_base\.weight$=f32
+^blk\.5\.hc_attn_scale\.weight$=f32
+^blk\.5\.hc_ffn_base\.weight$=f32
+^blk\.5\.hc_ffn_scale\.weight$=f32
+^blk\.6\.attn_sinks\.weight$=f32
+^blk\.6\.attn_compressor_norm\.weight$=f32
+^blk\.6\.indexer_compressor_norm\.weight$=f32
+^blk\.6\.attn_kv_a_norm\.weight$=f32
+^blk\.6\.attn_q_a_norm\.weight$=f32
+^blk\.6\.attn_norm\.weight$=f32
+^blk\.6\.exp_probs_b\.bias$=f32
+^blk\.6\.ffn_norm\.weight$=f32
+^blk\.6\.hc_attn_base\.weight$=f32
+^blk\.6\.hc_attn_scale\.weight$=f32
+^blk\.6\.hc_ffn_base\.weight$=f32
+^blk\.6\.hc_ffn_scale\.weight$=f32
+^blk\.7\.attn_sinks\.weight$=f32
+^blk\.7\.attn_compressor_norm\.weight$=f32
+^blk\.7\.attn_kv_a_norm\.weight$=f32
+^blk\.7\.attn_q_a_norm\.weight$=f32
+^blk\.7\.attn_norm\.weight$=f32
+^blk\.7\.exp_probs_b\.bias$=f32
+^blk\.7\.ffn_norm\.weight$=f32
+^blk\.7\.hc_attn_base\.weight$=f32
+^blk\.7\.hc_attn_scale\.weight$=f32
+^blk\.7\.hc_ffn_base\.weight$=f32
+^blk\.7\.hc_ffn_scale\.weight$=f32
+^blk\.8\.attn_sinks\.weight$=f32
+^blk\.8\.attn_compressor_norm\.weight$=f32
+^blk\.8\.indexer_compressor_norm\.weight$=f32
+^blk\.8\.attn_kv_a_norm\.weight$=f32
+^blk\.8\.attn_q_a_norm\.weight$=f32
+^blk\.8\.attn_norm\.weight$=f32
+^blk\.8\.exp_probs_b\.bias$=f32
+^blk\.8\.ffn_norm\.weight$=f32
+^blk\.8\.hc_attn_base\.weight$=f32
+^blk\.8\.hc_attn_scale\.weight$=f32
+^blk\.8\.hc_ffn_base\.weight$=f32
+^blk\.8\.hc_ffn_scale\.weight$=f32
+^blk\.9\.attn_sinks\.weight$=f32
+^blk\.9\.attn_compressor_norm\.weight$=f32
+^blk\.9\.attn_kv_a_norm\.weight$=f32
+^blk\.9\.attn_q_a_norm\.weight$=f32
+^blk\.9\.attn_norm\.weight$=f32
+^blk\.9\.exp_probs_b\.bias$=f32
+^blk\.9\.ffn_norm\.weight$=f32
+^blk\.9\.hc_attn_base\.weight$=f32
+^blk\.9\.hc_attn_scale\.weight$=f32
+^blk\.9\.hc_ffn_base\.weight$=f32
+^blk\.9\.hc_ffn_scale\.weight$=f32
+^blk\.10\.attn_sinks\.weight$=f32
+^blk\.10\.attn_compressor_norm\.weight$=f32
+^blk\.10\.indexer_compressor_norm\.weight$=f32
+^blk\.10\.attn_kv_a_norm\.weight$=f32
+^blk\.10\.attn_q_a_norm\.weight$=f32
+^blk\.10\.attn_norm\.weight$=f32
+^blk\.10\.exp_probs_b\.bias$=f32
+^blk\.10\.ffn_norm\.weight$=f32
+^blk\.10\.hc_attn_base\.weight$=f32
+^blk\.10\.hc_attn_scale\.weight$=f32
+^blk\.10\.hc_ffn_base\.weight$=f32
+^blk\.10\.hc_ffn_scale\.weight$=f32
+^blk\.11\.attn_sinks\.weight$=f32
+^blk\.11\.attn_compressor_norm\.weight$=f32
+^blk\.11\.attn_kv_a_norm\.weight$=f32
+^blk\.11\.attn_q_a_norm\.weight$=f32
+^blk\.11\.attn_norm\.weight$=f32
+^blk\.11\.exp_probs_b\.bias$=f32
+^blk\.11\.ffn_norm\.weight$=f32
+^blk\.11\.hc_attn_base\.weight$=f32
+^blk\.11\.hc_attn_scale\.weight$=f32
+^blk\.11\.hc_ffn_base\.weight$=f32
+^blk\.11\.hc_ffn_scale\.weight$=f32
+^blk\.12\.attn_sinks\.weight$=f32
+^blk\.12\.attn_compressor_norm\.weight$=f32
+^blk\.12\.indexer_compressor_norm\.weight$=f32
+^blk\.12\.attn_kv_a_norm\.weight$=f32
+^blk\.12\.attn_q_a_norm\.weight$=f32
+^blk\.12\.attn_norm\.weight$=f32
+^blk\.12\.exp_probs_b\.bias$=f32
+^blk\.12\.ffn_norm\.weight$=f32
+^blk\.12\.hc_attn_base\.weight$=f32
+^blk\.12\.hc_attn_scale\.weight$=f32
+^blk\.12\.hc_ffn_base\.weight$=f32
+^blk\.12\.hc_ffn_scale\.weight$=f32
+^blk\.13\.attn_sinks\.weight$=f32
+^blk\.13\.attn_compressor_norm\.weight$=f32
+^blk\.13\.attn_kv_a_norm\.weight$=f32
+^blk\.13\.attn_q_a_norm\.weight$=f32
+^blk\.13\.attn_norm\.weight$=f32
+^blk\.13\.exp_probs_b\.bias$=f32
+^blk\.13\.ffn_norm\.weight$=f32
+^blk\.13\.hc_attn_base\.weight$=f32
+^blk\.13\.hc_attn_scale\.weight$=f32
+^blk\.13\.hc_ffn_base\.weight$=f32
+^blk\.13\.hc_ffn_scale\.weight$=f32
+^blk\.14\.attn_sinks\.weight$=f32
+^blk\.14\.attn_compressor_norm\.weight$=f32
+^blk\.14\.indexer_compressor_norm\.weight$=f32
+^blk\.14\.attn_kv_a_norm\.weight$=f32
+^blk\.14\.attn_q_a_norm\.weight$=f32
+^blk\.14\.attn_norm\.weight$=f32
+^blk\.14\.exp_probs_b\.bias$=f32
+^blk\.14\.ffn_norm\.weight$=f32
+^blk\.14\.hc_attn_base\.weight$=f32
+^blk\.14\.hc_attn_scale\.weight$=f32
+^blk\.14\.hc_ffn_base\.weight$=f32
+^blk\.14\.hc_ffn_scale\.weight$=f32
+^blk\.15\.attn_sinks\.weight$=f32
+^blk\.15\.attn_compressor_norm\.weight$=f32
+^blk\.15\.attn_kv_a_norm\.weight$=f32
+^blk\.15\.attn_q_a_norm\.weight$=f32
+^blk\.15\.attn_norm\.weight$=f32
+^blk\.15\.exp_probs_b\.bias$=f32
+^blk\.15\.ffn_norm\.weight$=f32
+^blk\.15\.hc_attn_base\.weight$=f32
+^blk\.15\.hc_attn_scale\.weight$=f32
+^blk\.15\.hc_ffn_base\.weight$=f32
+^blk\.15\.hc_ffn_scale\.weight$=f32
+^blk\.16\.attn_sinks\.weight$=f32
+^blk\.16\.attn_compressor_norm\.weight$=f32
+^blk\.16\.indexer_compressor_norm\.weight$=f32
+^blk\.16\.attn_kv_a_norm\.weight$=f32
+^blk\.16\.attn_q_a_norm\.weight$=f32
+^blk\.16\.attn_norm\.weight$=f32
+^blk\.16\.exp_probs_b\.bias$=f32
+^blk\.16\.ffn_norm\.weight$=f32
+^blk\.16\.hc_attn_base\.weight$=f32
+^blk\.16\.hc_attn_scale\.weight$=f32
+^blk\.16\.hc_ffn_base\.weight$=f32
+^blk\.16\.hc_ffn_scale\.weight$=f32
+^blk\.17\.attn_sinks\.weight$=f32
+^blk\.17\.attn_compressor_norm\.weight$=f32
+^blk\.17\.attn_kv_a_norm\.weight$=f32
+^blk\.17\.attn_q_a_norm\.weight$=f32
+^blk\.17\.attn_norm\.weight$=f32
+^blk\.17\.exp_probs_b\.bias$=f32
+^blk\.17\.ffn_norm\.weight$=f32
+^blk\.17\.hc_attn_base\.weight$=f32
+^blk\.17\.hc_attn_scale\.weight$=f32
+^blk\.17\.hc_ffn_base\.weight$=f32
+^blk\.17\.hc_ffn_scale\.weight$=f32
+^blk\.18\.attn_sinks\.weight$=f32
+^blk\.18\.attn_compressor_norm\.weight$=f32
+^blk\.18\.indexer_compressor_norm\.weight$=f32
+^blk\.18\.attn_kv_a_norm\.weight$=f32
+^blk\.18\.attn_q_a_norm\.weight$=f32
+^blk\.18\.attn_norm\.weight$=f32
+^blk\.18\.exp_probs_b\.bias$=f32
+^blk\.18\.ffn_norm\.weight$=f32
+^blk\.18\.hc_attn_base\.weight$=f32
+^blk\.18\.hc_attn_scale\.weight$=f32
+^blk\.18\.hc_ffn_base\.weight$=f32
+^blk\.18\.hc_ffn_scale\.weight$=f32
+^blk\.19\.attn_sinks\.weight$=f32
+^blk\.19\.attn_compressor_norm\.weight$=f32
+^blk\.19\.attn_kv_a_norm\.weight$=f32
+^blk\.19\.attn_q_a_norm\.weight$=f32
+^blk\.19\.attn_norm\.weight$=f32
+^blk\.19\.exp_probs_b\.bias$=f32
+^blk\.19\.ffn_norm\.weight$=f32
+^blk\.19\.hc_attn_base\.weight$=f32
+^blk\.19\.hc_attn_scale\.weight$=f32
+^blk\.19\.hc_ffn_base\.weight$=f32
+^blk\.19\.hc_ffn_scale\.weight$=f32
+^blk\.20\.attn_sinks\.weight$=f32
+^blk\.20\.attn_compressor_norm\.weight$=f32
+^blk\.20\.indexer_compressor_norm\.weight$=f32
+^blk\.20\.attn_kv_a_norm\.weight$=f32
+^blk\.20\.attn_q_a_norm\.weight$=f32
+^blk\.20\.attn_norm\.weight$=f32
+^blk\.20\.exp_probs_b\.bias$=f32
+^blk\.20\.ffn_norm\.weight$=f32
+^blk\.20\.hc_attn_base\.weight$=f32
+^blk\.20\.hc_attn_scale\.weight$=f32
+^blk\.20\.hc_ffn_base\.weight$=f32
+^blk\.20\.hc_ffn_scale\.weight$=f32
+^blk\.21\.attn_sinks\.weight$=f32
+^blk\.21\.attn_compressor_norm\.weight$=f32
+^blk\.21\.attn_kv_a_norm\.weight$=f32
+^blk\.21\.attn_q_a_norm\.weight$=f32
+^blk\.21\.attn_norm\.weight$=f32
+^blk\.21\.exp_probs_b\.bias$=f32
+^blk\.21\.ffn_norm\.weight$=f32
+^blk\.21\.hc_attn_base\.weight$=f32
+^blk\.21\.hc_attn_scale\.weight$=f32
+^blk\.21\.hc_ffn_base\.weight$=f32
+^blk\.21\.hc_ffn_scale\.weight$=f32
+^blk\.22\.attn_sinks\.weight$=f32
+^blk\.22\.attn_compressor_norm\.weight$=f32
+^blk\.22\.indexer_compressor_norm\.weight$=f32
+^blk\.22\.attn_kv_a_norm\.weight$=f32
+^blk\.22\.attn_q_a_norm\.weight$=f32
+^blk\.22\.attn_norm\.weight$=f32
+^blk\.22\.exp_probs_b\.bias$=f32
+^blk\.22\.ffn_norm\.weight$=f32
+^blk\.22\.hc_attn_base\.weight$=f32
+^blk\.22\.hc_attn_scale\.weight$=f32
+^blk\.22\.hc_ffn_base\.weight$=f32
+^blk\.22\.hc_ffn_scale\.weight$=f32
+^blk\.23\.attn_sinks\.weight$=f32
+^blk\.23\.attn_compressor_norm\.weight$=f32
+^blk\.23\.attn_kv_a_norm\.weight$=f32
+^blk\.23\.attn_q_a_norm\.weight$=f32
+^blk\.23\.attn_norm\.weight$=f32
+^blk\.23\.exp_probs_b\.bias$=f32
+^blk\.23\.ffn_norm\.weight$=f32
+^blk\.23\.hc_attn_base\.weight$=f32
+^blk\.23\.hc_attn_scale\.weight$=f32
+^blk\.23\.hc_ffn_base\.weight$=f32
+^blk\.23\.hc_ffn_scale\.weight$=f32
+^blk\.24\.attn_sinks\.weight$=f32
+^blk\.24\.attn_compressor_norm\.weight$=f32
+^blk\.24\.indexer_compressor_norm\.weight$=f32
+^blk\.24\.attn_kv_a_norm\.weight$=f32
+^blk\.24\.attn_q_a_norm\.weight$=f32
+^blk\.24\.attn_norm\.weight$=f32
+^blk\.24\.exp_probs_b\.bias$=f32
+^blk\.24\.ffn_norm\.weight$=f32
+^blk\.24\.hc_attn_base\.weight$=f32
+^blk\.24\.hc_attn_scale\.weight$=f32
+^blk\.24\.hc_ffn_base\.weight$=f32
+^blk\.24\.hc_ffn_scale\.weight$=f32
+^blk\.25\.attn_sinks\.weight$=f32
+^blk\.25\.attn_compressor_norm\.weight$=f32
+^blk\.25\.attn_kv_a_norm\.weight$=f32
+^blk\.25\.attn_q_a_norm\.weight$=f32
+^blk\.25\.attn_norm\.weight$=f32
+^blk\.25\.exp_probs_b\.bias$=f32
+^blk\.25\.ffn_norm\.weight$=f32
+^blk\.25\.hc_attn_base\.weight$=f32
+^blk\.25\.hc_attn_scale\.weight$=f32
+^blk\.25\.hc_ffn_base\.weight$=f32
+^blk\.25\.hc_ffn_scale\.weight$=f32
+^blk\.26\.attn_sinks\.weight$=f32
+^blk\.26\.attn_compressor_norm\.weight$=f32
+^blk\.26\.indexer_compressor_norm\.weight$=f32
+^blk\.26\.attn_kv_a_norm\.weight$=f32
+^blk\.26\.attn_q_a_norm\.weight$=f32
+^blk\.26\.attn_norm\.weight$=f32
+^blk\.26\.exp_probs_b\.bias$=f32
+^blk\.26\.ffn_norm\.weight$=f32
+^blk\.26\.hc_attn_base\.weight$=f32
+^blk\.26\.hc_attn_scale\.weight$=f32
+^blk\.26\.hc_ffn_base\.weight$=f32
+^blk\.26\.hc_ffn_scale\.weight$=f32
+^blk\.27\.attn_sinks\.weight$=f32
+^blk\.27\.attn_compressor_norm\.weight$=f32
+^blk\.27\.attn_kv_a_norm\.weight$=f32
+^blk\.27\.attn_q_a_norm\.weight$=f32
+^blk\.27\.attn_norm\.weight$=f32
+^blk\.27\.exp_probs_b\.bias$=f32
+^blk\.27\.ffn_norm\.weight$=f32
+^blk\.27\.hc_attn_base\.weight$=f32
+^blk\.27\.hc_attn_scale\.weight$=f32
+^blk\.27\.hc_ffn_base\.weight$=f32
+^blk\.27\.hc_ffn_scale\.weight$=f32
+^blk\.28\.attn_sinks\.weight$=f32
+^blk\.28\.attn_compressor_norm\.weight$=f32
+^blk\.28\.indexer_compressor_norm\.weight$=f32
+^blk\.28\.attn_kv_a_norm\.weight$=f32
+^blk\.28\.attn_q_a_norm\.weight$=f32
+^blk\.28\.attn_norm\.weight$=f32
+^blk\.28\.exp_probs_b\.bias$=f32
+^blk\.28\.ffn_norm\.weight$=f32
+^blk\.28\.hc_attn_base\.weight$=f32
+^blk\.28\.hc_attn_scale\.weight$=f32
+^blk\.28\.hc_ffn_base\.weight$=f32
+^blk\.28\.hc_ffn_scale\.weight$=f32
+^blk\.29\.attn_sinks\.weight$=f32
+^blk\.29\.attn_compressor_norm\.weight$=f32
+^blk\.29\.attn_kv_a_norm\.weight$=f32
+^blk\.29\.attn_q_a_norm\.weight$=f32
+^blk\.29\.attn_norm\.weight$=f32
+^blk\.29\.exp_probs_b\.bias$=f32
+^blk\.29\.ffn_norm\.weight$=f32
+^blk\.29\.hc_attn_base\.weight$=f32
+^blk\.29\.hc_attn_scale\.weight$=f32
+^blk\.29\.hc_ffn_base\.weight$=f32
+^blk\.29\.hc_ffn_scale\.weight$=f32
+^blk\.30\.attn_sinks\.weight$=f32
+^blk\.30\.attn_compressor_norm\.weight$=f32
+^blk\.30\.indexer_compressor_norm\.weight$=f32
+^blk\.30\.attn_kv_a_norm\.weight$=f32
+^blk\.30\.attn_q_a_norm\.weight$=f32
+^blk\.30\.attn_norm\.weight$=f32
+^blk\.30\.exp_probs_b\.bias$=f32
+^blk\.30\.ffn_norm\.weight$=f32
+^blk\.30\.hc_attn_base\.weight$=f32
+^blk\.30\.hc_attn_scale\.weight$=f32
+^blk\.30\.hc_ffn_base\.weight$=f32
+^blk\.30\.hc_ffn_scale\.weight$=f32
+^blk\.31\.attn_sinks\.weight$=f32
+^blk\.31\.attn_compressor_norm\.weight$=f32
+^blk\.31\.attn_kv_a_norm\.weight$=f32
+^blk\.31\.attn_q_a_norm\.weight$=f32
+^blk\.31\.attn_norm\.weight$=f32
+^blk\.31\.exp_probs_b\.bias$=f32
+^blk\.31\.ffn_norm\.weight$=f32
+^blk\.31\.hc_attn_base\.weight$=f32
+^blk\.31\.hc_attn_scale\.weight$=f32
+^blk\.31\.hc_ffn_base\.weight$=f32
+^blk\.31\.hc_ffn_scale\.weight$=f32
+^blk\.32\.attn_sinks\.weight$=f32
+^blk\.32\.attn_compressor_norm\.weight$=f32
+^blk\.32\.indexer_compressor_norm\.weight$=f32
+^blk\.32\.attn_kv_a_norm\.weight$=f32
+^blk\.32\.attn_q_a_norm\.weight$=f32
+^blk\.32\.attn_norm\.weight$=f32
+^blk\.32\.exp_probs_b\.bias$=f32
+^blk\.32\.ffn_norm\.weight$=f32
+^blk\.32\.hc_attn_base\.weight$=f32
+^blk\.32\.hc_attn_scale\.weight$=f32
+^blk\.32\.hc_ffn_base\.weight$=f32
+^blk\.32\.hc_ffn_scale\.weight$=f32
+^blk\.33\.attn_sinks\.weight$=f32
+^blk\.33\.attn_compressor_norm\.weight$=f32
+^blk\.33\.attn_kv_a_norm\.weight$=f32
+^blk\.33\.attn_q_a_norm\.weight$=f32
+^blk\.33\.attn_norm\.weight$=f32
+^blk\.33\.exp_probs_b\.bias$=f32
+^blk\.33\.ffn_norm\.weight$=f32
+^blk\.33\.hc_attn_base\.weight$=f32
+^blk\.33\.hc_attn_scale\.weight$=f32
+^blk\.33\.hc_ffn_base\.weight$=f32
+^blk\.33\.hc_ffn_scale\.weight$=f32
+^blk\.34\.attn_sinks\.weight$=f32
+^blk\.34\.attn_compressor_norm\.weight$=f32
+^blk\.34\.indexer_compressor_norm\.weight$=f32
+^blk\.34\.attn_kv_a_norm\.weight$=f32
+^blk\.34\.attn_q_a_norm\.weight$=f32
+^blk\.34\.attn_norm\.weight$=f32
+^blk\.34\.exp_probs_b\.bias$=f32
+^blk\.34\.ffn_norm\.weight$=f32
+^blk\.34\.hc_attn_base\.weight$=f32
+^blk\.34\.hc_attn_scale\.weight$=f32
+^blk\.34\.hc_ffn_base\.weight$=f32
+^blk\.34\.hc_ffn_scale\.weight$=f32
+^blk\.35\.attn_sinks\.weight$=f32
+^blk\.35\.attn_compressor_norm\.weight$=f32
+^blk\.35\.attn_kv_a_norm\.weight$=f32
+^blk\.35\.attn_q_a_norm\.weight$=f32
+^blk\.35\.attn_norm\.weight$=f32
+^blk\.35\.exp_probs_b\.bias$=f32
+^blk\.35\.ffn_norm\.weight$=f32
+^blk\.35\.hc_attn_base\.weight$=f32
+^blk\.35\.hc_attn_scale\.weight$=f32
+^blk\.35\.hc_ffn_base\.weight$=f32
+^blk\.35\.hc_ffn_scale\.weight$=f32
+^blk\.36\.attn_sinks\.weight$=f32
+^blk\.36\.attn_compressor_norm\.weight$=f32
+^blk\.36\.indexer_compressor_norm\.weight$=f32
+^blk\.36\.attn_kv_a_norm\.weight$=f32
+^blk\.36\.attn_q_a_norm\.weight$=f32
+^blk\.36\.attn_norm\.weight$=f32
+^blk\.36\.exp_probs_b\.bias$=f32
+^blk\.36\.ffn_norm\.weight$=f32
+^blk\.36\.hc_attn_base\.weight$=f32
+^blk\.36\.hc_attn_scale\.weight$=f32
+^blk\.36\.hc_ffn_base\.weight$=f32
+^blk\.36\.hc_ffn_scale\.weight$=f32
+^blk\.37\.attn_sinks\.weight$=f32
+^blk\.37\.attn_compressor_norm\.weight$=f32
+^blk\.37\.attn_kv_a_norm\.weight$=f32
+^blk\.37\.attn_q_a_norm\.weight$=f32
+^blk\.37\.attn_norm\.weight$=f32
+^blk\.37\.exp_probs_b\.bias$=f32
+^blk\.37\.ffn_norm\.weight$=f32
+^blk\.37\.hc_attn_base\.weight$=f32
+^blk\.37\.hc_attn_scale\.weight$=f32
+^blk\.37\.hc_ffn_base\.weight$=f32
+^blk\.37\.hc_ffn_scale\.weight$=f32
+^blk\.38\.attn_sinks\.weight$=f32
+^blk\.38\.attn_compressor_norm\.weight$=f32
+^blk\.38\.indexer_compressor_norm\.weight$=f32
+^blk\.38\.attn_kv_a_norm\.weight$=f32
+^blk\.38\.attn_q_a_norm\.weight$=f32
+^blk\.38\.attn_norm\.weight$=f32
+^blk\.38\.exp_probs_b\.bias$=f32
+^blk\.38\.ffn_norm\.weight$=f32
+^blk\.38\.hc_attn_base\.weight$=f32
+^blk\.38\.hc_attn_scale\.weight$=f32
+^blk\.38\.hc_ffn_base\.weight$=f32
+^blk\.38\.hc_ffn_scale\.weight$=f32
+^blk\.39\.attn_sinks\.weight$=f32
+^blk\.39\.attn_compressor_norm\.weight$=f32
+^blk\.39\.attn_kv_a_norm\.weight$=f32
+^blk\.39\.attn_q_a_norm\.weight$=f32
+^blk\.39\.attn_norm\.weight$=f32
+^blk\.39\.exp_probs_b\.bias$=f32
+^blk\.39\.ffn_norm\.weight$=f32
+^blk\.39\.hc_attn_base\.weight$=f32
+^blk\.39\.hc_attn_scale\.weight$=f32
+^blk\.39\.hc_ffn_base\.weight$=f32
+^blk\.39\.hc_ffn_scale\.weight$=f32
+^blk\.40\.attn_sinks\.weight$=f32
+^blk\.40\.attn_compressor_norm\.weight$=f32
+^blk\.40\.indexer_compressor_norm\.weight$=f32
+^blk\.40\.attn_kv_a_norm\.weight$=f32
+^blk\.40\.attn_q_a_norm\.weight$=f32
+^blk\.40\.attn_norm\.weight$=f32
+^blk\.40\.exp_probs_b\.bias$=f32
+^blk\.40\.ffn_norm\.weight$=f32
+^blk\.40\.hc_attn_base\.weight$=f32
+^blk\.40\.hc_attn_scale\.weight$=f32
+^blk\.40\.hc_ffn_base\.weight$=f32
+^blk\.40\.hc_ffn_scale\.weight$=f32
+^blk\.41\.attn_sinks\.weight$=f32
+^blk\.41\.attn_compressor_norm\.weight$=f32
+^blk\.41\.attn_kv_a_norm\.weight$=f32
+^blk\.41\.attn_q_a_norm\.weight$=f32
+^blk\.41\.attn_norm\.weight$=f32
+^blk\.41\.exp_probs_b\.bias$=f32
+^blk\.41\.ffn_norm\.weight$=f32
+^blk\.41\.hc_attn_base\.weight$=f32
+^blk\.41\.hc_attn_scale\.weight$=f32
+^blk\.41\.hc_ffn_base\.weight$=f32
+^blk\.41\.hc_ffn_scale\.weight$=f32
+^blk\.42\.attn_sinks\.weight$=f32
+^blk\.42\.attn_compressor_norm\.weight$=f32
+^blk\.42\.indexer_compressor_norm\.weight$=f32
+^blk\.42\.attn_kv_a_norm\.weight$=f32
+^blk\.42\.attn_q_a_norm\.weight$=f32
+^blk\.42\.attn_norm\.weight$=f32
+^blk\.42\.exp_probs_b\.bias$=f32
+^blk\.42\.ffn_norm\.weight$=f32
+^blk\.42\.hc_attn_base\.weight$=f32
+^blk\.42\.hc_attn_scale\.weight$=f32
+^blk\.42\.hc_ffn_base\.weight$=f32
+^blk\.42\.hc_ffn_scale\.weight$=f32
+^output_hc_base\.weight$=f32
+^output_hc_scale\.weight$=f32
+^output_norm\.weight$=f32