iris-olmo-2-1b-combined-multihop-k2-ep4

This model is a fine-tuned version of allenai/OLMo-2-0425-1B-Instruct on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.4755
  • Model Preparation Time: 0.0165
  • Soft Mae: 0.1106
  • Soft Brier: 0.0965
  • Student Prelevantmean: 0.3043
  • Teacher Prelevantmean: 0.3129
  • Bin F1: 0.8235
  • Cal Ece: 0.1005
  • Cal Brier: 0.1024
  • Cal Auroc: 0.9509
  • Info Ndcg@p8: 0.9214
  • Info Pairwiseacc: 0.9022
  • Num Questions: 110
  • Num Pairs: 1071

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 1
  • eval_batch_size: 1
  • seed: 42
  • gradient_accumulation_steps: 16
  • total_train_batch_size: 16
  • optimizer: Use OptimizerNames.PAGED_ADAMW_8BIT with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: constant
  • lr_scheduler_warmup_steps: 0.03
  • num_epochs: 4.0

Training results

Training Loss Epoch Step Validation Loss Model Preparation Time Soft Mae Soft Brier Student Prelevantmean Teacher Prelevantmean Bin F1 Cal Ece Cal Brier Cal Auroc Info Ndcg@p8 Info Pairwiseacc Num Questions Num Pairs
0.5580 0.0410 25 0.4810 0.0165 0.3026 0.1596 0.2711 0.3129 0.5814 0.0475 0.1649 0.8086 0.8184 0.7764 110 1071
0.3748 0.0820 50 0.4281 0.0165 0.2197 0.1307 0.3230 0.3129 0.7121 0.0791 0.1349 0.8811 0.8689 0.8259 110 1071
0.4792 0.1231 75 0.3993 0.0165 0.2613 0.1261 0.3774 0.3129 0.7147 0.0618 0.1307 0.8777 0.8832 0.8473 110 1071
0.2656 0.1641 100 0.4308 0.0165 0.1844 0.1187 0.2366 0.3129 0.7227 0.0943 0.1243 0.8996 0.8895 0.8601 110 1071
0.4320 0.2051 125 0.3621 0.0165 0.2062 0.1107 0.2326 0.3129 0.7233 0.0829 0.1166 0.9133 0.8980 0.8643 110 1071
0.2497 0.2461 150 0.3430 0.0165 0.1743 0.1043 0.2864 0.3129 0.7597 0.0557 0.1098 0.9203 0.8997 0.8753 110 1071
0.3216 0.2872 175 0.4054 0.0165 0.2287 0.1244 0.4364 0.3129 0.7557 0.1208 0.1280 0.9156 0.8949 0.8757 110 1071
0.3573 0.3282 200 0.3841 0.0165 0.1721 0.1106 0.3647 0.3129 0.7872 0.0712 0.1143 0.9166 0.9012 0.8763 110 1071
0.3423 0.3692 225 0.3167 0.0165 0.1705 0.0931 0.2572 0.3129 0.7739 0.0589 0.0992 0.9313 0.9044 0.8752 110 1071
0.3563 0.4102 250 0.4778 0.0165 0.2036 0.1375 0.1536 0.3129 0.6223 0.1638 0.1447 0.9325 0.9047 0.8788 110 1071
0.4293 0.4512 275 0.3185 0.0165 0.1966 0.0991 0.3755 0.3129 0.7930 0.0600 0.1037 0.9294 0.9066 0.8823 110 1071
0.2625 0.4923 300 0.3500 0.0165 0.1465 0.0995 0.2640 0.3129 0.7672 0.0795 0.1058 0.9316 0.9113 0.8824 110 1071
0.3196 0.5333 325 0.3185 0.0165 0.1674 0.0943 0.2558 0.3129 0.7715 0.0598 0.0997 0.9313 0.9126 0.8844 110 1071
0.3137 0.5743 350 0.3056 0.0165 0.1608 0.0901 0.3383 0.3129 0.8152 0.0450 0.0949 0.9312 0.9137 0.8869 110 1071
0.3041 0.6153 375 0.2747 0.0165 0.1615 0.0841 0.3236 0.3129 0.8204 0.0293 0.0898 0.9396 0.9105 0.8860 110 1071
0.3059 0.6563 400 0.4315 0.0165 0.1896 0.1296 0.4110 0.3129 0.7704 0.1168 0.1344 0.9182 0.9047 0.8839 110 1071
0.3407 0.6974 425 0.2732 0.0165 0.1691 0.0848 0.2681 0.3129 0.7738 0.0488 0.0916 0.9451 0.9169 0.8963 110 1071
0.2850 0.7384 450 0.2807 0.0165 0.1582 0.0864 0.3400 0.3129 0.8074 0.0398 0.0917 0.9414 0.9155 0.8943 110 1071
0.2009 0.7794 475 0.3244 0.0165 0.1559 0.0988 0.3582 0.3129 0.7983 0.0683 0.1032 0.9385 0.9110 0.8873 110 1071
0.2983 0.8204 500 0.2935 0.0165 0.1550 0.0894 0.3369 0.3129 0.8101 0.0472 0.0947 0.9379 0.9074 0.8863 110 1071
0.2893 0.8615 525 0.2676 0.0165 0.1368 0.0790 0.3022 0.3129 0.8228 0.0418 0.0844 0.9474 0.9133 0.8982 110 1071
0.2585 0.9025 550 0.3128 0.0165 0.1603 0.0923 0.2508 0.3129 0.7908 0.0670 0.0978 0.9438 0.9089 0.8938 110 1071
0.2236 0.9435 575 0.3323 0.0165 0.1454 0.0922 0.2257 0.3129 0.7713 0.0899 0.0990 0.9479 0.9133 0.9000 110 1071
0.2502 0.9845 600 0.2924 0.0165 0.1386 0.0820 0.2660 0.3129 0.8063 0.0592 0.0879 0.9460 0.9170 0.8996 110 1071
0.1141 1.0246 625 0.3103 0.0165 0.1302 0.0889 0.3319 0.3129 0.8132 0.0730 0.0933 0.9486 0.9173 0.8922 110 1071
0.2007 1.0656 650 0.3213 0.0165 0.1325 0.0863 0.2710 0.3129 0.8132 0.0634 0.0927 0.9448 0.9221 0.8903 110 1071
0.2122 1.1067 675 0.3006 0.0165 0.1416 0.0884 0.3116 0.3129 0.8101 0.0558 0.0937 0.9408 0.9162 0.8891 110 1071
0.1749 1.1477 700 0.3886 0.0165 0.1208 0.0908 0.3176 0.3129 0.8209 0.0776 0.0956 0.9447 0.9148 0.8951 110 1071
0.1102 1.1887 725 0.4003 0.0165 0.1195 0.0919 0.2917 0.3129 0.8099 0.0815 0.0969 0.9450 0.9224 0.8938 110 1071
0.2426 1.2297 750 0.3031 0.0165 0.1392 0.0879 0.3560 0.3129 0.8096 0.0636 0.0927 0.9490 0.9222 0.8968 110 1071
0.2764 1.2707 775 0.3186 0.0165 0.1421 0.0895 0.2546 0.3129 0.7802 0.0723 0.0955 0.9451 0.9125 0.8969 110 1071
0.2116 1.3118 800 0.3484 0.0165 0.1251 0.0876 0.2795 0.3129 0.8145 0.0703 0.0924 0.9451 0.9134 0.8909 110 1071
0.1677 1.3528 825 0.4214 0.0165 0.1209 0.0939 0.3470 0.3129 0.8258 0.0876 0.0983 0.9481 0.9247 0.8944 110 1071
0.1575 1.3938 850 0.3221 0.0165 0.1298 0.0906 0.2820 0.3129 0.7969 0.0755 0.0972 0.9493 0.9279 0.8976 110 1071
0.1790 1.4348 875 0.6023 0.0165 0.1278 0.1085 0.2342 0.3129 0.7729 0.1097 0.1155 0.9458 0.9146 0.8959 110 1071
0.2577 1.4758 900 0.2894 0.0165 0.1284 0.0830 0.3252 0.3129 0.8220 0.0573 0.0882 0.9509 0.9208 0.8996 110 1071
0.1456 1.5169 925 0.3059 0.0165 0.1340 0.0871 0.3650 0.3129 0.8221 0.0667 0.0913 0.9524 0.9218 0.8956 110 1071
0.2270 1.5579 950 0.4213 0.0165 0.1281 0.0987 0.2334 0.3129 0.7755 0.1020 0.1059 0.9509 0.9143 0.8900 110 1071
0.2628 1.5989 975 0.3906 0.0165 0.1174 0.0867 0.2829 0.3129 0.8235 0.0740 0.0910 0.9417 0.9119 0.8922 110 1071
0.1641 1.6399 1000 0.4347 0.0165 0.1337 0.0990 0.2339 0.3129 0.7772 0.0917 0.1050 0.9450 0.9138 0.8933 110 1071
0.1676 1.6810 1025 0.3895 0.0165 0.1370 0.0986 0.2331 0.3129 0.7744 0.0907 0.1045 0.9483 0.9144 0.8914 110 1071
0.1556 1.7220 1050 0.3780 0.0165 0.1136 0.0874 0.2982 0.3129 0.8285 0.0849 0.0922 0.9514 0.9173 0.8979 110 1071
0.2696 1.7630 1075 0.3192 0.0165 0.1231 0.0849 0.3194 0.3129 0.8249 0.0677 0.0898 0.9497 0.9159 0.8998 110 1071
0.1542 1.8040 1100 0.4533 0.0165 0.1297 0.1003 0.2250 0.3129 0.7711 0.1037 0.1065 0.9525 0.9198 0.8989 110 1071
0.2032 1.8450 1125 0.3168 0.0165 0.1249 0.0877 0.2856 0.3129 0.8086 0.0721 0.0931 0.9495 0.9201 0.8973 110 1071
0.1835 1.8861 1150 0.5746 0.0165 0.1196 0.1022 0.2485 0.3129 0.7954 0.1028 0.1091 0.9508 0.9196 0.8979 110 1071
0.1312 1.9271 1175 0.4186 0.0165 0.1172 0.0948 0.2770 0.3129 0.8025 0.0927 0.1012 0.9503 0.9179 0.8963 110 1071
0.2650 1.9681 1200 0.3066 0.0165 0.1342 0.0862 0.2584 0.3129 0.7961 0.0623 0.0925 0.9496 0.9129 0.8947 110 1071
0.1051 2.0082 1225 0.3958 0.0165 0.1171 0.0905 0.2705 0.3129 0.8088 0.0846 0.0967 0.9490 0.9181 0.8975 110 1071
0.1241 2.0492 1250 0.4493 0.0165 0.1239 0.1013 0.2541 0.3129 0.7796 0.1008 0.1080 0.9507 0.9109 0.8914 110 1071
0.2145 2.0902 1275 0.3680 0.0165 0.1256 0.0947 0.2509 0.3129 0.7875 0.0933 0.1013 0.9523 0.9151 0.8987 110 1071
0.0900 2.1313 1300 0.3271 0.0165 0.1152 0.0844 0.2924 0.3129 0.8154 0.0758 0.0904 0.9518 0.9178 0.8984 110 1071
0.0562 2.1723 1325 0.5032 0.0165 0.1139 0.0949 0.2939 0.3129 0.8153 0.0936 0.0991 0.9490 0.9241 0.9019 110 1071
0.1569 2.2133 1350 0.5319 0.0165 0.1146 0.1004 0.3270 0.3129 0.8290 0.0992 0.1035 0.9510 0.9193 0.9026 110 1071
0.1433 2.2543 1375 0.4728 0.0165 0.1329 0.0997 0.2278 0.3129 0.7772 0.0956 0.1066 0.9553 0.9237 0.9045 110 1071
0.1120 2.2954 1400 0.3970 0.0165 0.1164 0.0927 0.2595 0.3129 0.8 0.0922 0.0988 0.9523 0.9200 0.9020 110 1071
0.1105 2.3364 1425 0.4457 0.0165 0.1173 0.0932 0.2691 0.3129 0.8120 0.0882 0.0989 0.9500 0.9221 0.8973 110 1071
0.1225 2.3774 1450 0.3667 0.0165 0.1108 0.0839 0.3069 0.3129 0.8348 0.0773 0.0882 0.9494 0.9249 0.8977 110 1071
0.1714 2.4184 1475 0.5558 0.0165 0.1195 0.1023 0.3488 0.3129 0.8181 0.1040 0.1066 0.9491 0.9236 0.9033 110 1071
0.0620 2.4594 1500 0.5488 0.0165 0.1078 0.0929 0.2613 0.3129 0.8194 0.0947 0.0988 0.9526 0.9240 0.9057 110 1071
0.1527 2.5005 1525 0.4746 0.0165 0.1165 0.0991 0.3318 0.3129 0.8254 0.1019 0.1039 0.9503 0.9213 0.9008 110 1071
0.0886 2.5415 1550 0.4118 0.0165 0.1216 0.0990 0.3320 0.3129 0.8190 0.0963 0.1040 0.9479 0.9259 0.8991 110 1071
0.1994 2.5825 1575 0.4601 0.0165 0.1154 0.0958 0.2376 0.3129 0.7960 0.1005 0.1023 0.9505 0.9236 0.8954 110 1071
0.0568 2.6235 1600 0.4363 0.0165 0.1065 0.0893 0.2972 0.3129 0.8298 0.0900 0.0944 0.9522 0.9220 0.9041 110 1071
0.2087 2.6645 1625 0.4866 0.0165 0.1222 0.1055 0.3424 0.3129 0.8169 0.1060 0.1101 0.9488 0.9169 0.8999 110 1071
0.0936 2.7056 1650 0.4608 0.0165 0.1241 0.1045 0.3485 0.3129 0.8220 0.1033 0.1097 0.9484 0.9172 0.8959 110 1071
0.1772 2.7466 1675 0.4639 0.0165 0.1217 0.0951 0.2635 0.3129 0.8088 0.0866 0.1013 0.9477 0.9169 0.8908 110 1071
0.0791 2.7876 1700 0.4691 0.0165 0.1099 0.0929 0.2864 0.3129 0.8144 0.0966 0.0993 0.9523 0.9246 0.9073 110 1071
0.1166 2.8286 1725 0.4082 0.0165 0.1169 0.0913 0.3173 0.3129 0.8299 0.0828 0.0954 0.9490 0.9257 0.9069 110 1071
0.1753 2.8697 1750 0.4275 0.0165 0.1090 0.0906 0.3090 0.3129 0.8306 0.0870 0.0950 0.9525 0.9225 0.9051 110 1071
0.0882 2.9107 1775 0.3299 0.0165 0.1069 0.0819 0.3072 0.3129 0.8398 0.0755 0.0870 0.9567 0.9242 0.9072 110 1071
0.0584 2.9517 1800 0.4582 0.0165 0.1011 0.0867 0.2913 0.3129 0.8351 0.0926 0.0926 0.9552 0.9149 0.9007 110 1071
0.1043 2.9927 1825 0.4679 0.0165 0.1100 0.0937 0.2705 0.3129 0.8147 0.0955 0.0994 0.9515 0.9153 0.8982 110 1071
0.0641 3.0328 1850 0.4583 0.0165 0.1068 0.0918 0.3143 0.3129 0.8331 0.0925 0.0971 0.9537 0.9103 0.8969 110 1071
0.0293 3.0738 1875 0.5002 0.0165 0.1061 0.0920 0.3198 0.3129 0.8324 0.0955 0.0983 0.9534 0.9185 0.9014 110 1071
0.0399 3.1149 1900 0.4374 0.0165 0.1103 0.0909 0.2789 0.3129 0.8213 0.0888 0.0972 0.9515 0.9163 0.8982 110 1071
0.0769 3.1559 1925 0.4781 0.0165 0.1084 0.0937 0.3018 0.3129 0.8237 0.0976 0.0993 0.9524 0.9110 0.9010 110 1071
0.0889 3.1969 1950 0.4575 0.0165 0.1191 0.0994 0.3570 0.3129 0.8261 0.0995 0.1043 0.9505 0.9197 0.8992 110 1071
0.0383 3.2379 1975 0.5602 0.0165 0.1166 0.1037 0.2643 0.3129 0.7987 0.1075 0.1096 0.9509 0.9210 0.9011 110 1071
0.0470 3.2789 2000 0.4501 0.0165 0.1122 0.0950 0.2690 0.3129 0.8077 0.0953 0.1002 0.9500 0.9245 0.9026 110 1071
0.0633 3.3200 2025 0.4194 0.0165 0.1141 0.0940 0.3029 0.3129 0.8198 0.0920 0.0986 0.9504 0.9168 0.8997 110 1071
0.0488 3.3610 2050 0.5356 0.0165 0.1125 0.0980 0.3146 0.3129 0.8183 0.1012 0.1025 0.9511 0.9196 0.8953 110 1071
0.0456 3.4020 2075 0.5737 0.0165 0.1160 0.1016 0.2955 0.3129 0.8104 0.1032 0.1069 0.9509 0.9226 0.8978 110 1071
0.0734 3.4430 2100 0.4828 0.0165 0.1113 0.0941 0.3085 0.3129 0.8223 0.0935 0.0989 0.9492 0.9241 0.8977 110 1071
0.0862 3.4841 2125 0.3922 0.0165 0.1134 0.0925 0.3112 0.3129 0.8172 0.0938 0.0985 0.9512 0.9276 0.8992 110 1071
0.0948 3.5251 2150 0.4632 0.0165 0.1185 0.0953 0.2498 0.3129 0.7993 0.0947 0.1011 0.9526 0.9263 0.8952 110 1071
0.0963 3.5661 2175 0.4130 0.0165 0.1155 0.0910 0.2659 0.3129 0.8147 0.0884 0.0966 0.9512 0.9235 0.9002 110 1071
0.1020 3.6071 2200 0.5150 0.0165 0.1068 0.0914 0.3008 0.3129 0.8311 0.0898 0.0958 0.9471 0.9198 0.8977 110 1071
0.0354 3.6481 2225 0.4177 0.0165 0.1183 0.0963 0.2657 0.3129 0.8019 0.0960 0.1012 0.9446 0.9213 0.8888 110 1071
0.1611 3.6892 2250 0.3788 0.0165 0.1119 0.0872 0.2780 0.3129 0.8139 0.0847 0.0935 0.9494 0.9177 0.8952 110 1071
0.0314 3.7302 2275 0.4104 0.0165 0.1192 0.0974 0.3436 0.3129 0.8277 0.0919 0.1022 0.9458 0.9219 0.8971 110 1071
0.1039 3.7712 2300 0.6178 0.0165 0.1191 0.1068 0.3295 0.3129 0.8150 0.1105 0.1118 0.9437 0.9156 0.8964 110 1071
0.0423 3.8122 2325 0.4935 0.0165 0.1216 0.1017 0.2889 0.3129 0.8049 0.1013 0.1073 0.9447 0.9200 0.8969 110 1071
0.1245 3.8532 2350 0.4924 0.0165 0.1170 0.0981 0.2919 0.3129 0.8080 0.0991 0.1034 0.9424 0.9177 0.8925 110 1071
0.0900 3.8943 2375 0.4276 0.0165 0.1172 0.0968 0.3137 0.3129 0.8167 0.0952 0.1021 0.9478 0.9217 0.8954 110 1071
0.0929 3.9353 2400 0.4734 0.0165 0.1234 0.1031 0.3756 0.3129 0.8297 0.1004 0.1081 0.9477 0.9199 0.9012 110 1071
0.0688 3.9763 2425 0.4365 0.0165 0.1097 0.0919 0.3168 0.3129 0.8260 0.0932 0.0974 0.9482 0.9180 0.9012 110 1071
0.1173 4.0 2440 0.4755 0.0165 0.1106 0.0965 0.3043 0.3129 0.8235 0.1005 0.1024 0.9509 0.9214 0.9022 110 1071

Framework versions

  • PEFT 0.19.1
  • Transformers 5.7.0
  • Pytorch 2.11.0+cu130
  • Datasets 4.8.5
  • Tokenizers 0.22.2
Downloads last month
821
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for daryaZare/iris-olmo-2-1b-combined-multihop-k2-ep4