w2v-bert-waxal

This model is a fine-tuned version of sulaimank/w2v-bert-lingala-109h on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1251
• Wer: 0.1867
• Cer: 0.0587
• Zindi: 0.8773
• Wer Lug: 0.1599
• Cer Lug: 0.0327
• Wer Lin: 0.1485
• Cer Lin: 0.0726
• Wer Sna: 0.2482
• Cer Sna: 0.0580

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 40
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Cer	Cer Lin	Cer Lug	Cer Sna	Validation Loss	Wer	Wer Lin	Wer Lug	Wer Sna	Zindi
0.8658	0.0855	1000	0.1366	0.1169	0.1255	0.1580	0.4209	0.4811	0.2770	0.6084	0.6775	0.6912
0.5961	0.1709	2000	0.1118	0.1072	0.0913	0.1245	0.3196	0.3862	0.2388	0.4405	0.5465	0.7510
0.5068	0.2564	3000	0.0984	0.0962	0.0766	0.1095	0.2745	0.3335	0.2066	0.3688	0.4769	0.7841
0.4516	0.3419	4000	0.0897	0.0901	0.0681	0.0985	0.2473	0.3002	0.1928	0.3262	0.4236	0.8051
0.4118	0.4273	5000	0.0869	0.0893	0.0638	0.0947	0.2218	0.2917	0.1871	0.3128	0.4140	0.8107
0.3989	0.5128	6000	0.0811	0.0822	0.0591	0.0896	0.2171	0.2677	0.1703	0.2872	0.3815	0.8256
0.3837	0.5983	7000	0.0793	0.0816	0.0562	0.0872	0.1991	0.2599	0.1675	0.2740	0.3700	0.8304
0.3649	0.6837	8000	0.0784	0.0822	0.0556	0.0851	0.1902	0.2574	0.1690	0.2643	0.3661	0.8321
0.3580	0.7692	9000	0.1921	0.2479	0.0768	0.8376	0.2548	0.0540	0.1652	0.0810	0.3494	0.0831
0.3427	0.8547	10000	0.1788	0.2422	0.0752	0.8413	0.2447	0.0514	0.1611	0.0800	0.3435	0.0814
0.3417	0.9401	11000	0.1740	0.2391	0.0745	0.8432	0.2414	0.0506	0.1628	0.0801	0.3347	0.0799
0.2917	1.0256	12000	0.1786	0.2336	0.0734	0.8465	0.2358	0.0493	0.1583	0.0792	0.3280	0.0787
0.3116	1.1110	13000	0.1741	0.2298	0.0729	0.8487	0.2298	0.0483	0.1586	0.0800	0.3199	0.0774
0.2824	1.1965	14000	0.1697	0.2286	0.0719	0.8498	0.2223	0.0461	0.1587	0.0793	0.3201	0.0767
0.2810	1.2820	15000	0.1647	0.2337	0.0754	0.8454	0.2228	0.0461	0.1735	0.0895	0.3153	0.0760
0.2916	1.3674	16000	0.1619	0.2240	0.0704	0.8528	0.2179	0.0446	0.1563	0.0776	0.3127	0.0752
0.2768	1.4529	17000	0.1674	0.2227	0.0706	0.8533	0.2146	0.0443	0.1568	0.0790	0.3102	0.0747
0.2849	1.5384	18000	0.1617	0.2218	0.0705	0.8539	0.2152	0.0440	0.1573	0.0796	0.3066	0.0742
0.2735	1.6238	19000	0.1625	0.2209	0.0687	0.8552	0.2101	0.0432	0.1555	0.0758	0.3089	0.0736
0.2774	1.7093	20000	0.1592	0.2211	0.0702	0.8543	0.2063	0.0425	0.1563	0.0796	0.3103	0.0741
0.2692	1.7948	21000	0.1552	0.2186	0.0684	0.8565	0.2095	0.0425	0.1562	0.0769	0.3020	0.0721
0.2721	1.8802	22000	0.1536	0.2160	0.0687	0.8576	0.2052	0.0416	0.1561	0.0788	0.2973	0.0718
0.2562	1.9657	23000	0.1544	0.2118	0.0681	0.8601	0.1967	0.0405	0.1526	0.0780	0.2941	0.0714
0.2270	2.0511	24000	0.1536	0.2141	0.0680	0.8590	0.1997	0.0405	0.1546	0.0778	0.2963	0.0716
0.2462	2.1366	25000	0.1495	0.2196	0.0681	0.8561	0.1969	0.0400	0.1581	0.0776	0.3088	0.0721
0.2365	2.2220	26000	0.1504	0.2102	0.0659	0.8620	0.1907	0.0388	0.1531	0.0749	0.2920	0.0698
0.2231	2.3075	27000	0.1532	0.2103	0.0660	0.8618	0.1903	0.0390	0.1531	0.0751	0.2926	0.0697
0.2346	2.3930	28000	0.1508	0.2103	0.0667	0.8615	0.1919	0.0384	0.1555	0.0772	0.2888	0.0699
0.2281	2.4784	29000	0.1479	0.2092	0.0655	0.8627	0.1916	0.0388	0.1536	0.0745	0.2882	0.0692
0.2278	2.5639	30000	0.1459	0.2087	0.0664	0.8624	0.1889	0.0383	0.1547	0.0770	0.2868	0.0693
0.2304	2.6494	31000	0.1428	0.2099	0.0675	0.8613	0.1900	0.0389	0.1571	0.0798	0.2864	0.0692
0.2219	2.7348	32000	0.1480	0.2068	0.0653	0.8640	0.1838	0.0375	0.1539	0.0759	0.2849	0.0682
0.2309	2.8203	33000	0.1450	0.2052	0.0654	0.8647	0.1846	0.0374	0.1541	0.0767	0.2800	0.0678
0.2269	2.9058	34000	0.1395	0.2044	0.0642	0.8657	0.1828	0.0373	0.1526	0.0741	0.2806	0.0673
0.2178	2.9912	35000	0.1450	0.2038	0.0649	0.8656	0.1802	0.0365	0.1509	0.0759	0.2824	0.0677
0.1958	3.0767	36000	0.1466	0.2027	0.0639	0.8667	0.1813	0.0370	0.1512	0.0736	0.2785	0.0672
0.1977	3.1621	37000	0.1426	0.2026	0.0646	0.8664	0.1792	0.0366	0.1530	0.0759	0.2768	0.0670
0.2150	3.2476	38000	0.1415	0.2019	0.0639	0.8671	0.1813	0.0368	0.1523	0.0745	0.2748	0.0665
0.2003	3.3331	39000	0.1432	0.2004	0.0632	0.8682	0.1791	0.0359	0.1494	0.0733	0.2753	0.0663
0.1952	3.4185	40000	0.1443	0.2013	0.0624	0.8682	0.1779	0.0364	0.1515	0.0719	0.2757	0.0654
0.1905	3.5040	41000	0.1424	0.2003	0.0623	0.8687	0.1788	0.0360	0.1514	0.0722	0.2728	0.0651
0.1975	3.5895	42000	0.1354	0.2014	0.0629	0.8679	0.1766	0.0357	0.1533	0.0738	0.2743	0.0652
0.1990	3.6749	43000	0.1406	0.2001	0.0639	0.8680	0.1782	0.0359	0.1531	0.0761	0.2704	0.0656
0.1945	3.7604	44000	0.1371	0.2066	0.0655	0.8640	0.1774	0.0362	0.1563	0.0785	0.2846	0.0669
0.2038	3.8459	45000	0.1374	0.2008	0.0642	0.8675	0.1736	0.0353	0.1520	0.0768	0.2760	0.0659
0.1975	3.9313	46000	0.1379	0.1983	0.0627	0.8695	0.1777	0.0358	0.1504	0.0738	0.2691	0.0648
0.1667	4.0168	47000	0.1385	0.1968	0.0624	0.8704	0.1696	0.0342	0.1503	0.0739	0.2689	0.0649
0.1716	4.1022	48000	0.1379	0.1978	0.0627	0.8697	0.1741	0.0357	0.1521	0.0742	0.2672	0.0646
0.1833	4.1877	49000	0.1373	0.1954	0.0626	0.8710	0.1694	0.0348	0.1487	0.0744	0.2671	0.0646
0.1737	4.2732	50000	0.1349	0.1976	0.0622	0.8701	0.1716	0.0348	0.1519	0.0734	0.2683	0.0643
0.1744	4.3586	51000	0.1343	0.1980	0.0632	0.8694	0.1701	0.0345	0.1545	0.0766	0.2666	0.0642
0.1741	4.4441	52000	0.1324	0.1979	0.0626	0.8698	0.1708	0.0350	0.1542	0.0752	0.2664	0.0637
0.1701	4.5296	53000	0.1393	0.1971	0.0627	0.8701	0.1704	0.0347	0.1514	0.0749	0.2681	0.0643
0.1750	4.6150	54000	0.1402	0.1952	0.0625	0.8712	0.1676	0.0339	0.1507	0.0753	0.2649	0.0639
0.1800	4.7005	55000	0.1314	0.1991	0.0623	0.8693	0.1670	0.0339	0.1520	0.0743	0.2743	0.0642
0.1809	4.7859	56000	0.1371	0.1954	0.0624	0.8711	0.1667	0.0341	0.1504	0.0747	0.2665	0.0640
0.1734	4.8714	57000	0.1375	0.1950	0.0626	0.8712	0.1658	0.0339	0.1507	0.0754	0.2653	0.0640
0.1770	4.9569	58000	0.1360	0.1942	0.0615	0.8721	0.1667	0.0340	0.1499	0.0734	0.2639	0.0633
0.1463	5.0423	59000	0.1394	0.1936	0.0609	0.8727	0.1665	0.0335	0.1499	0.0723	0.2623	0.0629
0.1485	5.1278	60000	0.1340	0.1934	0.0618	0.8724	0.1640	0.0333	0.1516	0.0749	0.2606	0.0628
0.1663	5.2132	61000	0.1327	0.1921	0.0611	0.8734	0.1651	0.0335	0.1489	0.0731	0.2600	0.0626
0.1523	5.2987	62000	0.1368	0.1955	0.0607	0.8719	0.1650	0.0334	0.1489	0.0720	0.2694	0.0628
0.1476	5.3842	63000	0.1324	0.1933	0.0608	0.8729	0.1659	0.0333	0.1507	0.0730	0.2608	0.0623
0.1513	5.4696	64000	0.1342	0.1924	0.0606	0.8735	0.1618	0.0331	0.1498	0.0722	0.2613	0.0624
0.1539	5.5551	65000	0.1381	0.1915	0.0605	0.8740	0.1632	0.0335	0.1484	0.0720	0.2600	0.0622
0.1509	5.6406	66000	0.1307	0.1921	0.0608	0.8736	0.1628	0.0334	0.1496	0.0729	0.2603	0.0621
0.1402	5.7260	67000	0.1317	0.1932	0.0604	0.8732	0.1677	0.0346	0.1507	0.0724	0.2594	0.0613
0.1549	5.8115	68000	0.1337	0.1905	0.0597	0.8749	0.1595	0.0331	0.1466	0.0707	0.2612	0.0617
0.1502	5.8970	69000	0.1298	0.1926	0.0613	0.8730	0.1620	0.0334	0.1533	0.0748	0.2575	0.0618
0.1572	5.9824	70000	0.1326	0.1902	0.0602	0.8748	0.1628	0.0335	0.1494	0.0723	0.2552	0.0614
0.1361	6.0679	71000	0.1310	0.1958	0.0609	0.8717	0.1631	0.0333	0.1515	0.0735	0.2679	0.0620
0.1358	6.1533	72000	0.1370	0.1912	0.0598	0.8745	0.1642	0.0332	0.1494	0.0715	0.2574	0.0613
0.1400	6.2388	73000	0.1333	0.1928	0.0604	0.8734	0.1619	0.0332	0.1491	0.0728	0.2634	0.0615
0.1350	6.3243	74000	0.1304	0.1901	0.0598	0.8750	0.1604	0.0324	0.1502	0.0727	0.2551	0.0606
0.1400	6.4097	75000	0.1320	0.1939	0.0608	0.8726	0.1619	0.0334	0.1502	0.0737	0.2649	0.0617
0.1344	6.4952	76000	0.1277	0.1922	0.0601	0.8738	0.1623	0.0331	0.1519	0.0733	0.2580	0.0605
0.1280	6.5807	77000	0.1311	0.1905	0.0597	0.8749	0.1605	0.0331	0.1502	0.0726	0.2562	0.0603
0.1282	6.6661	78000	0.1305	0.1887	0.0599	0.8757	0.1602	0.0329	0.1494	0.0729	0.2523	0.0603
0.1384	6.7516	79000	0.1318	0.1902	0.0596	0.8751	0.1591	0.0326	0.1497	0.0725	0.2566	0.0601
0.1349	6.8371	80000	0.1284	0.1885	0.0596	0.8760	0.1609	0.0330	0.1485	0.0728	0.2525	0.0598
0.1334	6.9225	81000	0.1288	0.1875	0.0592	0.8766	0.1582	0.0326	0.1482	0.0722	0.2517	0.0595
0.1253	7.0079	82000	0.1279	0.1903	0.0590	0.8753	0.1592	0.0327	0.1483	0.0715	0.2588	0.0597
0.1121	7.0934	83000	0.1323	0.1880	0.0590	0.8765	0.1571	0.0323	0.1483	0.0717	0.2532	0.0597
0.1138	7.1789	84000	0.1278	0.1889	0.0588	0.8761	0.1610	0.0329	0.1491	0.0715	0.2529	0.0591
0.1105	7.2643	85000	0.1336	0.1880	0.0591	0.8764	0.1572	0.0322	0.1484	0.0722	0.2532	0.0596
0.1220	7.3498	86000	0.1297	0.1871	0.0589	0.8770	0.1574	0.0326	0.1488	0.0724	0.2503	0.0588
0.1167	7.4353	87000	0.1253	0.1887	0.0587	0.8763	0.1580	0.0320	0.1490	0.0718	0.2540	0.0590
0.1156	7.5207	88000	0.1319	0.1874	0.0586	0.8770	0.1603	0.0328	0.1482	0.0713	0.2504	0.0588
0.1219	7.6062	89000	0.1293	0.1859	0.0589	0.8776	0.1577	0.0324	0.1480	0.0725	0.2476	0.0586
0.1158	7.6917	90000	0.1337	0.1890	0.0590	0.8760	0.1615	0.0325	0.1495	0.0724	0.2526	0.0589
0.1143	7.7771	91000	0.1271	0.1882	0.0586	0.8766	0.1614	0.0328	0.1490	0.0719	0.2508	0.0584
0.1244	7.8626	92000	0.1226	0.1909	0.0585	0.8753	0.1583	0.0325	0.1500	0.0715	0.2586	0.0585
0.1138	7.9481	93000	0.1232	0.1872	0.0587	0.8771	0.1597	0.0327	0.1482	0.0722	0.2501	0.0583
0.0990	8.0335	94000	0.1251	0.1867	0.0587	0.8773	0.1599	0.0327	0.1485	0.0726	0.2482	0.0580

Framework versions

• Transformers 5.12.1
• Pytorch 2.8.0+cu128
• Datasets 3.6.0
• Tokenizers 0.22.2