xlsr-luganda-400hr-all

This model is a fine-tuned version of sulaimank/wav2vec2-xlsr-swahili-400hr on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1676
• Wer: 0.2243
• Cer: 0.0462

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 16
• optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Cer	Validation Loss	Wer
3.5372	0.1098	2000	0.1909	0.6731	0.8189
0.663	0.2195	4000	0.1458	0.4950	0.6745
0.5572	0.3293	6000	0.1293	0.4424	0.6062
0.5042	0.4391	8000	0.1204	0.4124	0.5674
0.4678	0.5489	10000	0.1130	0.3886	0.5384
0.4556	0.6586	12000	0.3707	0.5090	0.1072
0.4251	0.7684	14000	0.3549	0.4889	0.1026
0.4089	0.8782	16000	0.3419	0.4715	0.0984
0.3908	0.9880	18000	0.3319	0.4662	0.0967
0.3787	1.0977	20000	0.3234	0.4435	0.0924
0.367	1.2075	22000	0.3174	0.4312	0.0895
0.3583	1.3172	24000	0.3043	0.4201	0.0877
0.3534	1.4270	26000	0.3004	0.4074	0.0853
0.3407	1.5368	28000	0.2930	0.3973	0.0828
0.3301	1.6466	30000	0.2884	0.3889	0.0813
0.3225	1.7563	32000	0.2827	0.3780	0.0792
0.3179	1.8661	34000	0.2797	0.3739	0.0779
0.3157	1.9759	36000	0.2686	0.3635	0.0763
0.3001	2.0856	38000	0.2661	0.3618	0.0757
0.2944	2.1954	40000	0.2633	0.3528	0.0736
0.2913	2.3052	42000	0.2599	0.3535	0.0735
0.2951	2.4149	44000	0.2543	0.3490	0.0723
0.2888	2.5247	46000	0.2540	0.3415	0.0709
0.2855	2.6345	48000	0.2469	0.3373	0.0705
0.2816	2.7443	50000	0.2441	0.3343	0.0697
0.2808	2.8540	52000	0.2407	0.3281	0.0687
0.2761	2.9638	54000	0.2394	0.3221	0.0674
0.2635	3.0735	56000	0.2378	0.3210	0.0671
0.2626	3.1833	58000	0.2385	0.3140	0.0657
0.2563	3.2931	60000	0.2328	0.3112	0.0653
0.2572	3.4029	62000	0.2309	0.3083	0.0646
0.2554	3.5126	64000	0.2312	0.3075	0.0645
0.2557	3.6224	66000	0.2281	0.3061	0.0638
0.2538	3.7322	68000	0.2262	0.3017	0.0632
0.249	3.8420	70000	0.2235	0.2973	0.0625
0.2482	3.9517	72000	0.2209	0.2964	0.0620
0.24	4.0615	74000	0.2197	0.2930	0.0611
0.2397	4.1712	76000	0.2171	0.2913	0.0611
0.2378	4.2810	78000	0.2157	0.2866	0.0598
0.2355	4.3908	80000	0.2160	0.2913	0.0606
0.2374	4.5006	82000	0.2138	0.2872	0.0599
0.2322	4.6103	84000	0.2138	0.2843	0.0592
0.2294	4.7201	86000	0.2105	0.2832	0.0593
0.2255	4.8299	88000	0.2078	0.2804	0.0582
0.2303	4.9397	90000	0.2072	0.2770	0.0578
0.2236	5.0494	92000	0.2067	0.2769	0.0577
0.2187	5.1592	94000	0.2060	0.2749	0.0576
0.2175	5.2689	96000	0.2024	0.2749	0.0571
0.2144	5.3787	98000	0.2039	0.2704	0.0560
0.2235	5.4885	100000	0.2024	0.2674	0.0557
0.22	5.5983	102000	0.2015	0.2696	0.0562
0.2131	5.7080	104000	0.2006	0.2664	0.0556
0.2154	5.8178	106000	0.1975	0.2646	0.0556
0.2116	5.9276	108000	0.1962	0.2673	0.0550
0.2123	6.0373	110000	0.1957	0.2625	0.0546
0.2037	6.1471	112000	0.1961	0.2626	0.0544
0.2061	6.2569	114000	0.1953	0.2598	0.0541
0.2024	6.3666	116000	0.1954	0.2603	0.0539
0.2031	6.4764	118000	0.1924	0.2578	0.0535
0.2005	6.5862	120000	0.1929	0.2584	0.0536
0.2051	6.6960	122000	0.1907	0.2594	0.0539
0.201	6.8057	124000	0.1911	0.2538	0.0530
0.2	6.9155	126000	0.1898	0.2521	0.0526
0.1977	7.0252	128000	0.1862	0.2510	0.0521
0.1962	7.1350	130000	0.1890	0.2524	0.0523
0.1904	7.2448	132000	0.1878	0.2501	0.0519
0.1903	7.3546	134000	0.1863	0.2490	0.0518
0.194	7.4643	136000	0.1861	0.2483	0.0517
0.1922	7.5741	138000	0.1850	0.2471	0.0514
0.1925	7.6839	140000	0.1860	0.2477	0.0510
0.1922	7.7937	142000	0.1826	0.2489	0.0512
0.1897	7.9034	144000	0.1838	0.2452	0.0509
0.1865	8.0132	146000	0.1840	0.2429	0.0505
0.1848	8.1229	148000	0.1803	0.2448	0.0505
0.184	8.2327	150000	0.1818	0.2446	0.0503
0.185	8.3425	152000	0.1831	0.2394	0.0500
0.1788	8.4523	154000	0.1824	0.2448	0.0507
0.1803	8.5620	156000	0.1780	0.2413	0.0500
0.1815	8.6718	158000	0.1800	0.2422	0.0501
0.1839	8.7816	160000	0.1790	0.2408	0.0500
0.1789	8.8914	162000	0.1788	0.2415	0.0498
0.1806	9.0011	164000	0.1799	0.2437	0.0503
0.1747	9.1109	166000	0.1804	0.2393	0.0493
0.1713	9.2206	168000	0.1777	0.2365	0.0488
0.172	9.3304	170000	0.1775	0.2375	0.0489
0.1736	9.4402	172000	0.1766	0.2376	0.0485
0.1758	9.5500	174000	0.1781	0.2358	0.0486
0.1766	9.6597	176000	0.1794	0.2368	0.0488
0.1753	9.7695	178000	0.1757	0.2368	0.0486
0.1715	9.8793	180000	0.1757	0.2357	0.0483
0.1722	9.9891	182000	0.1748	0.2359	0.0485
0.1665	10.0988	184000	0.1781	0.2334	0.0483
0.1677	10.2086	186000	0.1743	0.2351	0.0481
0.1656	10.3183	188000	0.1762	0.2344	0.0485
0.1682	10.4281	190000	0.1743	0.2305	0.0477
0.1643	10.5379	192000	0.1746	0.2318	0.0478
0.1672	10.6477	194000	0.1742	0.2311	0.0478
0.1659	10.7574	196000	0.1730	0.2308	0.0475
0.1677	10.8672	198000	0.1725	0.2312	0.0477
0.1632	10.9770	200000	0.1721	0.2300	0.0475
0.1622	11.0867	202000	0.1722	0.2312	0.0473
0.1596	11.1965	204000	0.1733	0.2299	0.0476
0.1585	11.3063	206000	0.1708	0.2313	0.0475
0.1618	11.4160	208000	0.1740	0.2306	0.0472
0.1598	11.5258	210000	0.1707	0.2280	0.0469
0.1577	11.6356	212000	0.1714	0.2312	0.0475
0.1597	11.7454	214000	0.1719	0.2260	0.0469
0.1592	11.8551	216000	0.1701	0.2265	0.0468
0.159	11.9649	218000	0.1703	0.2260	0.0468
0.1565	12.0746	220000	0.1701	0.2273	0.0469
0.1561	12.1844	222000	0.1720	0.2284	0.0472
0.1552	12.2942	224000	0.1721	0.2257	0.0466
0.1541	12.4040	226000	0.1688	0.2275	0.0470
0.1501	12.5137	228000	0.1705	0.2249	0.0465
0.1567	12.6235	230000	0.1693	0.2247	0.0463
0.1546	12.7333	232000	0.1714	0.2246	0.0464
0.1528	12.8431	234000	0.1676	0.2243	0.0462

Framework versions

• Transformers 4.57.1
• Pytorch 2.9.1+cu128
• Datasets 3.6.0
• Tokenizers 0.22.1