When Traning on new Language with a new vocab the model is outputing garbage in the first few epochs then stops predictiing

[athaze]

Model= canary_180m_flash Fast-conformer encoder with transformer decoder model

Dataset Structure [ Canary2-prompt ]

{"audio_filepath": "audio_files/audio_00000.wav", "text": "ജില്ലാ സഹകരണ ബാങ്കുകൾ മുതൽ താഴോട്ടുള്ള സംഘങ്ങൾക്ക് ഇത് ബാധകമാണ്", "duration": 5.995, "lang": "ml", "target_lang": "ml", "source_lang": "ml", "pnc": "true"}
Total audio duration: 21.29 hours

Iam training it with adapters adapter_dim = 128 On both encoder and transf_decoder

Name	Type	Params	Mode
preprocessor	AudioToMelSpectrogramPreprocessor	0	eval
encoder	ConformerEncoderAdapter	111 M	eval
encoder_decoder_proj	Linear	525 K	eval
transf_decoder	TransformerDecoderNMAdapter	74.7 M	train
log_softmax	TokenClassifier	6.4 M	train
loss	SmoothedCrossEntropyLoss	0	eval
spec_augmentation	SpectrogramAugmentation	0	eval
val_loss	GlobalAverageLossMetric	0	eval
wer	WER	0	eval
bleu	BLEU	0	eval

---

3.3 M Trainable params
183 M Non-trainable params
186 M Total params
747.983 Total estimated model params size (MB)
231 Modules in train mode
516 Modules in eval mode

---

NeMo I 2025-11-14 20:27:09 nemo_logging:393] WER reference: എന്താമോളേ സ്ക്കൂട്ടറില് ,unk.>

[NeMo I 2025-11-14 20:27:09 nemo_logging:393] WER predicted:പ്പോഴപ്പോഴപ്പോഴപ്പോഴപ്പോഴപ്പോഴപ്പോഴപ്പോഴപ്പോഴപ്പോഴപ്പോഴപ്പോഴപ്പോഴപ്പോഴmemememememememememememememememememememememememememememememememememe am am am am am am am am am am am am amciónciónciónciónciónciónciónciónciónciónciónciónción<|sc|><|sc|><|sc|><|sc|><|sc|><|sc|><|sc|><|sc|>enerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenersterstersterstersteriziziziziztrtrtrtrtrtrtr acc acc acc acc acc all all all all all all all വീ വീ വീ വീ വീ വീ വീ വീ വീ വീ വീ വീ വീenerenerenerener
[NeMo I 2025-11-14 20:27:19 nemo_logging:393]

[NeMo I 2025-11-14 20:27:19 nemo_logging:393] WER reference: അമ്മ ഒന്ന് ഇരിക്ക്
[NeMo I 2025-11-14 20:27:19 nemo_logging:393] WER predicted: am am am am am am am am am am am am am am am am am am am am am am am am am am am am am am am am am am hay hay hay haymememememememememememe am am am am am am am am am am am amciónciónciónciónciónciónciónciónciónciónciónciónciónciónciónീസീസീസീസീസീസീസീസീസീസീസീസീസീസീസീസീസീസ der der der der der der der der der derenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerener<|424|><|424|><|138|><|138|><|138|><|138|><|138|><|138|> él él él él éltrtrtrtr
[NeMo I 2025-11-14 20:27:27 nemo_logging:393]

[NeMo I 2025-11-14 20:27:27 nemo_logging:393] WER reference: ഈ ഡ്രസ്സ് തന്നെ മതി
[NeMo I 2025-11-14 20:27:27 nemo_logging:393] WER predicted: പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസിitoitoitoitoitoitoitomememememememememememememememememememememememememememememememememe am am am am am am am am am am am amciónciónciónciónciónciónciónciónciónciónciónción<|sc|><|sc|><|sc|><|sc|><|sc|><|sc|><|sc|>enerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerenerener all all all
[NeMo I 2025-11-14 20:27:36 nemo_logging:393]

[NeMo I 2025-11-14 20:41:01 nemo_logging:393] WER reference: സ്കൂൾ കാലം മുതലേ നാടകത്തിൽ സജീവമായിരുന്നു
[NeMo I 2025-11-14 20:41:01 nemo_logging:393] WER predicted: പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസിitoitoitoitoitoitoormormormormormormormorm
[NeMo I 2025-11-14 20:41:53 nemo_logging:393]

Few Steps Later

[NeMo I 2025-11-14 20:41:53 nemo_logging:393] WER reference: ആരോഗ്യദൃഡഗാത്രരായ ആറോളം പുരുഷന്മാർ കാറിൽ നിന്ന് ഇറങ്ങുന്നതാണ്
[NeMo I 2025-11-14 20:41:53 nemo_logging:393] WER predicted: പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി പ്രസി
[NeMo I 2025-11-14 20:42:45 nemo_logging:393]

[NeMo I 2025-11-14 20:42:45 nemo_logging:393] WER reference: സൗഹൃദ ഫുട്ബോൾ മത്സരത്തിൽ വെനസ്വലക്കെതിരെ അർജന്റീനക്ക് ദയനീയ തോൽവി
[NeMo I 2025-11-14 20:42:45 nemo_logging:393] WER predicted:

---

And this continues until the training is completed about 50 epochs

So i checked whether this is because of tokenizer issue and this confirms its not

Text: മീഥൈൻ തന്മാത്രകൾ അൾട്രാവയലറ്റ് രശ്മികളാൽ വിഘടിച്ച് തീരാറുണ്ട് Tokens: [5264, 6224, 6244, 6247, 6231, 5277, 6045, 5319, 5422, 5255, 6227, 5262, 6203, 5358, 6202, 6210, 5428, 5315, 6225, 5383, 5510, 5369, 5305, 6254, 6204, 5535, 5533, 5420, 6211, 5376] Decoded: മീഥൈൻ തന്മാത്രകൾ അൾട്രാവയലറ്റ് രശ്മികളാൽ വിഘടിച്ച് തീരാറുണ്ട് Vocab size: ['spl_tokens', 'en', 'de', 'es', 'fr', 'ml']

---

Now i did the same without any adapters i got the same results!

[kawieeeee]

Hello @athaze can we connect over the language addition on canary?

[athaze]

I'm down to chat! Can you give me a quick heads-up on what you're looking for regarding the language addition? Just want to get some context first