GoLLeM-110M-PL-SFT-merged

SFT (instruction-tuned) wersja GoLLeM-110M-PL na zbiorze grounded-QA (26 194 par, 4 autorow, CC-BY-SA-inherit).

  • Base: GoLLeM-110M-PL (ckpt_00060733)
  • Trening: 3 epoki, lr 2e-5, wd 0.1, B16/accum4 (efektywny 64), ~3m40s na ROCm 7900 XTX
  • Eval: forma 15/15 (0 kontynuacji, 0 boilerplate), fakty = sufit 110M (przewidziane)
  • Gate: PII 0, regurgitacja 0 (sklada ze szablonow, nie recytuje)
  • Wywolanie: GPT2LMHeadModel, vocab 32000, n_positions 512, 12L/12H/768d
Downloads last month
-
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support