Merge
#4
by BornSaint - opened
por favor, posta o merge dele, preciso testar, mas em .gguf, não consigo carregar 7b sem ser 8bit aqui. Carregando em 8bit não consigo converter pra gguf pq o llama.cpp não entende int 8...
Segue o merge do modelo: https://huggingface.co/recogna-nlp/bode-7b-alpaca-pt-br-no-peft
Nos avise se funcionar devidamente :D