推文详情

@foolfitz@social.slat.org
最近花了一點時間把 llama.cpp 架起來,用的模型是 llama-3.2-3b,這東西滿神秘的 =w=
最後用得還算順利的指令是這樣的:
```
./llama-cli -m ../models/llama-3.2-3b.gguf -ngl 100 -cnv -i --color --interactive-first -n 1024 -p "you are a virtual personal assitant." -c 8192 -r "user" --temp 0.7 --repeat-penalty 1.3
```