推文详情
avatar
@foolfitz@social.slat.org

最近花了一點時間把 llama.cpp 架起來,用的模型是 llama-3.2-3b,這東西滿神秘的 =w=
最後用得還算順利的指令是這樣的:

```
./llama-cli -m ../models/llama-3.2-3b.gguf -ngl 100 -cnv -i --color --interactive-first -n 1024 -p "you are a virtual personal assitant." -c 8192 -r "user" --temp 0.7 --repeat-penalty 1.3
```

查看详情
0
0
0
@foolfitz@social.slat.org
0/474
加载中