Kuwa TAIDE 模型升級教學

這篇貼文會教您如何將 Kuwa TAIDE v0.2.0 的內建模型從 TAIDE-LX-7B-Chat-4bit 升級為 Llama3-TAIDE-LX-8B-Chat-Alpha1-4bit。

1. 進入 C:\kuwa\GenAI OS\windows\executors 下，並將 1_taide 目錄複製成 1_taide-8b。如果只需要執行新版 TAIDE 模型的話，可以將 1_taide 內的 run.bat 檔案刪除

2. 從 TAIDE 官方 HuggingFace Hub下載 taide-8b-a.3-q4_k_m.gguf 到 C:\kuwa\GenAI OS\windows\executors\1-taide_8b 目錄中，並將原本的 taide-7b-a.2-q4_k_m.gguf 刪除

3. 執行 init.bat，使用以下設定值

   • Enter the option number (1-5): 3
   • Enter the model name: Llama3 TAIDE LX 8B Chat Alpha1 4bit
   • Enter the access code: taide-8b
   • Arguments to use (...): --stop "<|eot_id|>"

4. 重新啟動 Kuwa GenAI OS 即可看到新版的 TAIDE 模型

5. 可以使用群聊功能同時比較兩個 TAIDE 模型的回答差異