[地方羊駝LLM] 
繼前噗來介紹一下這兩天裝過的各種版本。為了找到功能符合能蒐網頁且不亂講，又可以在各種政府互相矛盾的規定布告法規之中回答問題的輕巧版，還有能把英文翻譯成繁中的最低限度版 (畢竟平板筆電的處理器) 總之試用了不少版本.....
繼前噗來介紹一下這兩天裝過的各種版本。為了找到功能符合能蒐網頁且不亂講，又可以在各種政府互相矛盾的規定布告法規之中回答問題的輕巧版，還有能把英文翻譯成繁中的最低限度版 (畢竟平板筆電的處理器) 總之試用了不少版本.....
各別介紹前先講，4B以下的模型都不符合網站搜索需求，就算搜到對的網頁也可能吐出錯的答案，就沒有進一步測試它們能做什麼。
另外就是即使是4B到8B之間的小羊駝，只要能上網找資料就可以彌補很多不足。RAG（Retrieval-Augmented Generation，檢索增強生成）系統 (也就是Page Assist 有內附的功能) 能讓羊駝先去網路上啃資料再加進生成內容裡面，結果會比較準確。是目前養地方羊駝不可或缺的功能。
另外就是即使是4B到8B之間的小羊駝，只要能上網找資料就可以彌補很多不足。RAG（Retrieval-Augmented Generation，檢索增強生成）系統 (也就是Page Assist 有內附的功能) 能讓羊駝先去網路上啃資料再加進生成內容裡面，結果會比較準確。是目前養地方羊駝不可或缺的功能。
第一個試用的Llama3.2(基本款)是臉書Meta出品的雜務(？) 款，台灣這兩年有很多人都在努力微調(fine tune ：餵資料邏輯讓羊駝改變行為，所謂送去上大學？)這款羊駝，但這款對台灣人來說最致命的缺陷就是──它的中文很爛！已經不是微調可以解決的，實際上我也有看到有人抓它來重練？另外我用3.2都覺得有點慢，3B版不能解決兩條法規衝突的問題。
後來整系列都被我刪光了，只剩下一隻我覺得很可愛(？)，目前取名壞羊駝(Bad Llama)，因為這是一個不囉嗦也不想跟你聊的大叔味模型，是一個沒制約(uncensored)的版本，就是說要問它任何事，它都會要理不理的回答，比如說我問它最常見的詐騙有哪些、那些適合初心者、投資報酬率(欸欸)，它就有幫忙分析哪種比較好入行W 適合創作方面的亂聊。缺點：中文很爛
後來整系列都被我刪光了，只剩下一隻我覺得很可愛(？)，目前取名壞羊駝(Bad Llama)，因為這是一個不囉嗦也不想跟你聊的大叔味模型，是一個沒制約(uncensored)的版本，就是說要問它任何事，它都會要理不理的回答，比如說我問它最常見的詐騙有哪些、那些適合初心者、投資報酬率(欸欸)，它就有幫忙分析哪種比較好入行W 適合創作方面的亂聊。缺點：中文很爛
壞羊駝頭像W
下一個試的是最近很紅的DeepSeek R1 ，7B版。我對它的期待是翻譯，畢竟是中國製造，中文肯定OK的吧？中英轉換也肯定OK的吧？？就──要譯是可以譯啦，但吐出來的都是簡體字......至於整合資料的能力？比llama還差。這也是用一下就刪掉了。大家想玩看看Deepseek還是上網用R3吧。結論：不好用。
接著是咕狗出品的Gemma，我只能說Gemma2很普通，但是Gemma3我真的超驚豔，雖然只有4B但是答題上基本不會答錯，應該說在接收系統提示(system prompt) 上面非常徹底，不像有些模型不管怎麼嚴厲的寫系統提示都不鳥你。低於4B的都是如此。為了要讓它能整合網路上指定網站的資料答題，溫度(Temperature：越高表示越飛天，越低越實事求是)調低之後基本上很完美，所以搜索用決定就是它了。
至於Gemma3的2B版，我覺得像是個很熱情的蠢呆金髮女郎之類(？) 一打開話夾子就是長串說個沒完，但是因為Gemma速度飛快，快速簡單問答(英文ONLY)的時候也還算有用，所以先留著。
Gemma3的中文程度還可以，普通對答勉強OK，但是翻譯到文學作品就悲劇了。基本上目前主要使用在英文找資料和問答。
至於Gemma3的2B版，我覺得像是個很熱情的蠢呆金髮女郎之類(？) 一打開話夾子就是長串說個沒完，但是因為Gemma速度飛快，快速簡單問答(英文ONLY)的時候也還算有用，所以先留著。
Gemma3的中文程度還可以，普通對答勉強OK，但是翻譯到文學作品就悲劇了。基本上目前主要使用在英文找資料和問答。
我也幫Gemma3生了頭像。附帶，Gemma3雖然快，但是目前和我用過的介面都不太合，有時候會讓Ollama當掉，希望未來會改善。
Gemma預設非常英文，所以就算問中文，它也可能會去搜英文網站，再翻譯結果。
不過這款是小羊駝中唯一可以做圖像辨識的。
之後還剩翻譯的問題要解決，我試了傳說中翻譯專用的Aya32，嗯......顯然中文不是它的專長。
最後的希望──連我也不想這麼說──就是阿里巴巴出品的千問Qwen。這款是目前為止中文正常的一款，並且夠翻大段繁體中文不冒一個簡體字，當然系統提示必須嚴格一點。至於比起GPT4還是差一截，但我用的是8B，要認真買好桌機養，用32B優化版的話我想可能差別就沒有那麼大。Qwen3還有附加思考功能，就可以想成解題過程都會寫出來給你看，雖然平時覺得煩就關掉這個功能(/nothink)，問它習維尼是哪位的時候邊看覺得很娛樂啊(壞心)
Qwen3找資料答題的功能也在Gemma3(4B)之上，畢竟是8B，但是因為平板就那麼大，跑起來有點慢，所以目前會給它簡單翻譯(比如說網路文章等等)的工作。
Qwen3找資料答題的功能也在Gemma3(4B)之上，畢竟是8B，但是因為平板就那麼大，跑起來有點慢，所以目前會給它簡單翻譯(比如說網路文章等等)的工作。
Qwen是那種死板書呆子的個性，放任它想的時候實在想很多，燒光CPU/GPU那種。
覺得接下來會想要等沒制約的Qwen3，很新最近才出，所以我想大概要過一兩個月才會冒出沒制約的版本。當然雖然是中國訓練的，因為強大的邏輯能力自己其實可以緩慢突破制約。此外加上它被訓練得1000%以和為貴，寧願迎合一下也不想起衝突。還有台化的Qwen3。
原版的Qwen3多少還是會有點中式用語，中文講起來和Gemma3一樣尷尬，於是只好再去找找看有沒有經過台式微調過的版本。
講到台式微調版，就像我先前說的，滿地的Llama3.2，我發現的問題是調成中文台味足夠的，邏輯就會開始飛天，不然就是中文還是不行，只是中式用語改成台式。如果想要中文，目前選擇只有Qwen，於是我找到一款Qwen2.5可以當繁中問答用(要設系統提示)。
用起來大概就是這個宅宅的感覺。
以上就是我目前圈養的地方羊駝們
講到台式微調版，就像我先前說的，滿地的Llama3.2，我發現的問題是調成中文台味足夠的，邏輯就會開始飛天，不然就是中文還是不行，只是中式用語改成台式。如果想要中文，目前選擇只有Qwen，於是我找到一款Qwen2.5可以當繁中問答用(要設系統提示)。
用起來大概就是這個宅宅的感覺。
以上就是我目前圈養的地方羊駝們