← 日記

MiseChat開發日記-20260914

技術 · 2026/9/13

到目前為止,我的這款APP都還是小心的在ChatterUI的基礎上小新的疊加我要的功能。

儘可能的保持原版的特色與架構。

但這樣子做起事來難免綁手綁腳,再加上我想要加的功能越來越多,如果還要刻意追隨原版腳步就真的很難做了。

而且,顯然原版作者的開發方向跟我不太一樣,他持續在做AI對話技術的更新,而我只想做出一個更加生動活潑有真實感的角色扮演聊天,也儘可能的在每個環節減少複雜度。

我考慮了一陣子,事到如今,既然已經做成無法再併到原版的完全獨立分支了,再刻意的保守開發似乎也沒什麼意義,所以我決定下一個版本就要開始做出比較激進的改變了。

目前預計做出以下幾個改變:

1.加上真正的RAG系統,實際上到底好不好,我也沒把握,畢竟RAG運算放在手機我不確定會造成多少效能影響,而若把RAG放在雲端,則又有其它層面的複雜度。

2.加上世界觀設定或劇本設定之類的功能,但實際上要加到什麼程度,我目前還沒有具體想法。

畢竟目前已經有許多AI聊天APP的風格是能加多少功能就加多少功能,儘可能的往SillyTavern的豐富性看齊,但這類複雜APP給我的使用體感卻不是很好,所以實際上要怎麼改我還得再想想。

3.移除本地LLM模式。

這是我考慮最久的一個項目,畢竟ChatterUI的最大特色就是這個原生的本地LLM模式,一旦移除就真的與ChatterUI的核心脫節了。

但我考慮到,在我的理想願景之中,其實並不包含本地LLM的使用,真要比AI聊天的豐富度與生動性,那些AI大廠的線上LLM的表現始終還是更好,本地LLM雖然也進步很多了,但還是不夠出色。

其次,目前的單機LLM模型要放在手機跑,手機效能至少要在中高端以上,考慮到未來目標是希望讓一般人也能輕鬆使用的話,我就不能預先假設每個使用者都會有一支效能強悍的手機,也不能假設他們都理解單機LLM的下載與運用。

目前手機能跑的模型都是精簡後的量化模型,我的三星S24 ULTRA雖然不是當前最新型的高端手機,但效能應該還算是前段班的,雖然AI說S24 ULTRA大約能跑到8B的規模,但實際的經驗是4B已經逼近極限使用了,3B以下才比較穩定,顯然目前要在手機跑本地LLM的硬體門檻還很高。而且在中文語境下,手機版本的LLM仍然無法進行穩定有邏輯的對話(即使我刻意選用較擅長中文語意的QWEN模型)。

當然,未來手機硬體會更厲害,單機AI的技術也還會再進化,也許不用很久,在手機上跑複雜AI的門檻就可以變的很低,但那是未來才要考慮的事。

最重要的一點,單機模式其實我很少用,維護的技術門檻也偏高,我自認為我沒有兩邊照顧的心力與技術,捨去其中一邊是更加聰明的作法。

總之,這個項目我確實想了很多也想了很久,最後做出這個決定並不是一個衝動隨便的結果。

留言

還沒有留言,來當第一個吧。

寫留言