LM Studio を試す
ところが、
mac だとユニファイドメモリってやつで
RAM と
VRAM が共用できる？(詳しいことは知らない)らしいことを知り、ちょっとやってみるかと
調べてみると LM Studio ってやつだと
GUI があって Stable Diffusion の Matrix みたいに管理できるらしい(といいつつ別にそっちも使ったことあるわけではないが)
これまでの経験から生成は多少
CUI でなんとかするターンがあったんだけど、コイツはもう本当に GUI で完結してすごいなとおもった(素朴な感想)
とりあえず
llama のモデルをポチって実行してみるの図
ただなんか西洋ソフトでありがちな
IME の変換エンターで送信されてしまう問題を抱えていて困った
一旦他のテキストエリアで入力してコピペしているけど...
command-r ってのを試してみたくて、Q4 がギリいけるかもって表記だったので試してみたけど
まあ、ダメだよな
Q3_K_S
ローカルLLMってウェブを見に行くことはできるのか？
途中からやや怪しいけどこいつはすげえや
システムプロンプトを変えてみる遊び
まあどんなプロンプトかはご想像にお任せします
ちょうど昨日スジの人と話してて「メモリ単価はイイかもしれんけど
Apple Silicon は単純にデバフやろ」とのことだったが、ただ使ってるだけニンゲンからしてみると特に困りは感じないかなあ
今使ってる
Mac Studio は Apple Silicon だと
Intel 時代よりも省メモリだな、という体感があったのもあって素直に32GBにしてしまった
しかしまあ、メモリを128GBぐらいにしようとすると72万かあ.......
M2 の Mac Studio をノコノコ買おうとはおもわんが、次期バージョンが出るとしてそれは M3 Max/Ultra のコアになるんだろうか？
M4 Max/Ultra だったら思い切って買い替える説は果たしてあるのか.....
