gemma 12BをCPUで動かすためにaiに考えさせた最適化をやる

そのなもTQX-R


しかし死んでしまいました

とりあえず目標速度は1tok/s


なのでこれを上回れば12BでCPU演算で2倍近く上がるわけですね

もしできたらべーこんのPCではどうなるんだろ
60tok/sぐらい出るんじゃない?
できるならべーこんへの協力にもなるかなあ

協力はするよ

KAiとかで二倍近くのパラメーターのモデルを1倍のParameterとほぼ同じ速度で動かせるっちゅうわけさ
逆に今のパラメーターでも速度を二倍にできる

今はCodexの制限がやばいから一旦保留