現状、Mind Networkは割と近いところまで行ってるけど、学習の失敗でモチベ減少。放置するぐらいならAIに作らせてみようというわけで
- 外部発火によるSTDPでの教師あり学習
- 期待する発火と実際の発火との差でのreward/STDP
- ニューロンに興奮性、抑制性を追加して
- スコアリングによるシナプス消去を少ない重みによる崩壊にして
- その他性能が改善しやすい変更
- 実際の脳に近く
- 3次元ニューロンマップに変更して
- 出力層を割と同じ経路を使うように変更して(ランダムな位置から割と規則性のある変更, 同様に入力層も)
- ワーキングメモリなどの短期間データを保存できるニューロンの追加
- 設計図の追加(部位ごとに接続層(他部位との接続場所)を追加し、一つの部位は接続層以外でつながることはできない。これによって脳の部位ごとの役割分担を再現可能、場合によってより現実らしい仕組みに変えたりして)
bac0n
2
https://forum.kaisaba.net/t/topic/1535/3?u=bac0n
流石にお願いだよーーーーーー
前の作ってるやつも中途半端なところで放置してるし前のやつを終わらせてよーーーー
あのですね
放置されてしまったかわいそうなプロジェクトをAIで今復元してるんです
bac0n
4
T-Mind Networkの骨組みを作成 → LLM作りたいから学習させてみる → 重すぎて無理 → 原因は過剰な重みによる多数発火 → モチベ減少 → 放置 → どうやら抑制性ニューロンがないとダメっぽい → でもめんどくさいから放置 → AIで追加したい機能を追加してみる ← 今ここ
そもそもこんなに滞納したプロジェクトたちを一人で裁こうとするのがおかしいんだよ
bac0n
9
そもそも同時に新しいものを作ろうとするのがおかしいんだよ
そもそも同時に作るってのが企業のやり方だからおかしいんだよ
そもそもllm.pyで使ってるベクトルモデルがこの前変だったやつを流用してるから動くんかな
あぁそっか、このベクトルモデルあれだわ、KaisabaAIv2で使ってる語呂データで使われない単語消してるわ
やっぱり学習がねー
明らかにオーバーニューロンはしなくなったから早いっちゃ早いけど