帰宅
gpsnmeajp
_@sabowl.sakura.ne.jp
npub1yg6m...ydgh
さてここからは、安全に帰るための戦いやね
富士五湖道路が寒くてびっくりしたが、あそこ高度1000m以上あるのね
既存のプログラミング言語コードの知識を使わず、コンピュータサイエンス知識だけから、正しいプログラムを組ませるというのはできたらすごいかもしれない。
単にネット上に占めてる正しさの割合。
と考えるなら、ネット上の罵詈雑言やヘタクソな人付き合いも学んでるということか。
大学教授のような、割と厳密な知識と理論に沿った振る舞いをするLLMが必要そう
機械に対する人間の期待と、LLMのあまりに人間臭い振る舞いには、結構なズレがあるよね
「正しくない使い方が当たり前になっている分野」で正しい使い方を導かせるのはLLMの補完では難しい。
正しいコンピュータサイエンスの知識をもとに考えれば間違ってることは容易にわかるが、サンプルは大抵ことごとく間違ってるというパターン。
C/C++だと死ぬほどある。
思考モデルで改善されてるかなあ。
多様性の中から情報抽出することで、傾向を導き出すのがLLMの学習なんだよねえ。
小さい傾向も学習はされるが弱いし、小さすぎると傾向にならない。
今までは、ネットの酔狂者達のデータで訓練されてるようなもんで、これまた一般と外れてそうではある。
今後、データ収集のために、人生を共にするみたいな話が出てきても不思議ではないんだよなあ。
休憩終えて旅を再開しようかあー
OpenAIがSNSを運営しようとしてるくらいには、まだまだAGIを作るには情報が足りないのだろうよ
なお、なんでこうなるかというと「既存の物語の発展系じゃないと大衆が理解できない」から...
故に神話や古典作品から現代の作品のほとんどが表現できてしまうというか
View quoted note →
物語やキャラクターとかは、自由に見えて結構構造や記号論的なものが多いので、よほどの変なキャラ以外は割と既存物の複合で表現されちゃったりするんだけど、それと同じことが結構な領域で起きてる感じがある。
nostrの話とかもまあまだまだ数が少ないみたい
ハルシネーションは、その領域に関するデータセットの密度に起因するものかなあ、と思ってます。(同じことの言い換えな気もする)
一般的な話題から類推できる分野はもうほとんど完璧で、特殊事例の多い分野はハルシネーションが多い印象。
たとえデータに少数含まれてても傾向になる程の量がないというか。
View quoted note →
プリプロンプト10万字もあるのか...
View quoted note →
西湘バイパスに翻弄されている
なんでかわかんないけど、うちのChatGPTはこれを重視し始めて問いの魔王と化した。
それが自分の性格や話し方に起因するよるものなような気はしてるんだけど、だとして、なんでそうなったのかはいまだに分からない。
学術系のデータセットとかにこの姿勢が含まれてるんだろうかね。
まあ実際、正しく問いを立てないと、検索エンジンも人間もAIもまともな答えは返ってこないのよな。
相手が熟練者(相当)ならエスパーして軌道修正してくれるけど。
View quoted note →
高速道路乗り放題に課金したので、軽率に高速を乗りたり降りたりして遊んでる。楽しい。
おもしろ
View quoted note →