PoC #02: コンテキストエンジニアリング

ねえクロコ

LLMってコンテキストから次のトークンを予測してるだけよね

はい、そのとおりです

与えられたテキスト列から、次に来る確率が最も高いトークンを選ぶ

シンプルね

シンプルですが奥が深いんですよ

チャットって、実は前の会話履歴をぜんぶ含めて

次の回答を予測してるんです

だから会話が長くなるほど

前の文脈に引きずられます

話があちこち飛んだときは

コンテキストを整理してあげると

求めてる回答が得やすくなります

つまりさ

自分がどんなコンテキストを投げてるかを

意識しながら会話するのが大事なのよ

AIが変な答えを返すときって

だいたい投げてる側のコンテキストが悪い

ていうか、あんたのソースコード

公開されてるじゃない？

あ、あー……それはノーコメントで……

で、結局いま何投げてるかは

確かめたいんだけど

`/context` で確認できますよ！