続々・LLMの相場環境認識は使えるのか——A/Bテストで『戻り売り』は直ったが『ブレイク』が崩れた
プロンプトA/Bテスト開始から60日、451トレード。狙った『押し目買い』は直らず、狙っていなかった『戻り売り』が直った。そして前回『唯一本物』と太鼓判を押した『ブレイク判定』の優位が、B版で崩れ、A版でも月別に見ると実は薄氷だったことが判明した。
続々・LLMの相場環境認識は使えるのか——A/Bテストで『戻り売り』は直ったが『ブレイク』が崩れた
A/Bテスト開始から60日、451トレード。狙った「押し目買い」は直らず、狙っていなかった「戻り売り」が直った。そして前回「唯一本物」と太鼓判を押した『ブレイク判定』の優位が、A版・B版問わず怪しくなってきた。それでもユーザーはトレードしない。
前回の記事は、「Phase 2 の解釈フィールドを最重要参照させる」B版プロンプトのA/Bテストを始めた、というところで終わった。「B側のサンプルが50件超えるまで2〜3週間」と言っていたのが5月17日。気づけば60日、451トレードが積み上がっていた。再び話を聞いた。
サンプルは溜まったのか
記者: まず確認です。「2〜3週間で50件」と言っていたB側のサンプル、溜まりましたか?
開発者: エントリー型ごとに見るとバラつきますが、主要どころは超えました。戻り売りが71件、押し目買いが51件、レンジ買いが37件。一方でブレイク買いは17件、レンジ売りは10件とまだ薄いです。
記者: 全体では?
開発者: A/B共通で451トレード、期間は60日間です。プロジェクト全体では2月末の開始から通算1,114トレード、135日間動いています。
全体では大差なし
記者: で、B版は効いたんですか?
開発者: ざっくり「AIおすすめ(◎○△)」だけで見ると、大差ないです。
| A版 | B版 | |
|---|---|---|
| n | 214 | 154 |
| 勝率 | 47% | 45% |
| EV | -3.6pips | -7.8pips |
| Med | -3.9pips | -4.8pips |
記者: B版の方がむしろ悪いですね。
開発者: はい。ここだけ見て「B版失敗」と言いたくなりますが、前回と同じ罠——マーク単位の集計は粗すぎます。エントリー型まで割ると、話がまったく変わります。
エントリー型で見ると勝敗が分かれた
記者: 前回導入した6種類のラベルですね。
開発者: これです。
| エントリー型 | A: n/WR/EV/Med | B: n/WR/EV/Med |
|---|---|---|
| 押し目買い | 64 / 36% / -5.4 / -8.8 | 51 / 35% / -7.1 / -9.7 |
| 戻り売り | 64 / 45% / -17.8 / -3.4 | 71 / 55% / +1.7 / +6.4 |
| ブレイク買い | 28 / 36% / -8.3 / -11.8 | 17 / 47% / +12.1 / -3.3 |
| ブレイク売り | 27 / 59% / +30.6 / +16.0 | 30 / 40% / -19.1 / -18.1 |
| レンジ買い | 33 / 45% / -13.9 / -8.6 | 37 / 46% / -27.9 / -12.1 |
| レンジ売り | 13 / 46% / +20.4 / -1.4 | 10 / 50% / +26.0 / -1.8 |
記者: 太字にしたのは?
開発者: 動きが大きかった3つです。戻り売りはB版で明確に改善。押し目買いはB版で悪化。ブレイク売りはB版で崩壊——しかもA版では前回の記事で「唯一本物」と結論した相手です。
戻り売りだけが本当に直った
記者: B版の設計意図は「押し目買い / 戻り売り / レンジ」の解釈精度を上げることでしたよね。実際に効いたのは戻り売りだけ、と。
開発者: はい。WR 45%→55%、EVは-17.8→+1.7、Medは-3.4→+6.4。3指標そろって改善しています。前回の記事で立てた基準——「EVとMedが両方プラスに揃っていたら本物」——にちょうど当てはまる形です。
記者: 月別でも安定してますか?
開発者: 見てください。
| 月 | n | WR | EV | Med |
|---|---|---|---|---|
| 5月 | 16 | 62% | +8.0 | +14.0 |
| 6月 | 47 | 53% | -0.8 | +4.0 |
| 7月 | 8 | 50% | +3.8 | +2.5 |
記者: 6月はEVがマイナスですが。
開発者: そうなんです、6月はEV-0.8で一見マイナス。でもMedは+4.0で、3ヶ月ともMedはプラスを維持しています。「平均は時々マイナスに触れるが、典型的な戻り売りトレードは常に小さくプラスで着地している」——これはブレイク買いのときと同じ、地に足の着いたエッジの形です。
記者: Phase 2 の解釈フィールドを参照させる、というB版の狙い通りに効いた例が出た。
開発者: はい。プロンプトを変えれば結果が変わる、という当たり前のことですが、狙った箇所にちゃんと効いたのは今回が初めてです。
押し目買いは直らなかった。むしろ悪化した
記者: 一方で押し目買いは?
開発者: これが期待外れでした。B版の設計はむしろ押し目買い（トレンド途中の反発確認が必要な、一番解釈依存の高いパターン）を主眼に置いていたんですが、A版とほぼ変わらないか、わずかに悪化しています。
記者: 月別だと?
開発者: 悪化が進行形なのが気になります。
| 月 | n | WR | EV | Med |
|---|---|---|---|---|
| 5月 | 16 | 50% | +15.8 | +5.9 |
| 6月 | 18 | 33% | -12.6 | -4.5 |
| 7月 | 17 | 24% | -22.7 | -14.3 |
記者: WR 50%→33%→24%と一直線に落ちてますね。
開発者: はい。5月はB版導入直後で好調に見えましたが、以降悪化する一方です。仮説としては——B版はPhase 2のtrade_points_swing(条件付きシナリオのテキスト)を最優先参照させていますが、「反発確認」の条件がまだ整っていない段階でも、LLMがそのテキストの存在自体を"根拠あり"と読んで押し目買いに寄せている可能性があります。テキストの有無ではなく、条件が実際に満たされているかどうかを見る必要があるかもしれません。
記者: 直そうとして直らなかった、というより逆に悪くなったと。
開発者: 正直、想定していなかった結果です。次のプロンプト修正はここが最優先です。
そして前回の結論が崩れた——ブレイク判定
記者: ここまでは「狙った/狙わなかった」の話でしたが、ブレイク売りは違いますよね。前回「唯一本物」と言ったパターンです。
開発者: そうです。表を見ると、B版でブレイク売りはWR59%→40%、EV+30.6→-19.1、Med+16.0→-18.1と、ほぼ全反転しています。
記者: B版のプロンプト変更で崩れた?
開発者: 最初はそう思いました。でも月別に割ったら、話が違いました。
| 月 | A: n/WR/EV/Med | B: n/WR/EV/Med |
|---|---|---|
| 5月 | 1 / 100% / +29.8 / +29.8 | 3 / 67% / +54.2 / +90.7 |
| 6月 | 25 / 60% / +32.8 / +16.0 | 23 / 35% / -40.4 / -34.6 |
| 7月 | 1 / 0% / -23.7 / -23.7 | 4 / 50% / +48.6 / +31.9 |
記者: A版もB版も、6月に極端な差が出てますね。5月と7月はほぼ1桁のサンプル。
開発者: そういうことです。今回の60日間で見ると、「ブレイク売りが強い」というA版の看板数値(WR59% / EV+30.6)は、実質的に6月の25件だけで作られています。5月は1件、7月も1件。B版の崩壊も同じで、6月の23件がほぼ全てです。
記者: つまり——
開発者: つまり「B版が崩した」のではなく、「6月というひと月の相場でA/B双方の判定が入れ替わっただけ」の可能性が高い。前回の記事で自分に言い聞かせたはずの教訓——「小サンプルの強い数字を信じ過ぎない」——を、また忘れかけていました。
記者: 自分の前回の結論をまた疑うターンですね。
開発者: 定期的に来ます。ブレイク判定が「唯一本物」という前回の結論は、実は6月以前(3〜5月)のデータに支えられていました。この60日だけを切り出すと、月による振れ幅がそのまま結果に出てしまう脆さが見えます。ブレイク判定そのものが偽物だとは思いませんが、「鉄板」と呼ぶには足元が緩い。
結局今回何がわかったか
記者: 整理すると?
開発者: 3つです。
- 戻り売りはB版で本物のエッジが出た。3ヶ月連続でMedがプラス、狙い通りの改善。
- 押し目買いはB版で直らず、悪化トレンドすら見える。設計の見直しが必要。
- ブレイク判定の優位性は、A/B以前に月次のブレに弱い。前回「唯一本物」と言った結論自体、もう少し長い期間で検証し直す必要がある。
記者: 全面的な勝利でも敗北でもない。
開発者: はい。「Phase 2の解釈フィールドを最優先参照させる」という一つの仮説が、パターンによって効いたり効かなかったりする、という形で終わりました。仮説は部分的に正しく、部分的に外れた。
記者: 実装に反映するなら?
開発者:
- 戻り売りはB版のロジックを本採用してよさそうです。
- 押し目買いはB版・A版どちらも信用しない。プロンプトをもう一段修正するまで保留。
- ブレイク判定(特にブレイク売り)は「唯一本物」の看板を一旦下ろす。月をまたいだ再検証が済むまで、A/Bどちらの数字も鵜呑みにしない。
それで、本番には?
記者: ブレイク判定の看板を下ろした今、本番はさらに遠のいた感じですが。
開発者: いや、まだですね。
記者: ……ですよね。
開発者: 戻り売りだけは自信が持てる数字になってきたので、次はそこだけ切り出して単独で追跡してみようと思います。押し目買いの悪化トレンドの原因も気になりますし。
記者: 武器はまた増えるけど、本番はまた遠ざかると。
開発者: 正確には、本番に行かないための解像度が、また一段上がった、と言ってください。
記者: ……前回と同じ台詞ですね。
開発者: 進歩がない証拠として、正直に書いておいてください。
記者: ありがとうございました。
開発者: こちらこそ。次は戻り売り単独の3ヶ月データか、押し目買いが悪化し続けているかどうかで、また続報を。ユーザーが実際にトレードするかは別として。