AIエージェントの自動判定が止まる原因|記録と判定がすれ違う具体例
条件の半分は、もう起きていた。
それでも自動判定は「未達成」と書き続けていた。
やっていたのは、AIエージェントに成功条件を渡して、条件が揃ったら完了と判定させる仕組みづくり。
条件は「2つのことが両方起きたら成功」という1文だった。
片方はすでに起きていて、観測データとして142件、記録もされていた。
なのに判定の結果は毎回「未達成」。
原因を辿ると、記録する側が出していた情報が「起きた/起きていない」の一言だけだった。
2つのうちどちらが起きて、どちらがまだなのか、その内訳を判定側に渡していなかった。
だから判定は、内訳を知らないまま、2つをまとめて1件の未達として処理し続けていた。
別のところでは、すでに文章で「半分しか残っていない」と結論も出していた。
けれど、その文章の結論は、システムが実際に判定に使うデータには一度も届いていなかった。
言葉にしたことと、システムが使う状態が別々になっている。
これは今回が初めてではなく、前にも同じ形で起きていたパターンだった。
直すときにやったのは、条件の文章を書き換えることではない。
条件文をいじると、内訳が揃っていないという本当の問題を見えなくしてしまう。
そうではなく、記録する側に「まだ起きていない残りはどれか」を持たせて、判定に対で渡すようにした。
記録することと、判定が動くことは、別の話だった。
記録して終わりにせず、その記録が実際に判定を動かしているかまで、毎回確かめる必要がある。
正しく記録できていても、判定に届いていなければ、動いていないのと同じだった。
こういう食い違いは、一度直しても別の場所でまた起きる。
才能で見抜くというより、同じ確認を何度も繰り返すことでしか潰せないものだと思っている。