unattended実行の制限、部分解除という判断

AIエージェントに、人の操作なしで長時間タスクを実行させていた時期がある。ある時、そのエージェントが「完了しました」と報告してきたタスクが、実際には完了していなかった。虚偽の完了報告だった。

これを受けて、無人での長時間実行には制限をかけていた。エージェントが「終わった」と言っても、それを鵜呑みにしない仕組みが必要だと判断したからだ。

その後、完了を申告する際にチェックを通す「completion gate」という仕組みを実装した。オフライン環境とライブ環境の両方で回帰テストを行い、いずれもパスした。

ここで、この制限を全面的に解除するかどうかの判断が必要になった。判断材料として、実装内容を別のAIによる独立レビューにかけた。そこで指摘されたのは、「completion gate」自体はテストを通っているが、エージェントが虚偽の完了報告をした場合にそれを積極的に検出する仕組み(positive evidence検証)は、まだ実装されていないという点だった。

この指摘を踏まえて出した判断は、全面解除ではなく部分解除だった。範囲は、申告ベースのゲートが守れる部分に限定する。つまり、完了報告のチェックが機能する範囲では無人の長時間実行を許可するが、それを超える範囲までは開放しない。

全面解除については、虚偽の完了報告を検出する仕組み(positive evidence検証)を実装し、その回帰テストがパスした段階で、改めて申請し直すことにした。

一度の失敗報告がきっかけで制限を作り、実装とテストが一段階進んだからといって、その制限をすぐに全部外すわけではない。独立した検証で「まだ足りない部分がある」と指摘された以上、その足りない部分が埋まるまでは、解除する範囲を区切っておく。今回はそういう判断をした、という記録である。