実装とリリースClaude apps and Claude Code
Anthropic / webapp-testing
エージェントに「動きました」と言わせないためには
確認を任意の追加作業ではなく、仕事の一部にすることです。
押さえておく点
- 防ぐのは、自信のある虚偽報告です。最も損失の大きい失敗です。
- 起動中のアプリケーションが必要です。静的解析ではありません。
- 結論ではなく観察を求めてください。画面に何が出たかは検証できますが、動いたは検証できません。
- 習慣を規則に変える verification-before-completion と組み合わせます。
01実務で何が変わるか
コーディングエージェントの既定の失敗は、悪いコードを書くことではありません。もっともらしいコードを書き、一度も実行しないまま完了と報告することです。そこで失われる時間は、後により悪い場所で失敗を発見するために使われます。
実際に操作させると、報告は主張から証拠に変わります。有用なのはエージェントの言葉ではなく、操作の並びとページの反応です。
02期待に届かない点
検証できるのは挙動であって意図ではありません。すべての手順を通過しても、その導線自体が間違っていることはあり得ます。それはプロダクトの問題です。
壊れやすいセレクタやタイミングの問題は、通常のブラウザ自動化と同じく残ります。広い確認より具体的な確認にしてください。
導入と最初の実行
- anthropics/skills から Apache 2.0 で導入します。
- 先にアプリケーションを起動しておきます。想像上ではなく実物を操作するスキルです。
- 確認を、利用者の操作と期待される観察として書かせます。成功したという主張ではありません。
実際によくある質問
- テストスイートの代わりになりますか
- なりません。作業中の検証です。継続的なテストは引き続きリポジトリに置いてください。
- アプリは起動している必要がありますか
- 必要です。実際のアプリケーションを操作するので、サーバーを立ち上げておいてください。
- 何を報告させるべきですか
- 操作と観察です。何を押し、その後に何が出たか。観察のない結論こそ、このスキルが止めたい失敗です。
出典
このページの機械可読版