何が起きたか
Anthropic のデスクトップアプリが、動画とコメントを用いてユーザーの操作を反復可能な指示に変換できるようになりました。
なぜ重要か
この変更により、「語るより見せる」方法で AI を訓練することが可能になり、タスク自動化の参入障壁が下がります。これは、専門的な業務フローへのアシスタント導入を大幅に加速させる可能性があります。
Anthropic 社のデスクトップアプリ「Claude Cowork」が更新され、ユーザーが特定のタスクを実行している間の画面を記録できるようになりました。メディア「The Decoder」の報道によると、ユーザーはこの記録に、動作の手順を説明する音声コメントを追加することができます。
記録が完了すると、システムは映像と音声トラックを分析し、再利用可能なスキルへと変換します。この仕組みは、コード記述やテキストによる指示作成を必要とせず、人間から人工知能へ複雑なワークフローを伝達することを簡素化することを目的としています。
この機能は、テキストベースの対話から、AI がオペレーターの行動例から直接学習するデモンストレーション型教育への移行を示すものです。これにより、これまで一歩ずつの詳細な記述を必要としていた定型業務の迅速な自動化が可能になります。
確認済みの事実
- Anthropic がデスクトップアプリ Claude Cowork を更新した。
- 新機能により、タスク実行中の画面を記録できる。
- ユーザーは記録に音声コメントを追加できる。
- システムは記録とコメントを変換し、再利用可能なスキルを作成する。
- Информация опубликована изданием The Decoder 21 июля 2026 года.
背景
コンピューター使用機能（computer use）の発展は、現代の大規模言語モデル開発における主要なトレンドです。以前の此类のシステムは明確なテキストコマンドを必要としていましたが、新しいアプローチは視覚的インターフェースと音声のマルチモーダルな知覚に依存しています。
未解決の点
- 複雑なインターフェースにおいて、ユーザーの意図を認識する精度はどの程度か？
- この機能はすべての種類のオペレーティングシステムで利用可能になるか？
- 記録中にカメラの視野に入ってしまうデータの機密性はどのように確保されるか？
AI分析
音声解説付きの画面記録の導入は、スキルプログラミングから其自然な実演へと焦点をシフトさせる戦略を示唆しています。これにより、技術的スキルを持たないユーザーにとって AI エージェントがよりアクセスしやすくなる可能性がありますが、システムが行動の文脈を誤って解釈した場合、ユーザーの誤りを再現するリスクも生じます。
AIによる戦略的結論
おそらく、特定の企業タスク向けにユーザー生成のスキルライブラリが増加する結果となるでしょう。次に観測される兆候は、このようにして作成されたスキルを編集・デバッグするためのツールの登場です。主な不確実性としては、追加の指示なしに、モデルが示された行動をわずかに異なる条件へ一般化できる能力が残されています。