AOD Group

ヘッダー画像

Mac版Geminiにアプリ操作機能、米国で先行提供

GoogleがMac版「Gemini」アプリに、AIが画面を認識してアプリを操作する「computer use」機能を追加しました。まずは米国で提供が始まり、ユーザーの手を借りずに複雑な作業を代行できるようになります。

何が発表された?

米Googleは11月19日、Mac版Geminiにcomputer use機能を導入したと発表しました。この機能は、AIが画面の情報を認識し、クリックや文字入力、メニュー操作などを実行します。対象はMac内のファイル、デスクトップアプリ、Webサイトなど多岐にわたり、これらをまたいだ作業も任せられます。

作業はバックグラウンドのウィンドウで行われるため、ユーザーは自分の作業を続けながら、チャット画面内のライブプレビューで進捗を確認できます。重要操作の前には必ずユーザーの承認を求め、いつでも一時停止できる設計です。

ここがポイント

  • バックグラウンド動作:画面やカーソルを占有しないため、マルチタスクを妨げません。
  • 安全設計:操作可能なアプリはユーザーが選択し、リアルタイムで監視・承認できる仕組みです。
  • 利用条件:Apple Silicon搭載のMac(macOS Sequoia 15.0以降)で、Google AI Plus/Pro/Ultraのいずれかに加入している18歳以上の個人向けアカウントが必要です。

Googleは、Blenderで3Dモデルを作成しARアプリで動かす例や、PDFから情報を取り出してフォームに入力する例など、具体的な活用シーンを紹介しています。

仕事でどう使う?(使いどころ・裏ワザ)

業務でこの機能を活用するなら、繰り返し発生する定型作業の自動化が狙い目です。例えば、複数のダッシュボードからデータを集め、スライドにまとめる作業や、デザインソフトでの一括色調補正などが挙げられます。

エンジニアの方は、ローカル環境でのテストデータ作成や、複雑な設定ファイルの編集をAIに任せることで、手作業の時間を短縮できる可能性があります。ただし、現在は米国のみで提供されているため、日本から利用するには環境整備が必要です。また、Appleが強化する「フルディスクアクセス」の権限管理に注意し、AIがアクセスできる範囲を適切に制御することがセキュリティ上重要です。

まとめ

Mac版Geminiのcomputer use機能は、AIエージェントの進化を象徴するものです。バックグラウンドでの動作と承認フローにより、利便性と安全性のバランスを取っています。日本での提供時期は未定ですが、今後の展開や他社サービスとの競争が注目されます。業務効率化を目指すビジネスパーソンは、リリース情報を注視しておくのが良さそうです。

参考:Mac版「Gemini」にユーザーの代わりにアプリを操作する「computer use」機能追加 まず米国で(ITmedia AI+ 最新記事一覧)

コメントする

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。

上部へスクロール