Geminiがスマホ操作を代行。「Gemini Intelligence」で予約・買い物・返信までサポート

GoogleがAndroid向けの「Gemini Intelligence」を発表しました。

Gemini Intelligenceは、Geminiが状況を理解して、アプリを横断しながら、必要な情報の提案や作業の自動化を行うAI機能の総称です。

なお、UIにはMaterial 3 Expressiveを発展させた新しいデザイン言語が採用されています。Geminiが聞いて、考え、実行するタイミングを、アニメーションなどでさりげなく表現することで、いま何を任せているのかを把握しやすくします。

複数のアプリを横断して作業を自動化

スマートフォンで面倒なのは、いくつものアプリを切り替えながら操作する場面です。

Gemini Intelligenceでは、こうした複数ステップの作業をGeminiに任せられるようになります。

例えば、メモアプリに買い物リストをまとめている場合、その画面を表示したままGeminiに配送用のショッピングカートを作るよう頼むだけで、リストにある商品をまとめて追加できます。

また、ホテルのロビーなどで気になる旅行パンフレットを見つけたら、写真を撮ってエクスペディアで6人向けの似たツアーを探すよう依頼することも可能です。Geminiはバックグラウンドで作業を進め、進行状況は通知から確認できます。

欲しいウィジェットを自然な言葉で作成

Androidには、自然な言葉で説明するだけでカスタムウィジェットを作成できる「Create My Widget」が追加されます。

これはNothingがNothing Appsとして提供したサービスにかなり似たコンセプトで、欲しいウィジェットがないならAIの力を使って自分で作ればいい、というAI時代を象徴するような機能です。

これまでウィジェットを使うには、自分の目的に合うアプリを探し、そのアプリがウィジェットに対応しているか確認する必要がありました。Create My Widgetでは、欲しい情報や機能を言葉で伝えるだけで、Geminiが専用のウィジェットを生成します。

風速と雨だけを表示する天気ウィジェット、毎週の献立を提案するレシピウィジェットなど、既存アプリでは見つかりにくいニッチなウィジェットも作れるようになります。

Android版ChromeにもGeminiを搭載

今年1月、PC向けChromeにはGeminiを活用したオートブラウジング機能が追加されました。この機能がAndroid版Chromeにも導入されます。

アドレスバーの横に追加されるGeminiボタンを押すと、表示中のページについて質問したり、内容の要約を依頼したりできます。Googleカレンダーにイベントを追加する、Keepにレシピの材料を保存する、Gmail内の情報を検索するといった操作にも対応します。

さらに、スクロール、タップ、テキスト入力などをGeminiが行い、タスク完了まで進めるオートブラウジング機能も導入されます。

例えば、駐車場の予約を忘れたときに、チケット確認メールのイベント情報をもとに近くの駐車場を探したり、ペットの成長に合わせて小犬用フードから成犬用フードへ切り替える必要があるか確認したり、ChromeにChewyの注文内容を更新するよう依頼したりできます。

Android版ChromeへのGemini搭載は、6月下旬から米国で提供開始予定です。Android 12以降を搭載し、RAM 4GB以上の対象デバイスに順次提供されます。なお、オートブラウジング機能の利用には、対象デバイスに加えてGoogle AI ProまたはGoogle AI Ultraへの加入が必要です。

フォーム入力もGeminiでより簡単に

Googleの自動入力機能も、Geminiによって進化します。

GeminiのPersonal Intelligenceを活用することで、AndroidはChromeを含むアプリ内のフォームをこれまで以上に賢く自動入力できるとのこと。

スマホの小さな画面で複雑なフォームに入力するのは大変ですが、今後は、連携済みアプリ内の関連情報をもとに、住所や予定、予約情報などをGeminiが判断し、フォーム入力を補助します。

GeminiとGoogleの自動入力機能の連携は、オプトイン方式です。Geminiと連携するかどうか、いつ連携するかはユーザー自身が選択でき、設定からいつでもオン・オフできます。

話した内容を整った文章にする「Rambler」

AIの進化によって、スマートフォンの文字入力も変わろうとしています。

標準の文字入力アプリ「Gboard」は、すでに高精度な音声入力に対応していますが、話し言葉をそのまま文章にすると、どうしても読みづらくなることがあります。これは話しながら考えをまとめるため、同じことを繰り返したり、言い直したり、えー、あー、その、といった言葉で間を埋めたりするからです。

こうした音声入力の弱点を補うのが、Gemini Intelligenceの新機能「Rambler」です。

Ramblerでは、話し始める前に文章を完璧に組み立てる必要はなく、自然に話すだけで、重要な部分を取り出し、順番を整え、簡潔なメッセージにまとめてくれるとのこと。

複数の言語を混ぜて話す場合にも対応し、Geminiの多言語モデルによって、文脈やニュアンスを理解しながら、話している人らしさを残したまま、より読みやすい文章に仕上げることができます。

今夏からGalaxyとPixelに順次提供

Gemini Intelligenceは今夏より、最新のSamsung GalaxyおよびGoogle Pixelスマートフォンから段階的に提供が開始されます。

その後、スマートウォッチ、車、スマートグラス、ノートPCなど、Androidデバイス全体へ順次拡大される予定です。