Gemini for AndroidがAIで宿題サポート、詐欺電話の警告表示に対応。動画を全部見ずに質問も可能に

5月15日、ビッグイベントGoogleI/O 2024が開催され、AndroidにおけるGoogle AIのアップデートが発表されました。

アップデートには、かこって検索を使って子どもが行き詰まった宿題をAIでサポートしたり、詐欺被害につながる電話を検出して警告を表示する機能が含まれています。

かこって検索で子どもの宿題をサポート

今年リリースされたばかりの「かこって検索」は、今表示している画面から移動することなく、検索したいものを丸で囲むだけでググれるビジュアル検索機能が利用できます。

今日からは子供が行き詰まった宿題の問題を丸で囲むと、数学や物理など問題を解く方法をステップバイステップでサポートしてくれるようになりました。

Circle to Search now makes for a great study buddy 📝 You can circle complex physics problems on your phone or tablet to get step-by-step instructions to learn how to solve. #GoogleIO pic.twitter.com/nFFW36BwWo

— Google (@Google) May 14, 2024

年内には図やグラフなどを含む複雑な問題にも対応する予定です。

Googleによれば、かこって検索はすでに1億代以上のデバイスで利用できるとのこと。Androidデバイスは世界中で10億超が動作しているので1/10台で利用できる計算です。Googleは対応機種を拡大する予定で、年末までに2倍に到達するとしています。

動画をすべて見ずに知りたい内容だけを確認

Googleが今年リリースしたGeminiアプリでは、画像を生成してもらうことも可能ですが、新たにドラッグ&ドロップでGmailやGoogleメッセージなどに添付することが可能になります。

また、YouTubeの動画を再生中にGeminiを呼び出すると「Ask this Video」が表示されます。

例えば、バスケットボールのルール解説動画を見ているときに「トランジションテイクファールって何？」と聞くと、動画をすべて見ることなくルールを確認することができます。

動画の知りたいところを文字起こしからGeminiが抽出する

PDFから知りたいところをGeminiが抽出する

有料プランのGemini Advancedに加入している場合は、PDFを開いているときに「Ask this PDF」をタップして、知りたい内容をGeminiに聞くとすべてのPDFに目を通すことなく内容を知ることができます。

このAsk this機能は今後数ヶ月かけて順次展開される予定です。

Gemini Nanoにマルチモーダル機能が追加

オンデバイスで動作するGemini Nanoでは、テキスト入力だけではなく、資格・音・話し言葉を通じて、より多くの情報を理解できるようになります。

対応時期は今年後半でPixelを皮切りにと案内されていることから、まずはPixelから提供がスタートし、順次拡大するようです。

イベントでは、弱視や視覚障がいを持つ人が、家族や友だちから送られてきた画像やオンラインショッピングで購入した服の詳細がどういったものかを理解するために、Gemini Nanoを活用するシーンが紹介されました。

詐欺電話を検知して警告表示

1年間の被害額が1兆ドル以上にもなる詐欺被害を減らすためにもGemini Nanoが活用されます。

Googleは詐欺と思われる会話のパターンを検知すると、通話中にリアルタイムでアラートを表示する新機能をテストしており、例えば、銀行の担当者が緊急の振り込み、ギフトカードの支払いを求めたり、カードの暗証番号やパスワードのような個人情報を聞き出そうとしている場合に警告が受け取れます。

この機能はオプトインとして提供され、詳細については年内に説明されるとのこと。

Gemini Nanoが詐欺電話を検出して通知

なお、例年のGoogle I/Oでは、Androidの新機能や変更点も紹介されていましたが、今年はAIに特化した内容に変化しました。明日16日にAndroid 5 ベータ2がリリースされるとのことで、そこで新たな新機能や変更点が紹介されるものと思われます。