iOS 27のカメラに新しい「Siriモード」追加。料理を撮って栄養情報を確認、レシートで割り勘も

Appleが、目の前にあるものをApple Intelligenceで詳しく調べられる「Visual Intelligence（ビジュアルインテリジェンス）」の大幅な強化を発表しました。

カメラアプリには新しいSiriモードが追加され、iPhoneを向けたものをSiriが認識し、その場で役立つ情報や次にできる操作を表示します。

年内にベータ版が提供されるSiri AIの対応機種では、レストランの会計を友だちと割り勘したり、料理を撮影して栄養情報を確認したりすることが可能になります。なお、割り勘機能はApple Cashとの連携を前提としているため、日本では利用できません。

目の前のものをSiriが調べてくれる

新しいSiriモードでは、調べたいものにカメラを向けて、シャッターボタンをタップするだけで、Siriが対象物を認識して、役立つ情報を表示してくれます。

Appleのデモでは、クリケットのボールを撮ると、芯のコルクに糸をきつく巻きつけて、革ので覆って作られることや、盛り上がった縫い目がボールの軌道に変化を生み出すといった回答が表示されました。

さらに詳しく知りたい場合は、回答画面を下に引っ張って、続けて質問して深掘りすることもできます。

Siriモードでは、見えているものに応じたアクションも表示されます。

Appleのデモでは、レストランのレシートにカメラを向けて、自分が注文したものを選び、Apple Cashを使って友だちと会計を分ける機能や、料理を撮影して栄養情報を確認する機能が紹介されました。ほかにも、物理カードを読み取ってウォレットアプリに追加することもできます。

こうした高度な画像理解には、Apple Intelligenceの基盤モデルであるApple Foundation Modelsと、プライベートクラウドコンピューティングが活用されます。Appleは、ユーザーのデータを保存せず、リクエストの処理にのみ使うことで、プライバシーを保護すると説明しています。

カメラ内のSiriモードにおける高度な画像理解は、Apple Intelligenceの基盤モデルのApple Foundation Modelsとプライベートクラウドコンピューティングを活用して処理されます。ユーザーのデータを保存せず、リクエストの処理にのみ使うことで、プライバシーを保護すると説明しています。

Siri AIは、ベータ版として年内に提供される予定です。ただし、まずは対応デバイスを英語設定で利用するユーザーが対象となり、他の言語への対応は順次拡大されます。