Geminiを使ったGoogle翻訳の「ライブ翻訳」が日本上陸。AirPodsと使い比べて自然さに驚いた

Googleが、Google翻訳アプリの「ライブ翻訳」の提供を日本でも開始しました。

昨年12月にベータ版が提供されていましたが、提供を拡大し、日本でもAndroidとiPhoneの両方で利用できるようになりました。

Geminiの新しい音声対訳が活用することで、言葉のニュアンスを残したリアルタイム翻訳をイヤフォンを通じて聞くことができます。

声のトーンまで再現するライブ翻訳

従来の音声翻訳は、「音声→テキスト化→翻訳→音声合成」という手順を踏んでいました。この過程で失われるのが、言葉のニュアンスです。

怒鳴っているのか囁いているのか、早口で捲し立てているのかゆっくり諭すように話しているのか——こういった情報は、いったんテキストに変換された時点でほぼ消えてしまいます。

携帯総合研究所の生成AIを活用した記事の読み上げ機能を試した方もいるかと思いますが、どことなく感じるAI感の正体は、ニュアンスが乏しいことが原因です。

こうした不自然さを解消するためにGoogleがライブ翻訳に採用したのは、Geminiの音声対訳（speech-to-speech translation）という技術です。詳細は明かされていませんが、Googleによれば、話者のイントネーション・ペース・ピッチを保ったまま翻訳できるとのこと。

ニュアンスを保ったまま翻訳する

AirPodsのライブ翻訳との比較

実際にGoogle翻訳とAirPodsのライブ翻訳を使い比べてみましたが、その差は歴然でした。

AirPodsのライブ翻訳は声のニュアンスが失われ、フラットな声で読み上げられる一方、Googleのライブ翻訳は興奮した様子や説得力を増す落ち着いたトーンも見事に再現されます。

両者の思想の違いも現れています。AirPodsのライブ翻訳は、事前に言語データのダウンロードが必要ですが、Googleのライブ翻訳はダウンロード不要で、その場からすぐ使い始めることができました。つまり、ネット接続が必要で、圏外になると翻訳はストップします。

セキュリティやプライバシーを重視するなら、オンデバイスで動作するAirPodsのライブ翻訳が優れています。

一方、街で話しかけられたときなど、その場でとっさに使いたいのであれば、ダウンロード不要のGoogleのライブ翻訳が便利。使用するイヤホンも限定されていません。

ライブ翻訳の使い方

使い方はシンプルで、イヤフォンをしてGoogle翻訳アプリを起動し、「ライブ翻訳」をタップするだけ。海外旅行での会話や駅のアナウンスの聞き取りはもちろん、海外メーカーの新製品発表会でも活躍しそうです。

今回はMade by GoogleとAppleのスペシャルイベントのリプレイで使ってみましたが、機会があれば実際の取材でも試してみたいと思います。