Google開発AI翻訳評価指標「MetricX-24」とは？機能と特徴を解説

1. AI翻訳評価の現状と課題

AI翻訳の品質評価には、従来から自動評価指標が用いられてきました。これらの指標は主に、人間が作成した参照翻訳とAIによる翻訳結果を比較し、単語や文字の一致度を数値化する手法（例：BLEU）が一般的でした。しかしながら、近年の高度なAI翻訳システム、特にLLM（大規模言語モデル）ベースの翻訳においては、意味の正確性や文脈の適切さを十分に評価できないという課題が指摘されています。

この課題に対応するため、人間の評価データを学習し、より高精度な品質評価を実現する「学習型」の自動評価指標が開発されています。

BLEUスコアについて詳しくは以下の記事をご覧ください。

BLEUスコアとは？基本的な意味から活用法を分かりやすく解説

2. MetricX-24の概要と主要機能

MetricX-24とは、Googleが開発した学習型AI翻訳評価指標です。以下の3つの特徴があります。

2-1. 柔軟な評価モード

MetricX-24は、ハイブリッド型の評価システムとして設計されています。

・参照ベースモード：参照翻訳が利用可能な場合、それとの比較により品質を評価
・品質推定（QE）モード：参照翻訳が存在しない場合でも、原文と翻訳結果のみで品質評価が可能

この仕組みにより、参照翻訳の準備が困難な場合でも品質評価を実施できます。

2-2. 高精度なエラー検出機能

MetricX-24は、AI翻訳に特有の以下のようなエラーパターンを高精度で検出するよう設計されています。これらのエラーは、従来の評価方法では見過ごされやすく、ビジネス文書においては重要な問題となるおそれがありました。

• ・翻訳漏れ：情報の一部が翻訳されていない状態です。
• ・重複：同一内容が複数回翻訳されている状態です。
• ・句読点の欠落：句読点（コンマ、ピリオド、疑問符など）が翻訳後に欠落している状態です。
• ・流暢だが無関係な翻訳：翻訳された文章は文法的にも自然で流暢に見えますが、元の内容とは全く異なる、あるいは無関係な意味になってしまっている状態です。

2-3. 広範な言語ペアへの対応と高い評価精度

MetricX-24は、多様な言語ペアの人間評価データを基に学習されており、幅広い言語ペアにおいて安定した性能を発揮します。WMT24 Metrics Shared Taskの結果においても、BLEUのような従来の評価指標が20位以下となる中、MetricX-24はトップにランクインし、その有効性が実証されています。
WMT24について詳しくは以下の記事をご覧ください。

AIがAIを評価する時代～機械翻訳品質評価の最前線をWMT24レポートで読み解く～

3. MetricX-24のスコアの読み方：0から25まで

MetricX-24は、機械翻訳の品質を0から25までの浮動小数点数で評価します。0はエラーが全く検出されない完璧な翻訳を示し、スコアが25に近づくほど、より多くのエラーや深刻な問題があることを示します。翻訳文のスコアが5未満であれば、大きな問題は含まれないと考えられます。一般的に「スコアが高いほど良い」とされる他の評価指標（BLEUなど）とは逆なので、利用時には注意が必要です。

4. 従来の評価指標との比較

従来のBLEU指標は、翻訳品質が少し改善しただけではスコアがほとんど動かない、という問題がありました。一方、MetricX-24は、人間が気づくような僅かな品質の差も敏感に検知し、スコアに反映させます。これにより、翻訳品質の向上を的確に判断できるようになります。

5. まとめ

AI翻訳の品質評価は従来BLEUなどの自動指標が主流でしたが、意味や文脈の正確さを十分に測れない課題がありました。Googleが開発した「MetricX-24」は、人間の評価データを学習した学習型指標で、参照翻訳の有無に応じた柔軟な評価モードや、翻訳漏れ・重複・句読点欠落・無関係な翻訳などのエラー検出機能を備え、多言語ペアに対応し高精度な評価が可能です。MetricX-24の登場により、AI翻訳の品質管理がより現実的かつ信頼性の高いものとなりました。今後は、AI翻訳の導入や運用において、MetricX-24のような先進的な評価指標を活用することで、翻訳品質の担保や改善が一層進むことが期待されます。

ヒューマンサイエンスではLLM・機械翻訳を活用したMTrans for Officeを提供しております。14日間の無料トライアルで、品質と使い勝手をお試しください。

MTrans for Officeの特長

1. ① 翻訳できるファイル数、用語集に制限はなく定額制
2. ② Office製品からワンクリックで翻訳できる！
3. ③ API接続でセキュリティ面も安心
   ・さらに強化したいお客様にはSSO、IP制限などもご提供
4. ④ 日本企業による日本語でのサポート
   ・セキュリティチェックシートへの対応も可能
   ・銀行振込でのお支払いが利用可能

 

Officeかんたん翻訳ソフトMTrans for Officeとは