【検証】機械翻訳の品質って実際どうなの？

「機械翻訳でどれくらいの品質の翻訳ができるの？」
というご質問は、機械翻訳を検討中のお客様から
よくいただくご質問の一つです。
いくら機械翻訳でコストが削減できるといっても、
品質が使いものにならなくては、意味がありませんよね。

そこで、今回は弊社が実際に行った、
サンプルプロジェクトでの機械翻訳の品質評価結果をご紹介します。

サンプルプロジェクトの概要

• 時期：2013年10月
• 翻訳対象：エンドユーザー向け事務機器取扱説明書
• 翻訳言語：英語からフランス語、イタリア語、ドイツ語、スペイン語
• 使用したエンジン：Moses（海外製 市販の統計ベースエンジン）
• 統計ベースのエンジンに読み込ませたコーパス：約50万ワード

※同シリーズの過去の翻訳メモリーを使用

翻訳の評価基準

まず統計ベースのエンジンに、翻訳対象と同製品群の過去の翻訳メモリー約50万ワード
をトレーニングしました。
トレーニングとは、過去の翻訳データをエンジンに読み込ませて、文法ルールや用語を
学習させる作業のことです。
そして、トレーニングしたエンジンを使って機械翻訳した結果から、
ランダムに300文を抽出し、各言語のネイティブ翻訳者2名により評価しました。

その結果をまとめたグラフがこちらです。

グラフのブルーの部分が「品質が良い（Excellent／Good）」文章の占める割合、
グレーの部分が「品質が悪い（Medium／Poor）」文章の占める割合です。

いかがでしょう？全ての言語でブルーの部分が占める割合が大きく、
かなり良い品質というのがお分かりいただけるかと思います。

ブルーの部分の文章は、機械翻訳した結果をそのまま、
もしくは少量の修正で使用できる品質なので、
翻訳者が全てを一から翻訳するよりも、効率的に翻訳が行えるということになります。

プロジェクトに適したエンジンを選んだり、
ワークフローを構築したりというポイントをおさえれば、
このように機械翻訳でも高い品質を出すことが可能です。

ぜひお気軽にお問い合わせください。

 
 

 

ブログ執筆担当

徳田 愛

・機械翻訳コンサルタントとして、日本企業に向けた
機械翻訳導入やプロセス構築のコンサルティングを行う。
・多言語翻訳を左右する原文品質を重要視し、
和文ライティング工程も担当機械翻訳に適した
マニュアル作成のコンサルティングも実施。
・機械翻訳関連の以下の発表も担当。
– 2013年　第23回JTF（一般社団法人日本翻訳連盟）翻訳祭
「多言語における機械翻訳へのアプローチ
～評価とプロセスの観点から～」講演
– 2014年　AAMT（アジア太平洋機械翻訳協会）機械翻訳フェア
「機械翻訳を使いこなす～品質と生産性の向上のために～」