機械翻訳(自動翻訳)エンジン品質評価事例

株式会社クロスランゲージ様

翻訳
機械翻訳

自社の機械翻訳エンジンの品質について、客観的な評価を知ることができ、今後の開発の方針を検討するのに役立てています。

機械翻訳(自動翻訳)エンジン品質評価事例

株式会社クロスランゲージ様からのご要望

クロスランゲージ様は、翻訳ソフト及びシステム・ソリューションを提供されているソフトウェア会社です。30年近く前から機械翻訳ソフトを開発、販売されており、日本でも有数の機械翻訳エンジンメーカーとして、最新技術を取り入れながらさまざまなソリューションを提供されています。


<機械翻訳エンジンの開発・販売において抱えていた課題>

・製品を開発しながら社内で品質評価しているので工数がかかる。

・評価に説得力を持たせるため、「当社調べ」ではなく、
 中立的な立場からの客観的な評価結果が知りたい。

・評価対象の原文の選定や訳文の評価についても、自社の基準ではなく、
 外部に依頼することにより、客観的な評価を実施したい。


従来は機械翻訳エンジンの品質評価を自社で行われていましたが、開発と並行しながら評価するのはかなり工数がかかってしまう状況でした。また、「当社調べ」の評価結果だと説得力に欠けるということで、評価対象の原文を選定するところから外部業者に依頼し、完全なブラインドテストを行いたいというご要望をお持ちでした。


そこで弊社では、独自のエンジンを開発していない中立的な立場として、クロスランゲージ様の製品の訳文品質を評価させていただき、分析結果を品質評価レポートとしてまとめてご報告させていただきました。

 

ヒューマンサイエンスのソリューション

  • 1. 8言語ペア(日英、英日、日中、中日、日韓、韓日、日タイ、タイ日)の
     訳文を出力、独自の基準で品質評価

  • 2. 品質評価結果を詳細にまとめたレポートをご提出

     

    8言語ペア(日英、英日、日中、中日、日韓、韓日、日タイ、タイ日)について、それぞれ訳文を出力し、機械翻訳結果の品質評価を実施しました。


    評価については、弊社独自の評価基準をベースに、クロスランゲージ様のエンジンを導入されるお客様の用途や、品質について重視されるポイントなどを加味して調整しました。

    その上で、その分野に適した各言語のネイティブ翻訳者2名による機械翻訳の出力結果の評価を実施しました。


    また、工夫をした点のひとつに、評価対象の原文の抽出があります。

    機械翻訳エンジンによって、得意な分野、文型などが異なるため、恣意的に選ばれた原文を評価しては、完全に客観的な評価であるとは言えません。

    そこで、公正を期すため、数千~数万文ある原文データの中から、弊社で開発したツールを使って無作為に抽出し、訳文の出力まで行いました。


    評価結果については、正確さ、流暢さ、文法、用語といった複数の観点での詳細な評価を実施し、具体的なエラー例や例文をあげながら各社の特徴を分析した評価結果をレポートにまとめました。


     

    お客様の声

    外部の業者に品質評価を依頼したのは今回が初めてでした。おおむね想定内の評価ではありましたが、自社エンジンの強みや改善点、得意分野など客観的に把握できたのは大いに参考になりました。

    第三者の評価結果はやはり社内的にもインパクトが大きく、開発の方針を検討するのに役立てることができそうです。


    自社の強みをさらに活かし、改善点については改良することで、機械翻訳品質のさらなる精度向上に取り組んでいきたいと考えています。また、今後はユーザーにも今回のレポートを参考資料として紹介するといった用途も考えています。


    評価結果に一喜一憂せず、この評価をスタートラインとして改善に取り組み、アップデートのタイミングなどで定期的に品質評価を実施する予定です。将来的には、より詳細にエラー数の傾向を分析した評価なども依頼できればと考えています。

    ヒューマンサイエンス担当者から

    IMG_2928

    独自のエンジンを開発していない中立的な機械翻訳コンサルタントとしての立場から、エンジンメーカー様の製品の品質評価をお手伝いさせていただいた事例です。


    これまで自社で実施されていた品質評価を外注化されるというのはクロスランゲージ様にとって初めての試みであり、また、今後の開発の方針を検討するにあたっての重要な位置付けのプロジェクトであるということで、大変大きな責任を感じながら取り組ませていただきました。


    弊社の機械翻訳の品質評価サービスをご利用いただくのは機械翻訳の導入を検討される企業が多いですが、今回のようにエンジンメーカー様からのご依頼で品質評価を実施するケースもございます。弊社で実施した品質評価結果を、今後の機械翻訳エンジンの開発にお役立ていただけるということで、弊社としても大変やりがいを感じております。


    クロスランゲージ様は、今後も製品がアップデートされるタイミングなどで、定期的に評価に取り組まれる予定です。


    今後も機械翻訳コンサルタントとして、中立的な立場から情報交換や品質評価をさせていただくことで、お客様の製品開発、販売の一助となることを強く願っております。

     

    関連サービス

    翻訳サービス

    機械翻訳・自動翻訳

  •  

    お問い合わせ・資料請求

    TOP