【実績】株式会社クロスランゲージ様:機械翻訳エンジン品質評価
「自社の機械翻訳エンジンの品質について、客観的な評価を知ることができ、今後の開発の方針を検討するのに役立てています。」
株式会社クロスランゲージ様からのご要望
クロスランゲージ様は、翻訳ソフト及びシステム・ソリューションを提供されているソフトウェア会社です。30年近く前から機械翻訳ソフトを開発、販売されており、日本でも有数の機械翻訳エンジンメーカーとして、最新技術を取り入れながらさまざまなソリューションを提供しています。
従来は機械翻訳エンジンの品質評価を自社で行っていましたが、開発と並行しながら評価するのは多くの工数が必要な状況でした。
また、「当社調べ」の評価結果だと説得力に欠けるということで、評価対象の原文を選定するところから外部業者に依頼し、完全なブラインドテストを行いたいというご要望をお持ちでした。
そこで弊社では、独自のエンジンを開発していない中立的な立場として、クロスランゲージ様の製品の訳文品質を評価し、分析結果を品質評価レポートとしてまとめてご報告させていただきました。
ヒューマンサイエンスのソリューション
8言語ペア(日英、英日、日中、中日、日韓、韓日、日タイ、タイ日)について、それぞれ訳文を出力し、機械翻訳結果の品質評価を実施しました。
評価については、弊社独自の評価基準をベースに、クロスランゲージ様のエンジンを導入されるお客様の用途や、品質について重視されるポイントなどを加味して調整しました。
その上で、その分野に適した各言語のネイティブ翻訳者2名による機械翻訳の出力結果の評価を実施しました。
工夫をした点のひとつに、評価対象の原文の抽出があります。機械翻訳エンジンによって、得意な分野、文型などが異なるため、恣意的に選ばれた原文を評価しては、完全に客観的な評価であるとは言えません。
そこで、公正を期すため、数千~数万文ある原文データの中から、弊社で開発したツールを使って無作為に抽出し、訳文の出力まで行いました。
評価結果については、正確さ、流暢さ、文法、用語といった複数の観点での詳細な評価を実施。具体的なエラー例や例文をあげながら各社の特徴を分析した評価結果をレポートにまとめ、報告会にて評価・分析結果を共有いたしました
お客様の声
外部の業者に品質評価を依頼したのは今回が初めてでした。おおむね想定内の評価ではありましたが、自社エンジンの強みや改善点、得意分野など客観的に把握できたのは大いに参考になりました。
第三者の評価結果はやはり社内的にもインパクトが大きく、開発の方針を検討するのに役立てることができそうです。
自社の強みをさらに活かし、改善点については改良することで、機械翻訳品質のさらなる精度向上に取り組んでいきたいと考えています。また、今後はユーザーにも今回のレポートを参考資料として紹介するといった用途も考えています。
評価結果に一喜一憂せず、この評価をスタートラインとして改善に取り組み、アップデートのタイミングなどで定期的に品質評価を実施する予定です。将来的には、より詳細にエラー数の傾向を分析した評価なども依頼できればと考えています。
ヒューマンサイエンス担当者から
独自のエンジンを開発していない中立的な機械翻訳コンサルタントとしての立場から、エンジンメーカー様の製品の品質評価をお手伝いさせていただいた事例です。
これまで自社で実施されていた品質評価を外注化されるというのはクロスランゲージ様にとって初めての試みであり、また、今後の開発の方針を検討するにあたっての重要な位置付けのプロジェクトであるということで、大変大きな責任を感じながら取り組ませていただきました。
弊社の機械翻訳の品質評価サービスをご利用いただくのは機械翻訳の導入を検討される企業が多いですが、今回のようにエンジンメーカー様からのご依頼で品質評価を実施するケースもございます。
弊社で実施した品質評価結果を、今後の機械翻訳エンジンの開発にお役立ていただけるということで、弊社としても大変やりがいを感じております。
クロスランゲージ様は、今後も製品がアップデートされるタイミングなどで、定期的に評価に取り組まれる予定です。
今後も機械翻訳コンサルタントとして、中立的な立場から情報交換や品質評価をさせていただくことで、お客様の製品開発、販売の一助となることを強く願っております。
関連サービス
最新記事
- 【報告】「機械翻訳導入に失敗する企業、成功する企業」セミナーを開催しました 2018年5月29日
- 【報告】「機械翻訳導入時のエンジン選定の進め方とポイント」セミナーを開催しました 2018年5月11日
- 【報告】「機械翻訳導入支援セミナー ~パイロットプロジェクトの進め方とポイント~」を開催しました 2018年1月12日
- 【告知】12月13日に「機械翻訳導入支援セミナー ~パイロットプロジェクトの進め方とポイント」を開催します 2017年11月27日
- 【報告】TCシンポジウム2017(京都開催)で発表しました 2017年10月30日
- 【報告】TCシンポジウム2017(東京開催)で発表しました 2017年9月4日
- 【告知】8月24日にTCシンポ東京で発表します 2017年8月10日
- 【ノウハウ】ポストエディットの国際規格(ISO 18587) 2017年7月31日
- 【報告】「働き方改革を実現するための機械翻訳導入支援セミナー」を開催しました 2017年6月30日
- 【事例】機械翻訳導入へのハードル~関係者間での合意形成~ 2017年6月9日
- 【市場動向】機械翻訳導入による業務改善の効果 2017年5月15日
- 【ノウハウ】ポストエディターに求められる能力とは? 2017年4月6日
- 【事例】機械翻訳導入へのハードル ~エンジン導入と用語集作成の課題解決~ 2017年3月3日
- 【報告】「機械翻訳活用事例セミナー」を開催しました 2017年2月20日
- 【報告】JTF翻訳祭でニデック様と共同発表しました 2017年2月8日
- 【検証】ニューラルネットワークのMTエンジンの精度は? 2017年1月28日
- 【告知】1/26に「機械翻訳活用事例セミナー」を開催します 2016年12月22日
- 【市場動向】ニューラルネットワークの機械翻訳への活用 2016年12月19日
- 【機械翻訳エンジン】セキュリティの違い~クラウド vs オンプレミス~ 2016年12月5日
- 【告知】11/29の翻訳祭にて「国内医療機器メーカーによる機械翻訳活用事例」を発表します 2016年11月2日
- 【報告】TCシンポジウム2016(京都開催)で発表しました 2016年11月1日
- 【報告】「機械翻訳エンジン選定セミナー」を開催しました 2016年10月12日
- 【報告】TCシンポジウム2016(東京開催)で発表しました 2016年9月27日
- 【告知】CEATEC JAPAN 2016でセミナーを行います 2016年9月14日
- 【市場動向】コンテンツ・言語により目標品質を変えるのが今のトレンド 2016年8月31日
- 【終了】【告知】8月25日にTCシンポ東京で発表します 2016年8月4日
- 【終了】【告知】9月8日に「エンジン選定セミナー」を開催します 2016年7月29日
- 【ノウハウ】ポストエディットでの修正観点は? 2016年7月15日
- 【報告】「日英機械翻訳セミナー」を開催しました 2016年7月11日
- 【告知】機械翻訳セミナー動画を公開しました 2016年6月29日
- 【エンジン】トレーニングにかかる時間 2016年6月24日
- 【事例】日英機械翻訳でコストと翻訳期間を約40%削減! 2016年5月30日
- 【報告】「翻訳コストを27%削減!機械翻訳導入セミナー」を開催しました 2016年5月29日
- 【終了】【告知】6月16日(木)に「日英機械翻訳セミナー」を開催します 2016年5月16日
- 【ノウハウ】機械翻訳エンジン+翻訳支援ツールでさらなる効率化を 2016年5月10日
- Googleなど無料の機械翻訳と有料の機械翻訳の違い② 2016年4月22日
- 【市場動向】人間を超える?人工知能によるデータ処理 2016年3月25日
- 【報告】「比較のポイントがわかる!機械翻訳エンジン選定セミナー」を開催いたしました 2016年3月14日
- 【終了】【告知】「翻訳コストを27%削減!成功事例に学ぶ ドキュメント翻訳への機械翻訳導入ノウハウ」を開催します 2016年3月7日
- Googleなど無料の機械翻訳と有料の機械翻訳の違い① 2016年2月29日
- 【市場動向】隣の会社はどうしている?~アンケートから見えてくる機械翻訳導入の実際~ 2016年2月1日
- 【事例】国内企業様向け 「翻訳・機械翻訳に適した英文作成セミナー」 2016年1月25日
- 【告知】「比較のポイントがわかる!機械翻訳エンジン選定セミナー」を開催します 2016年1月20日
- 【ノウハウ】訳文の品質向上~例文で見るプリエディットの効果~ 2015年12月24日
- 【事例】最適なエンジン選定によりコスト37%削減、翻訳期間50%短縮を実現 2015年12月1日
- 【報告】TCシンポジウム2015(京都)で発表いたしました ~内容をちょっとご紹介~ 2015年11月10日
- 【報告】TCシンポジウム2015で発表いたしました 2015年9月18日
- 【ノウハウ】コーパスはどれくらいの分量があれば良いの? 2015年8月27日
- 【エンジン】最適な機械翻訳エンジンの選び方 2015年8月18日
- 【告知】隣の会社はMTをこう使っている~機械翻訳活用企業に学ぶ導入と運用のポイント~ 2015年8月3日
- 【報告】第3回機械翻訳セミナーを開催いたしました 2015年7月8日
- 【報告】5月28日に機械翻訳セミナーを開催いたしました 2015年6月4日
- 【検証】機械翻訳の品質って実際どうなの? 2015年4月1日
- 【報告】第2回機械翻訳セミナーを開催いたしました 2015年3月27日
- 【告知】TAUS Executive Forum in Tokyo 2015で発表します 2015年3月13日
- 【事例】コスト15%削減に成功 ~医療機器メーカー取扱説明書~ 2015年3月4日
- 【ノウハウ】品質、どこまで求める?ポストエディットの設計基準 2014年9月22日
- 【ノウハウ】機械翻訳しやすい原文に!プリエディットによる品質向上 2014年8月26日
- 【エンジン】数値化で確実に!機械翻訳エンジンの品質評価 2014年7月24日