生成AIでの翻訳精度は？ChatGPT、GNMT、DeepL、ChatGPT、Gemini、Claudeを比較！

1. 生成AIとは？

1-1. 生成AIの基本的な説明

生成AI（Generative AI）とは、人間のように自然な文章や画像、音声などを「生成」する

人工知能のことです。代表的なツールには、対話型AIの ChatGPT や画像生成AIの DALL·E などがあり、質問への回答、文章の翻訳・要約、企画書の草案作成など、業務のさまざまな場面で活用が進んでいます。

従来のAIは、主に人間が与えたデータをもとに「識別」「分類」「予測」といった処理を行うもので、過去のデータから正解や正解に近いパターンを導き出すのが得意でした。

一方、生成AIは、膨大なデータから文脈やニュアンスを理解し、人間が考えたかのような創造的なアウトプットを生み出す能力に優れています。従来のAIが「正解を選ぶ」ことに強みを持っていたのに対し、生成AIは「新しいものを生み出す」ことに長けており、より柔軟で人間らしいコミュニケーションが可能になっているのが大きな特徴です。

2. 生成AI活用時の注意点

生成AIは便利な一方で、使い方には注意が必要です。

特に翻訳業務では、以下のようなリスクを理解しておくことが大切です。

2-1 セキュリティとプライバシーのリスク

生成AIに翻訳させる際には、機密情報や個人情報を入力しないよう注意が必要です。

一部のAIサービスでは、入力された内容が学習データとして利用される可能性があり、情報漏えいのリスクが伴います。業務で使用する場合は、社内の情報管理ルールや、利用するAIサービスの利用規約を事前に確認することが大切です

3. 翻訳業務での生成AIの活用メリット

生成AIを翻訳に活用することで、業務効率やコスト面でさまざまなメリットが得られます。

3-1 作業時間の短縮

生成AIは高速で翻訳を行えるため、従来の人手翻訳と比べて、短時間で成果物を仕上げることが可能です。

特に大量の文章を扱う場合には、作業時間の大幅な短縮が期待できます。

3-2 コスト削減

翻訳者の作業負担を軽減し、外部翻訳サービスへの依頼回数を減らすことで、翻訳コストの削減につながります。

社内で簡易な翻訳を完結できるようになれば、業務全体の効率化にも寄与します。

3-3 多言語対応の効率化

生成AIは複数言語への同時翻訳にも対応しており、グローバル展開を進める企業にとって大きな支援となります。

海外向けの資料やWebサイトの整備も、従来よりスピーディーかつ柔軟に対応できるようになります。

4.生成AIの翻訳精度とは？

4-1. ニューラル機械翻訳と生成AIでの翻訳のちがい

従来のニューラル機械翻訳（NMT）は、AI（人工知能）を活用し、大量の学習データをもとに最適な訳文を予測する仕組みです。継続的な学習により精度が向上するのが特徴で、文法や語彙の正確さに優れています。

しかし、文書全体の文脈やスタイルを一貫して保つことは難しく、結果として不自然な表現になる場合があります。

一方、生成AIは大規模言語モデル（LLM）をベースにした仕組みで、膨大なテキストデータを学習し、文脈を理解しながら自然な文章を生成します。単語単位ではなく、文章全体の意味や流れを考慮して翻訳するため、人間らしい表現や自然な言い回しが得意です。

ただし、意訳が強すぎて原文の意味が変わってしまうリスクや、専門用語の誤訳が起こる可能性もあるため、用途に応じた使い分けが重要です。

今回、5種類の機械翻訳エンジンについて、各200文をチェックし、「意味理解に大きく影響する重大なエラー」の発生数を比較しました。

4-2. 評価方法の概要

評価方法

弊社開発のLLMを使用した評価ツールを使用した自動評価を行っています。

※今回は翻訳者による評価結果の精査は行わず、機械的に検出した結果のみで比較しています。

評価対象文数

• 各エンジン：200文

チェックしたエラー種別

• 訳漏れ
• 誤訳
• 不自然な訳語
• 文法エラー
• 形式エラー

さらに、上記の中でも意味理解や業務に重大な影響を与えるものを「致命的なエラー」としてAIが再定義しています。

4-3. エラー総数の比較

まずは、各エンジンで検出されたエラー総数を見てみます。

エンジン	エラー総数
Google	80
DeepL	58
ChatGPT	54
Gemini	94
Claude	65

全体的なエラー数が最も少なかったのは ChatGPT、次いで DeepLでした。一方、Geminiは他エンジンと比べてエラー総数が多めという結果です。

これだけ見ると、一番エラーの少ないChatGPTが最善のように思われますが、そうとは限りません。

次にエラーの質を見ていきます。

4-4. エラー種別ごとの傾向

1. 訳漏れ

エンジン	訳漏れ
Google	17
DeepL	20
ChatGPT	31
Gemini	42
Claude	15

ChatGPTとGeminiは訳漏れが多めという結果でした。

特にGeminiは、情報の部分欠落が比較的頻発しており、仕様書・契約書などでは注意が必要です。

2. 誤訳

エンジン	誤訳
Google	23
DeepL	29
ChatGPT	11
Gemini	32
Claude	19

ChatGPTは誤訳数が最も少ない結果となりました。

一方で、DeepLとGeminiは意味取り違え型のエラーがやや多めです。

3. 不自然な訳語

エンジン	不自然な訳語
Google	24
DeepL	5
ChatGPT	6
Gemini	12
Claude	23

DeepLとChatGPTの自然さは際立つ結果です。GoogleやClaudeは、「意味は合っているが日本語として硬い／不自然」というケースが多く見られました。

4. 文法・形式エラー

エンジン	文法エラー	形式エラー
Google	6	7
DeepL	1	1
ChatGPT	1	4
Gemini	2	6
Claude	2	5

文法エラーや形式エラーは全体的に少なく、

現行の主要MTは表層的な文構造にはかなり強いことが分かります。

4-5. 「致命的なエラー」に注目する

次に最も重要な指標、「致命的なエラー」を見てみます。

エンジン	致命的なエラー	200文あたり
Google	8	4%
DeepL	17	8.5%
ChatGPT	14	7%
Gemini	30	15%
Claude	15	7.5%

ここで印象が大きく変わります。

• Googleは総エラー数は多いが、致命的エラーは最少
• Geminiは致命的エラー率が突出して高い
• DeepL、Claude、ChatGPTは表現品質は高いが、致命的エラーが一定数ある

つまり、

表面的な自然さ ≠ 正確性

であることが、数値として現れました。

※本検証はLLM校正ツールによる、AIを用いた機械的な品質チェックの結果を元に算出しています。品質チェック結果自体の検証は行っていないため、実際の品質傾向とは異なる可能性があります。

4-6.おわりに

今回の結果から各ツールの傾向が見えてきました。

特に「自然・正確に訳出されているように見える」場合でも、致命的なエラーが多く潜んでいる可能性があることが分かりました。

生成AIを筆頭に機械翻訳の技術は大きく進歩していますが、特に正確性を担保する必要がある説明書や契約書といった分野では、人の目を通さずに機械翻訳だけで済ませるのは大きなリスクがあると言えるでしょう。

正確性を求めるのであれば、ポストエディターによる確認・および修正は必須と考えられます。

一方で、大まかな意味さえ取れればよいという目的であれば、機械翻訳のみで完結させるというのも考えられます。

翻訳の目的により、最適なフローを構築するのが大切です。