翻訳技術は日々進化しており、新たな機能やアルゴリズムが定期的に導入されています。しかし、どのツールが最も優れたパフォーマンスを発揮するのでしょうか？
今回は、製造（FA）業やIT関連の技術文書を対象に、ChatGPTとDeepLの翻訳精度を比較してみたいと思います。さらに、両者のポストエディットの負荷を評価し、どちらがより少ない負荷で済むかを検証します。
製造業やIT関連の技術文書の翻訳は、一般的な翻訳よりも難しく、高度な専門知識と正確性が求められます。さらに、通常の文章とは異なるテクニカルライティングのルールに厳密に従う必要があります。今回、ChatGPTとDeepLがこれらの高い基準や条件を満たすかどうかを確かめるのは興味深い点です。
ポストエディットの負荷は、以下の5段階で評価します。
| ★ | 非常に軽微な負荷（意味も文法も問題ないため、人間の修正が不要。） |
|---|---|
| ★★ | 軽微な負荷（意味は正しいが、より自然な英語にするためにわずかな修正が必要。） |
| ★★★ | 中程度の負荷（意味は伝わるが、自然な表現にするための複数の修正が必要。） |
| ★★★★ | 重い負荷（文全体の意味は伝わるものの、複数の意味合いや文法の修正が必要。） |
| ★★★★★ | 非常に重い負荷（文法や構成に問題があり、意味が伝わりにくい部分があるため、大幅な修正が必要） |
5つのポイントとは？
1. 検証①：シンプルな構成の文章
まずは、構成がシンプルな文章から試してみます。
ちなみに、今回のすべての検証において、ChatGPTには特別な指示やプロンプトを追加せず、単に「この文章を英訳して」という基本的な指示だけで翻訳をしました。
最初の例文の結果は以下の通りです。
| 原文 | DMI端子はサービスマンがメンテナンスのために使用します。このコネクターに接続しないでください。 |
|---|---|
| ChatGPT | DMI ports are used by service personnel for maintenance purposes. Please do not connect to this connector. |
| DeepL | The DMI connector is used by service personnel for maintenance. Do not connect to this connector. |
上記の結果に基づいて、ポストエディットを行う際のポイントは以下の通りです。（※ポストエディットのレベルは基本的にフルエディットの基準に準じます。）
| ポストエディットのポイント | |
|---|---|
| ChatGPT | DeepL |
| ・「DMI ports are」を「The DMI terminal is」に変更する ・「service personnel」の前に定冠詞を付ける ・「maintenance purposes」は冗長なので「purposes」を削除する ・「Please」は不要なので削除する ・原文に目的語がないことが原因であるが、他動詞である「connect」の後ろに「any device」を入れる（※システム的に対応が不可能なため、評価の対象とはならない） |
・「connector」を「terminal」に変更する ・「service personnel」の前に定冠詞を付ける ・原文に目的語がないことが原因であるが、他動詞である「connect」の後ろに「any device」を入れる。（※システム的に対応が不可能なため、評価の対象とはならない） |
| ポストエディットの負荷 | |
| ★★★ | ★★ |
DeepLの翻訳は、ポストエディットの負荷が少ない点で優れていると感じます。一方、ChatGPTの訳文には「purposes」や「please」などの不要な表現が多く含まれている印象があります。また、ChatGPTの訳文は、「ports」や「purposes」のように基本的に複数形を使用する傾向があるため、文脈によっては修正が必要です。
人手翻訳の場合は以下のようになります。また、比較のために、上記のポストエディットの前の ChatGPTとDeepLの翻訳結果も併せて並べました。
| 原文 | DMI端子はサービスマンがメンテナンスのために使用します。このコネクターに接続しないでください。 |
|---|---|
| 人手翻訳 | The DMI terminal is used by the service personnel for maintenance. Do not connect any device to this connector. |
| ChatGPT | DMI ports are used by service personnel for maintenance purposes. Please do not connect to this connector. |
| DeepL | The DMI connector is used by service personnel for maintenance. Do not connect to this connector. |
ちなみに、「connect」の後ろに「any device」を追加するのは、人手翻訳ならではの工夫です。もし「このコネクターに接続しないでください」という文をそのまま「Do not connect to this connector」と訳すと、「connect」が他動詞であるため、目的語が欠けていることにより不自然な文章になります。
機械翻訳やAI翻訳では原文で省略された情報を解釈して正確に翻訳することはほぼ不可能です。日本語の技術文書では、よく主語や目的語が省略されるため、機械翻訳やAI翻訳を利用し日英翻訳を行う際には、この点に留意する必要があります。
2. 検証②：シンプルな構成の文章
もう一つ、シンプルな構成の文章を試してみます。
| 原文 | なお、オプションライセンスの設定は２つの方法がございますので、いずれかを実行してください。 |
|---|---|
| ChatGPT | Please note that there are two methods available for setting up the optional license. Please proceed with either one. |
| DeepL | Please note that there are two ways to set up an optional license. |
| ポストエディット（フルエディット）のポイント | |
|---|---|
| ChatGPT | DeepL |
| ・「Please note」は不要 ・形式主語（「there」）はテクニカルライティングの観点からできれば避ける ・原文が「ください」なので、英訳でも適切に命令形を使用する ・2か所の「Please」は不要 ・文章が二つに分かれているが、内容が複雑ではないので、1文にまとめる 上記の理由から、部分的な修正ではなく、全体を書き直す必要あり |
・「Please note」は不要 ・形式主語（「there」）はテクニカルライティングの観点からできれば避ける ・原文が「ください」なので、英訳でも適切に命令形を使用する ・「いずれかを実行してください」の意味が明確に示されていない ・上記の理由から、部分的な修正ではなく、全体を書き直す必要あり |
| ポストエディットの負荷 | |
| ★★★★ | ★★★★ |
ChatGPTとDeepLの翻訳結果について、気になる点が2つあります。まず、原文が「ください」となっているにもかかわらず、命令形で訳されていないことです（もちろん、「ください」を必ず命令形で訳す必要があるわけではありませんが）。そしてもう一点は、両方の翻訳で「please note」が使われていることです。たしかに、間接的に「ご留意・ご注意ください」という意味は含まれていますが、両方とも同じ結果に達したことは面白いと思いました。
品質については、どちらの構成も基準を満たしておらず、完全な書き直しが必要です。（※ただし、ライトエディットの場合には、完全な書き直しは不要です。）
人が翻訳した場合は以下のようになります。今回も、比較のために、 ChatGPTとDeepLのポストエディットの前の結果も併せて並べました。
| 原文 | なお、オプションライセンスの設定は２つの方法がございますので、いずれかを実行してください。 |
|---|---|
| 人手翻訳 | Set the optional license using one of the two methods available. |
| ChatGPT | Please note that there are two methods available for setting up the optional license. Please proceed with either one. |
| DeepL | Please note that there are two ways to set up an optional license. |
3. 検証③：複雑な構成の文章
次は少し複雑な構成の文章で検証を行います。
| 原文 | EBパネルセンサを使用するシステムの切り替えは、EBパネルセンサ裏面にあるボタン操作で、切り替えたいシステムを選択するだけで使用するシステムの切り替えが可能です。 |
|---|---|
| ChatGPT | Switching between systems using the EB panel sensor is possible by button operation on the back of the EB panel sensor, simply selecting the system you want to switch to. |
| DeepL | To switch the system using the EB panel sensor, simply select the system to be switched by operating the button on the back of the EB panel sensor. |
| ポストエディット（フルエディット）のポイント | |
|---|---|
| ChatGPT | DeepL |
| ・動名詞（「Switching」）を使ったSVOC（主語・動詞・目的語・補語）＋現在分詞（「selecting…」）の構成が不自然で原文の意味が正確に伝わらないため、全体的に書き直す必要あり | ・誤訳を修正：「EBパネルセンサを使用するシステムの切り替えは」が「EBパネルセンサを使用してシステムの切り替えは」と訳されている（「EBパネルセンサを使用する」は「システム」を修飾しているが、DeepLの翻訳は誤って「切り替えは」を修飾している） ・「the system to be switched」だと、「切り替えたいシステム」のニュアンスが正確に伝わらないので修正が必要 |
| ポストエディットの負荷 | |
| ★★★★★ | ★★★ |
DeepLの場合、誤訳や曖昧な表現はありますが、全体の構成には特に問題がないため、ポストエディットの負荷はそれほど大きくありません。一方、ChatGPTの場合、文章の構成は確かに上級ですが、原文の内容が正確に伝わっていないため、全体的な書き直しが必要です。
人が翻訳した場合、以下のようになります。人の翻訳ならではの対応だと思いますが、一文になっている原文を読みやすく、二つに分けて訳しました。
| 原文 | EBパネルセンサを使用するシステムの切り替えは、EBパネルセンサ裏面にあるボタン操作で、切り替えたいシステムを選択するだけで使用するシステムの切り替えが可能です。 |
|---|---|
| 人手翻訳 | The system using the EB panel detector can be switched by operating the button on the rear side of the EB panel detector. The system can be switched simply by selecting the desired system. |
| ChatGPT | Switching between systems using the EB panel sensor is possible by button operation on the back of the EB panel sensor, simply selecting the system you want to switch to. |
| DeepL | To switch the system using the EB panel sensor, simply select the system to be switched by operating the button on the back of the EB panel sensor. |
4. 検証の結果＆まとめ
以下は、今回の検証の結果です。
| ポストエディットの負荷 | ||
|---|---|---|
| ChatGPT | DeepL | |
| 検証① | ★★★ | ★★ |
| 検証② | ★★★★ | ★★★★ |
| 検証③ | ★★★★★ | ★★★ |
| 合計 | ★★★★★★★★★★★ (12/15) | ★★★★★★★★★ (9/15) |
今回の比較検証によると、負荷の観点から見ると、DeepLの方がわずかに軽い傾向があることが示されました。
ただし、この結果に関して留意すべき点があります。今回の検証では、ChatGPTに対して「対象文章を英訳して」というシンプルな指示しか与えていませんでした。実際には、ChatGPTの強みは、文法や用語、文章構 成などに関する具体的な指示を受けて翻訳を行うことにあります。より詳細な指示を与えることで、より精度の高い翻訳が得られます。
しかし、ChatGPTのこの強みにはいくつかのデメリットもあります。まず、翻訳対象言語の文法や構成、スタイルガイドや形式、そしてテクニカルライティングの基本ルールなどについて詳しくないと、的確な指示を与えるのが難しいという点です。また、毎回具体的な指示を出すことも手間がかかります。
最終的に重要なのは、各エンジンの強みを理解し、ニーズに応じて適切に活用することだと思います。
例えば、DeepLは大量のテキストを一度に処理し、ポストエディットを行いたい場合に有用です。一方、ChatGPTは文章や段落単位で、用語、文法、構成に関する詳細な指示を与えたい場合に適しています。
もちろん、形式や用語に関する規定や参照資料が多数あり、細かいクロスレファレンスが必要な翻訳作業では、人間による翻訳がより効率的で費用対効果が高い場合もあります。
今後も引き続き、 ChatGPTとDeepLの技術文書翻訳精度を検証し、その結果を掲載していきますので、楽しみにしていてください。
ヒューマンサイエンスでは人手翻訳サービスやポストエディットサービスを提供しております。ソフトウェア、製造業、IT、自動車、流通と幅広い分野の翻訳を手掛ける翻訳会社です。1994年から長きにわたり多くの企業様の翻訳のお手伝いをしてきました。以下のようなお悩みがあれば是非お気軽にご相談ください。
・翻訳に時間がかかりすぎる！
・品質が悪くクレームが多い！
・翻訳コストが高すぎる！
・日本語マニュアルが原因の問題が多い！
・海外の法律や規格がわからない！
5つのポイントとは？
関連サービス
ページの先頭に戻る
03-5321-3111［東京本社］ 
お問い合わせ
資料請求