医療翻訳の精度は向上したか－DeepLとGoogle翻訳、2020年と2023年を比較

2020年9月に、弊社ブログ「医療翻訳でのDeepLの翻訳精度は？CIOMS、ICF、IB等の検証結果（https://www.science.co.jp/nmt/blog/21613/）」で、医療関係の各種文書について、DeepLとGoogleによる機械翻訳を行い、それらを自動評価BLEUスコアおよび人手評価により評価・検証を行いました。

前回行われた検証の評価方法等について改めて記載します。

言語ペア：英語→日本語

対象文書：ホワイトペーパー、マニュアル（医療機器）、CIOMS、ICF（同意説明文書）、IB（治験薬概要書）、論文の6種類

評価分量：各種1,000ワード前後（各種50センテンス前後）

評価基準：自動評価BLEUスコアおよび人手評価

それから2年半ほどが経過した現在（2023年3月）、DeepLとGoogleの翻訳でまったく同じ文章の翻訳を行い、どのような変化が起きているのかについて検証しました。本稿ではその結果についてご紹介します。

目次

専門用語レベルでは一部改善が
しかし、改善できていない箇所も
スタイルや用語統一などについて
用語統一　2020年と2023年の比較、文書内で統一できているのか？
まとめ

専門用語レベルでは一部改善が

医療文書では、独自の専門用語が存在します。それらが一般的な用語になって訳されてしまうのが、典型的な（かつ致命的な）誤訳となります。また、筆者の私見ですが、医療系に限らず、機械翻訳では一般用語がIT系の用語に訳されてしまう傾向もあるかもしれません。

今回の翻訳では、それらについて改善した箇所が見受けられました。

専門用語レベルでの改善はCIOMSのGoogle翻訳で比較的多く見られました。

Case correction（症例の訂正）
「大文字と小文字の修正」が「ケース修正」に
Outcome is Unknown（転帰：不明）
「結果は不明です」が「転帰は不明」に
Attend（受診する）　
「参加する」が「受診しました」に

ちなみにこれらはDeepLでは2020年時点で正しく訳されていました。

CIOMS以外の文書でのGoogle翻訳における用語レベルでの改善例としては以下のものがあります。

ホワイトペーパー
highlighted within the analysis（分析で強調される、取り上げられる）
2020年Googleでは「強調表示」だったのが2023では「強調」に

ICF
Monotherapy（単剤療法）
2020年Googleでは「単独療法」だったのが2023では「単剤療法」に

上記のホワイトペーパーやICFの用語についても、DeepLでは2020年時点で正しく訳されていました。2020年の人手評価では全体的にDeepLのほうが高評価だったのは、こういった専門用語が比較的正確に訳されていたことが影響したのかもしれません。

しかし、改善できていない箇所も

さらにCIOMSの翻訳を見てみます。

Seriousness: serious（重篤度：重篤）については、2020年はGoogleでは「深刻さ：深刻」、DeepLでは「深刻度：深刻」と、ともに誤訳していました。

2023年でも、Googleでは「深刻度：深刻」、DeepLでは「重大性：重大」と、ともに正しく翻訳されませんでした。

症例叙述や症例経過などと訳される「Narrative」も、Googleでは2020年、2023年ともに「物語」で（DeepLでは2020年、2023年ともに「ナラティブ」）、Listedness: unlisted（記載：未記載）も、Googleでは2020年、2023年ともに「上場：非上場」でした（deepL1では2020年が「掲載性：非掲載」、2023年が「Listedness：未記載」）。

このように、専門用語訳の改善はある程度は確認できるものの、あくまで限定的なものであると考えられます。

ところで、2020年と2023年の文を比べてみると変更箇所はかなりの量にのぼります。DeepLによるホワイトペーパーの翻訳を一例として挙げると、1600文字あまりの文書において182個の変更がありました（Wordの文書比較機能で算出された変更箇所数による）。

しかしながら、変更の主なものは、文節の記載順の変更や、以下のような大意に影響のないものが多いという印象でした。

「調べた」→「検討した」
「および」→「や」
「誘発」→「誘導」
「の使用について」→「の使用方法について」、

これらの変更は、読者が部内者に限られるため意味が分かればよい、という文書であればどちらでも構わないものでしょうし、例えば「調べた」と「検討した」などのどちらが適切か、または別に適切な訳が存在するかは文脈や背景により異なります。将来、機械翻訳の機能向上により、このレベルの改善までできるかどうかは現状では不透明であり、まさにポストエディット工程で適切に処理されるべき箇所であるといえます。

結果として、2020年から2023年の間の差異は上記のようなものが主体であり、専門用語レベルでの改善はみられるものの、前回の翻訳評価スコアを塗り替えるほどには至っておらず、ポストエディットによる厳密な改善の工程は依然、必要であるといえそうです。

以降は、具体的なポイントごとに詳細について述べたいと思います。

スタイルや用語統一などについて

「ですます調」と「である調」：
CIOMS、IB、論文では「である調」が、ICF、ホワイトペーパー、マニュアルでは「ですます調」が適切でしょう。では、機械翻訳の結果はどうだったでしょうか？

Google翻訳では、2020年も2023年も、すべての文書において「ですます調」が基調でした。ごく一部に「である調」が混在していましたが、エラー、または文中の用語から「である調」が適切とたまたま判断されたと考えられる範囲でした。

DeepLでは、2020年も2023年を通して、CIOMSは「である調」（適切）、IBは「である調」と「ですます調」が混在、ICFでは「ですます調」（適切）、ホワイトペーパーは「ですます調」（適切、ただし一部、である調が混在）、マニュアルは「ですます調」（適切）、論文は「である調」（適切、ただし一部、ですます調が混在）でした。

当然、「である調」「ですます調」いずれか適切なものへの統一は、ポストエディットの工程でなされることになります。ちなみに2020年の人手評価では「である調」「ですます調」は、評価材料から外して検証しました。

半角スペースや半角括弧：

偶然なのか、開発者により何らかの判断が下されたのか不明ですが、2023年のGoogle翻訳では、英数半角の前後に半角スペースが加えられており、括弧やコロンも半角になっていました。ただし、エラーなのか半角スペースがない箇所もごく一部に見受けられました。

用語統一　2020年と2023年の比較、文書内で統一できているのか？

医学翻訳で統一させたい用語の典型的なものとして「がん」と「癌」があります。

原文に「Cancer」が６か所記載されていたIBで確認したところ、以下のような結果でした。

Google翻訳　2020年「がん」2件、「癌」4件　→　2023年「がん」4件、「癌」2件

DeepL　2020年「がん」5件、「癌」0件　→　2023年「がん」5件、「癌」0件（注：残り１か所は団体名内のcancerだったため、原文ママで表記されていた）

また、ホワイトペーパーで「signature（molecular signature、［分子シグネチャー（シグネチャ）］または［分子署名］と訳される）」という用語が３か所ありましたので、それが「シグネチャー」と訳されたか、「シグネチャ」と訳されたか、あるいは「署名」と訳されたかについても調べてみました。

Google翻訳　2020年「シグネチャー」0件、「シグネチャ」1件、「署名」2件　→　2023年「シグネチャー」0件、「シグネチャ」2件、「署名」１件
DeepL　2020年「シグネチャー」1件、「シグネチャ」2件　→　2023年「シグネチャー」2件、「シグネチャ」0件、「署名」1件

用語や表記の統一は、もともとポストエディットでなされるべき最重要項目の１つです。今回の検証でも限られた分量での検証だったにもかかわらず、DeepLでの「がん」への統一以外は、用語・表記の統一はとれていませんでした。

文章が成立していない文は？：

少数ではありますが、文章が成立していなかった翻訳も一部存在していました。

これらの共通点としては、単語数が多く（目安として１文の長さが40ワード超）、文中に括弧やスラッシュが複数あることがあげられます。例としては以下のような文です。

The optimized molecular HRD signature from Study AAA (BBB) was prospectively applied to the primary analysis of Study CCC (DDD), an ongoing, randomized, double-blind, Phase 3 study of eee versus placebo as switch maintenance treatment in patients with platinum-sensitive, relapsed, high-grade ovarian cancer (n = fff enrolled patients).

注：AAA (BBB)、CCC (DDD)は試験名。eeeは薬剤名。fffは数値（患者数）

このような文は、治験関係の文や論文では必ず出てくるタイプのものです。機械翻訳しやすいようにあらかじめ原文を編集する「プレエディット」にもなじみにくい文ともいえます。

Google翻訳では2020年、2023年ともに文章が成立した訳を作ることはできませんでした。

DeepLでは文章は成立していましたが、このような文ではいずれにしても、ポストエディット・人手翻訳どちらにおいても、人による原文の分析や文脈・背景の検討が必要といえます。

また、流用できる類似した既存の訳が存在する場合は、都度、新規翻訳するよりも、翻訳メモリを活用した翻訳支援ツールを使用するのも有力な選択肢でしょう。

まとめ

2020年と2023年で同じ文章に対し、機械翻訳（GoogleとDeepL）をかけて比較してみたところ変化は少なからずありました。具体的にみると、専門用語レベルの致命的な誤訳が改善された箇所がいくつか見られましたが、全体としては、期待ほど目覚ましいものではありませんでした。

Chat GPTを例に挙げるまでもなく、機械翻訳を含むAIに関する技術はいつ更なる飛躍的な発展が起きてもおかしくない状況です。ただし、今回の機械翻訳の再検証からは、現状では引き続きポストエディットによる改善が必須という印象を受けました。また、医療関係のような専門性が非常に高く複雑でありながら、ある程度の規則性があるドキュメントでは、翻訳メモリを活用した翻訳支援ツールの利用も有力な選択肢といえます。また、完全に人による翻訳もまだまだ有効な場面はありそうです。

弊社では、である/ですます調の統一が可能な機械翻訳ソリューションやポストエディットサービス等もご提供しております。お悩みやご興味などございましたら、是非お気軽にお問合せ下さい。

無料ダウンロード

メディカル翻訳サービス資料

ヒューマンサイエンスのメディカル翻訳サービスの
特徴について、事例と共にご紹介します。