翻訳の動向

AI翻訳の精度95%以上は本当?日常的にAIに触れている医療翻訳者が見た実際の精度

AI翻訳の精度95%って本当?現役翻訳者が答える

「AI翻訳の精度95%って本当か?」と疑問に思っていらっしゃる方は多いと思います。

日常的にAI機械翻訳の翻訳文を見ている翻訳歴7年のメディカル翻訳者から見ると

「精度95%の場合もある」という回答になります。

「場合もある」ってどういうこと?と思いますよね。本記事では、AI翻訳が強い分野と弱い分野に触れながら説明したいと思います。AI翻訳を取り入れたい、使ってみたい方はぜひ参考にしていただけますと幸いです。AIの翻訳結果は文書の種類によってずいぶん精度が変わるということを最初に申し上げておきたいと思います。

 

AI翻訳が強い分野

AI翻訳が強い分野があります。それは、文法的にも用語的にも正しく書かれたほぼノーミスの英語の臨床論文です。こうした文書に対してAIは95%といってもよい精度で正しい訳文を返してきます。

但し、7年間いろいろな国の研究者が書いた医療論文を翻訳してきた中でドイツ人であれイタリア人であれノンネイティブが書く論文で完璧に正しいものを見たことがありません。彼らの書く論文には、必ず文法や用語の間違えがあり、母国語でないことから不自然な表現が多く見られます。元が間違っているのでAI翻訳も正しい答えを返そうにも返せません。

私の経験に基づく見解ですが、AIが完璧に近い訳文をだせるジャーナルがあります。

それは、マサチューセッツ内科外科学会によって発行されている「The New England Journal of Medicine(ニューイングランド・ジャーナル・オブ・メディシン)」です。このジャーナルは医学界でも権威が高く、原文の間違えがほとんどありません。正しく書かれた論文は読み手がつっかえずに読むことができますが、それはAIもいっしょです。原文に間違えがなければ答えも正しくなります。

AI翻訳だけで完璧を求めようとするのであれば、原文のレベルをこの雑誌のレベルで書く必要があります。

何年も翻訳をしてきた中で完璧に書かれた原文は数としては非常に少ないです。つまり、The New England Journal of Medicineレベルの論文は少ないということです。

特に日本語論文の場合、日本語の文章にありがちな主語抜けがAI翻訳にはダメージとなります。主語がわからない場合、AIはどのように処理するでしょうか?It, they, he, sheをとりあえず挿入してきます。この処理の結果ですが、文脈上間違っていることが多いので、翻訳者が修正することになります。

VOEGELI
簡潔に書かれた間違えのない論文に対するAIの正解率はかなり高いです!

 

AI翻訳が苦手な分野

AIには苦手な分野があります。それは「短い文章」「口語」「PowerPoint文書」などです。

短い文章

AIは短い文章が苦手です。例えば、「A arm」に対する訳語をみてみましょう。「Patients were randomized to A arm or B arm.」と書かれていた場合、AI翻訳は「A群」と訳してくれますが、「A arm」と書かれただけのセグメントでは、「Aアーム」と訳出していました。

文が短すぎるとAI翻訳は正しい判断ができなくなることが多いです。

「Exposure」という医療翻訳でよくでてくる用語があります。医療分野で一番多く充てられる訳語は「曝露」です。AIも「曝露」と訳出してきました。正解する率は高いです。ただ、実はこのとき文脈上「カメラ」の話をしていたんです。なので正解は「露出」でした。

AI翻訳は文脈を読んでいそうに見えて、実はその分野の単語で正解率が高いものをただチョイスしているのではないかと感じることがあります。私は開発者ではないので本当のところはわかりませんが、ユーザーとしてはそのように感じることは多々あります。

口語の文章

口語の文書はAI翻訳が苦手とするところです。翻訳結果をみると、たまに単語が部分的あっているだけという結果が多いです。なので口語はほぼ全文翻訳者の修正がはいることが多いです。

例えば、「よもやよもや」ってどう訳しますか?

これは有名なアニメの「鬼滅の刃」のセリフですが、「よもやよもや」の状況がどういう状況なのかAIは全く理解できません。

人間の翻訳者さんが訳したものとして”How could this be?” ”I can't believe it.” といった訳があります。どちらも「どうやったらこんな状況になるっていうんだ!?信じられない!」という意味になります。うたたねしていた間に敵に攻められていたことに気づかず、目が覚めてびっくりしている様子です。

「鬼滅の刃」8巻煉獄さんの「よもやよもや」でAI翻訳を考える(出典:「鬼滅の刃」第8巻)

AI翻訳がこれから口語に対してどれだけ精度を上げてくるかは未知数ですが、現在はまだまだ対応できていません。

 

PowerPoint文書

AI翻訳が苦手なものにPowerPoint文書があります。

例えば、”Patients were randomized to A arm or B arm.”と改行なしに書かれていた場合は、「患者をA群又はB群に無作為に割り付けた。」と正しく訳してくれるでしょう。

ただし、

Patients were(改行)
randomized to(改行)
A arm and B arm.(改行)

と書かれていた場合、人間の目には同じ文章に見えますが、機械は3行に分かれた独立した文章と判断します。したがって、

患者
無作為化された
A群及びB群

といった感じで訳出されます。改行されたら違う文章として認識されるというのが機械のルールです。これは機械であるゆえに越えられない壁です。

PowerPoint文書をAI翻訳してチェックもせずそのままにしておくのは非常に危険です。必ずチェックをしてください。

 

哲学的な要素を含む文学的な複雑な文章

私は精神医学分野の本を翻訳したことがあります。この文章は文法的に正しく書かれているのですが、科学論文と違って複雑な文構成で書かれていました。一文がとても長くなることがあり、こうした文章に対してAI翻訳は途中で混乱して正しく処理できなくなります。複雑な文章はAIも苦手なのです。この本は医療分野の本ですが、随所に哲学やヨーロッパの詩がちりばめられており、こうしたものに対してもAIは全く歯がたちませんでした。学習していないことは翻訳できないということです。(人間の私は図書館で詩集を借りてこの難を乗り切りました。)

当時のそのAIは心理学用語も教えられていたようで、characterという単語に対し「性格」という訳を出しました。しかし、文脈ではフランスの小説の話をしていました。つまり、characterの正しい訳語は「性格」ではなく、小説の「登場人物(=キャラクター)」だったのです。こうしたAIの処理を見て、AIは文脈を読んでいるわけではないという印象を強く持ちました。

 

AIの不思議な間違え

「0001253468」という数字に対して、なぜか「0001243468」と一部の数字を変更したり、人名のスペルを勝手に変えたりすることがあります。なぜかはわからないのですが、日々目にしていることです。「機械は数字を間違えない」と思い込んでいると、思いっきり間違えていることがあるので注意してください。

 

AIのゆらぎ?それとも提案?

AI翻訳で面白いと思うところは、同じ単語に対して異なる訳語を提示してくれることです。「さっきは別の単語で訳出していたのに!」と思うのですが、どちらも合っている場合、より良い方を選べることがあります。AIのゆらぎなのか、人間の翻訳者に対する複数の提案なのか私にはわからないのですが、これについては私は肯定的にとらえています。一生懸命考えてもよい訳語がみつからなかったときにAIの2つ目の提案に助けられることもあるからです。

VOEGELI
このケースをみても、AIが絶対唯一の答えを出すわけではないということがわかると思います。訳語を最後に決めるのは人間なのです。

 

AI翻訳とうまく付き合うには

AI翻訳は時間節約やコスト節約に大きく貢献してくれます。ただし、現在のAI翻訳の精度や得手不得手をよく理解して使用することが大切です。くれぐれもAI翻訳だけでOKと考えてはなりません。人間のチェックは必ず入れてください。重要な文書であればなおさらです。

また、AI翻訳機を開発しているロゼッタという会社があります。私は以前会社勤務をしているときに職場でロゼッタさんの翻訳機を使っていましたし、AI翻訳機が発売されてからは短期間お借りしたことがあります。機械翻訳でもAI翻訳でもオリジナルの用語集はどちらも同じだそうです。違うのは、AI翻訳機は自分でAIを教育していかないといけないということでしょうか。

さらに教育したとしても先ほどお話した「exposure」という単語の例をみればわかるように、医療分野で一番使われる「曝露」がいつも正しい訳語ではないということです。ここは人間がチェックしていかなければなりません。

AI翻訳でボタンを押したら正しい答えがポン!とでてくるわけではないうことを理解して使用していく必要があります。

 

まとめ

AI翻訳は、正しく書かれた臨床論文に対しては高精度で正しい答えを返してくれます。
口語や詩、短い文章、PowerPoint文書が苦手です。

AI翻訳のクセを把握して使用すれば頼もしい相棒になります。

 

VOEGELI
AI翻訳を導入しようとしている方に向けて書きましたがいかがでしたでしょうか。「AI翻訳機=万能」ではありませんので、人間とAI翻訳をうまく組み合わせて使ってください!この記事がお役にたてれば幸いです。
  • この記事を書いた人

VOEGELI(フォグリ)

2015年からフリーランスのメディカル翻訳者。英検1級。翻訳者個人に直接依頼したい方に向けたお仕事受付けのためのホームページです。臨床論文や治験文書を始め、保険の請求に至るまでさまざまな文書翻訳の経験があります。「翻訳実績」に過去に翻訳した文書をまとめてあります。

-翻訳の動向
-