Creating Translation Memory with AI: How to Automatically Pair English and Japanese

# ファイルをアップロード
from google.colab import files
print("🔼 英語ファイルをアップロードしてください（.txt）")
uploaded_en = files.upload()
print("🔼 日本語ファイルをアップロードしてください（.txt）")
uploaded_jp = files.upload()

# 英語ファイルの読み込みと文分割
from google.colab import files
import nltk
import io

# 必要なリソースをダウンロード（初回のみ）
nltk.download('punkt_tab')

# 文ごとに分割するためのリスト
en_segments = []

# アップロードされたファイルを読み取り
for filename in uploaded_en:
    text = io.StringIO(uploaded_en[filename].decode('utf-8')).read()

    # 行単位で処理し、各行を文に分割
    for line in text.splitlines():
        line = line.strip()
        if line:  # 空行を無視
            sentences = nltk.sent_tokenize(line)
            en_segments.extend(sentences)

# 結果確認（必要に応じて）
for i, sent in enumerate(en_segments[:10]):
    print(f"{i+1}: {sent}")

print(f"✅ 英語セグメント数: {len(en_segments)}")

# 日本語ファイルの読み込みと文分割
import re

def split_ja(text):
    text = text.replace('\r\n', '\n').replace('\r', '\n')  # 改行を統一

    # 改行ごとに分割 → さらに句点（。！？）で分割
    lines = text.splitlines()
    segments = []
    for line in lines:
        line = line.strip()
        if not line:
            continue
        sents = re.split(r'(?<=[。！？])\s*', line)
        segments.extend([s.strip() for s in sents if s.strip()])
    return segments

jp_segments = []

for name in uploaded_jp.keys():
    with open(name, encoding='utf-8') as f:
        jp_segments += split_ja(f.read())

print(f"✅ 日本語セグメント数: {len(jp_segments)}")

# LaBSE モデルの読み込みとテキストのベクトル化
from sentence_transformers import SentenceTransformer
from tqdm import tqdm
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

model = SentenceTransformer('sentence-transformers/LaBSE')

en_embeddings = model.encode(en_segments, convert_to_numpy=True, show_progress_bar=True)
jp_embeddings = model.encode(jp_segments, convert_to_numpy=True, show_progress_bar=True)
tm_pairs = []

used_en = set()

# 全ての日本語文のベクトルに対して、英語文との類似度を計算
for i, jp_vec in tqdm(enumerate(jp_embeddings), total=len(jp_segments)):
    sims = cosine_similarity([jp_vec], en_embeddings)[0]
    top_idx = np.argmax(sims)  # 最も類似度が高いインデックスを取得
    sim_score = sims[top_idx]  # その類似度スコア

    tm_pairs.append((en_segments[top_idx], jp_segments[i], sim_score))

# TMXファイル生成とダウンロード
from xml.etree.ElementTree import Element, SubElement, ElementTree
from google.colab import files

# TMX出力
tmx = Element('tmx', version="1.4")
header = SubElement(tmx, 'header', {
    'creationtool': 'ColabTM',
    'creationtoolversion': '1.0',
    'segtype': 'sentence',
    'adminlang': 'en-US',
    'srclang': 'en',
    'datatype': 'PlainText'
})
body = SubElement(tmx, 'body')

for en, ja, score in tm_pairs:
    tu = SubElement(body, 'tu')
    tuv_en = SubElement(tu, 'tuv', {'xml:lang': 'en'})
    seg_en = SubElement(tuv_en, 'seg')
    seg_en.text = en
    tuv_ja = SubElement(tu, 'tuv', {'xml:lang': 'ja'})
    seg_ja = SubElement(tuv_ja, 'seg')
    seg_ja.text = ja

# 保存とダウンロード
tree = ElementTree(tmx)
tree.write('output.tmx', encoding='utf-8', xml_declaration=True)
files.download('output.tmx')

# TSVファイル生成とダウンロード
import pandas as pd

# tm_pairsからDataFrameを作成
df_tsv = pd.DataFrame(tm_pairs, columns=["English", "Japanese", "Similarity"])

# TSVファイルとして保存
tsv_path = "output.tsv"
df_tsv.to_csv(tsv_path, sep="\t", index=False)

files.download('output.tsv')