純国産LLMを開発する意味とその未来

目次

1. はじめに
2. 汎用LLMをベースにする開発が前提としているもの
3. 純国産LLMがもたらす、汎用LLMとの決定的な違い
4. ブラックボックス化を抑えられるという現実的な利点
5. 純国産LLMの未来
6. ヒューマンサイエンスの教師データ作成、LLM RAGデータ構造化代行サービス

※純国産LLM：ここで言う純国産LLMとは、海外製の汎用LLMをベースに追加学習したモデルではなく、学習データの設計段階から日本語を元にフルスクラッチで構築されたLLMを指します。

1. はじめに

日本語LLM開発を検討する場面で、多くの人が最初に思い浮かべるのは、Llamaをはじめとした汎用LLMをベースに開発する方法でしょう。すでに高い性能を持ち、日本語にも一定程度対応しており、追加の学習や調整を行うことで実務に使える水準に持っていくことができます。このアプローチは現実的で、コストやスピードの面でも優れています。

その一方で、フルスクラッチで国産LLMを開発するという選択肢もあります。ただ、汎用LLMをベースにするのに比較してそのハードルは非常に高く、「そこまでやる必要があるのか」「既存モデルで十分ではないのか」という疑問を持つのは自然なことです。

しかし、この二つの方法は単なる開発効率の違いや性能で比べられるほど単純なものではないと言えます。日本語特有の表現を理解するLLMを開発していく中で、どのような判断基準をAIに委ね、将来にわたって何を自分たちの資産として残したいのかという、考え方そのものが異なります。

参考リンク
「ELYZA LLM for JP」シリーズの最新モデル「Llama-3-ELYZA-JP」を公開しました
 NTT、次世代純国産LLM「tsuzumi 2」発表──フルスクラッチ設計でGPT-5級の日本語性能を軽量モデルで実現

2. 汎用LLMをベースにする開発が前提としているもの

Llamaのような汎用LLMをベースにする場合、一般的な文章理解や生成、常識的な受け答えについては、すでに十分な能力を持っているため、それをどう活用するかが主なテーマになります。この方法が向いているのは、情報検索、文章作成支援など、汎用的な作業です。モデルの振る舞いが多少一般的であっても大きな問題にならないケースでは、非常に合理的な選択と言えます。

ただし、このアプローチには暗黙の前提があります。それは、開発する際にモデルの「考え方」や「判断の癖」を基本的に受け入れるということです。

モデルの「考え方」や「判断の癖」とは、例えば曖昧な指示に対してどのように応答するのか、判断が割れる場面でどこに落とし所を見つけるのか、といった振る舞いなどです。これは、汎用モデルの開発段階の事前学習や指示学習、人間のフィードバックを通じて、どのような対応が「望ましい」とされてきたかなどによって、大きく方向づけられます。これがモデルの「考え方」や「判断の癖」と言って良いでしょう。

そのモデルを元に、日本語向けに追加のチューニングを行ったとしても、この土台となる考え方や判断基準を根本から変えることは、容易ではないのが実情です。

参考ブログ
オープンソース生成AI徹底比較：ビジネスシーン別の最適解と導入ポイント
 強化学習とは？AIが試行錯誤を重ねて学習する仕組みと活用事例
 LLMにおけるファインチューニングとは

3. 純国産LLMがもたらす、汎用LLMとの決定的な違い

汎用LLMにおいて、日本語は学習された多言語の中の一つです。多言語対応の性能は年々向上していますが、設計の中心にあるのは、多くの場合、英語圏の言語構造や思考様式、さらには文化的背景と言って良いでしょう。

一方、純国産LLMでは、日本語そのものが最初から設計の中心に置かれます。

日本語には、明文化されていない前提や、文脈を共有していることを前提とした判断や回答が数多く存在します。例えば、敬語の使い分けが意味を持つ場面、遠回しに要求を伝える場面、あえて言い切らないことが適切な答えになる場面などです。

こうした要素を、自然な日本語を最初から扱えるように設計できる点は、フルスクラッチならではの特徴と言えるでしょう。

4. ブラックボックス化を抑えられるという現実的な利点

純国産LLMが持つ現実的な利点の一つに、モデルの振る舞いがブラックボックス化しにくいという点があります。これは、モデルが巨大だから、あるいは最新技術を使っているからといった理由ではありません。判断がどのように形づくられたのかを説明できる構造を持っているかどうかの違いです。

汎用LLMをベースに追加学習を行う場合、モデルの判断は常に二つの層が重なった結果として現れます。一つは、事前学習や指示学習、人間のフィードバックを通じて、元のモデルに組み込まれている判断基準です。もう一つは、日本語対応や業務特化のために後から与えた追加学習による補正です。

この構造では、ある応答がどこで、どのように形成されたのかを切り分けて説明することが難しくなります。曖昧な指示に対する対応や、判断が割れる場面での落とし所が、追加学習の影響なのか、それとも元モデルが持つ判断の癖なのかを明確に区別することができません。結果として「なぜこの判断になったのか」という問いに対して、開発側が十分に説明できない状態が生まれます。

一方、フルスクラッチで開発される純国産LLMでは、判断基準そのものを最初から設計に組み込みます。事前学習に用いるデータ、日本語特有の表現や文脈をどう解釈するか、曖昧な問いに対してどこまで踏み込むかといった方針を、一貫した考え方のもとで定めていきます。そのため、モデルの振る舞いを、どの段階のデータ設計や学習方針に由来するものかとして説明しやすくなります。

もちろん、フルスクラッチであっても、モデル内部のすべてを完全に説明できるわけではありません。しかし重要なのは、ブラックボックス性を完全になくすことではなく、どこまでを設計の責任として説明するのかを自分たちで引き受けられるという点です。

行政、医療、金融、製造業など、判断の根拠や説明責任が求められる分野では、この違いは小さくありません。性能の高さ以上に「なぜその判断に至ったのか」を関係者の言葉で説明できることが求められる場面では、純国産LLMは考慮すべき選択肢となります。

5. 純国産LLMの未来

とはいえ、将来を考えたとき、純国産LLMが汎用LLMを全面的に置き換える存在になるとは考えにくいでしょう。多くの用途においては、汎用LLMをベースにした開発の方が合理的です。

それでも、純国産LLMの価値が失われることはないでしょう。むしろ、生成AIが社会に深く入り込むほど、その価値は高まっていくと考えられます。

日本語で判断し、日本の業務や制度、文化を前提に動くAIが必要になる場面は、今後確実に増えていくと考えられます。特に、曖昧さを含んだ業務指示や、前提知識の共有が必要とされる現場では、その差がより現れるでしょう。そうした場面では、「賢いAI」よりも、「意図が通じるAI」「考え方を共有できるAI」が求められるのではないでしょうか。

純国産LLMを開発するという選択は、日本語と日本の制度や文化に根差した判断基準を、海外の汎用モデルに委ねるのではなく、自分たちの手で未来に保持し続けるための投資だと言えるでしょう。

6. ヒューマンサイエンスの教師データ作成、LLM RAGデータ構造化代行サービス

教師データ作成数4,800万件の豊富な実績

ヒューマンサイエンスでは自然言語処理に始まり、医療支援、自動車、IT、製造や建築など多岐にわたる業界のAIモデル開発プロジェクトに参画しています。これまでGAFAMをはじめとする多くの企業様との直接のお取引により、総数4,800万件以上の高品質な教師データをご提供してきました。数名規模のプロジェクトからアノテーター150名体制の長期大型案件まで、業種を問わず様々な教師データ作成やデータラベリング、データの構造化に対応しています。

クラウドソーシングを利用しないリソース管理

ヒューマンサイエンスではクラウドソーシングは利用せず、当社が直接契約した作業担当者でプロジェクトを進行します。各メンバーの実務経験や、これまでの参加プロジェクトでの評価をしっかりと把握した上で、最大限のパフォーマンスを発揮できるチームを編成しています。

生成系AI LLMデータセット作成・構造化、「AIに最適化するマニュアル作成・整備支援」にも対応

弊社は創業当初から主な事業・サービスとしてマニュアル制作を行い、現在では「企業ナレッジ活用のための生成AI導入に向けて、AIが認識しやすいドキュメントの制作支援」も行っております。生成AI を用いた企業ナレッジやドキュメントの共有・活用において、現在の技術ではまだツール等で100%の精度を実現できないのが現状です。過去のドキュメント資産をどうしも活かしたい、といったお客さまに対してはドキュメントデータの構造化にも対応します。さまざまなドキュメントを熟知している当社ならではのノウハウを活かした最適なソリューションを提供いたします。

自社内にセキュリティルームを完備

ヒューマンサイエンスでは、新宿オフィス内にISMSの基準をクリアしたセキュリティルームを完備しています。そのため、守秘性の高いデータを扱うプロジェクトであってもセキュリティを担保することが可能です。当社ではどのプロジェクトでも機密性の確保は非常に重要と捉えています。リモートのプロジェクトであっても、ハード面の対策のみならず、作業担当者にはセキュリティ教育を継続して実施するなど、当社の情報セキュリティ管理体制はお客様より高いご評価をいただいております。

内製支援

弊社ではお客様の作業や状況にマッチしたアノテーション経験人材やプロジェクトマネージャーの人材派遣にも対応しています。お客様常駐下でチームを編成することも可能です。またお客様の作業者やプロジェクトマネージャーの人材育成支援や、お客様の状況に応じたツールの選定、自動化や作業方法など、品質・生産性を向上させる最適なプロセスの構築など、アノテーションやデータラベリングに関するお客様のお困りごとを支援いたします。