生成AI・エージェントAI時代に求められる「良いデータ」とは～AIの進化とともに変わるデータ品質の考え方～

1. はじめに

近年、ChatGPTをはじめとする生成AIの普及によって、AIは私たちの業務や生活に急速に浸透しつつあります。さらに近年では、自律的に複数のタスクを実行するAIエージェントにも大きな注目が集まっています。

弊社でもAIエージェントを活用した業務改善や検証に取り組んでおり、情報収集や請求書など定期的に発生する定型業務の支援などで、その効果を実感する場面が増えてきました。一方で、AIモデルの性能が高まれば、それだけで必ず業務成果が上がるわけではありません。AIを業務で使う場合、どの情報を参照させるのか、どのような出力であれば使えると判断するのか、誤った情報や不自然な回答をどのように見分けるのかといった確認が必要になります。

このとき重要になるのが「データ品質」です。ただし、生成AI・エージェントAI時代のデータ品質は、従来の教師データだけを見ていればよいものではありません。AIに学習させるデータ、AIに参照させるデータ、そしてAIの出力を評価するためのデータを分けて考える必要があります。

本記事では、従来のAI開発で重視されてきた学習データの品質を振り返りながら、生成AI・エージェントAI時代に求められる「良いデータ」について考えていきます。

【参考ブログ】
＞ドメイン特化LLMが“賢くならない”理由― 品質向上を阻む3つのポイント
＞生成AIの評価とは？LLMの品質をどう測るかを解説

2. 従来のAI開発では「学習データ」の品質が中心だった

従来のAI開発では、画像認識や文章分類など、比較的タスクが明確なAIが多く活用されてきました。画像認識AIであれば画像に「犬」「猫」「自動車」などのラベルを付け、物体検出では対象物の位置を枠で囲み、セグメンテーションでは領域を細かく指定します。

このようなアノテーションでは、まず「何を正解とするか」を決めることが重要です。対象物が一部しか写っていない場合や、背景と重なって見えにくい場合、基準が曖昧なままだと作業者ごとにラベルの付け方が変わってしまいます。

そのため、アノテーション業務では、作業ルールを整え、作業者間のばらつきを減らし、必要に応じてチェックや修正を行うことが重要になります。この時代の「良いデータ」とは、正しいラベルが付いているだけでなく、一定のルールに沿って安定した品質で作成された学習データだったと言えます。

【参考ブログ】
＞製造業AI開発の失敗はどこで生まれる？〜データ品質から見た成功のヒント〜
＞【スピンオフ】ヒューマンサイエンスのアノテーション作業のマネジメント 〜品質担保のために急がば回れ。回り道が近道になる〜
＞【スピンオフ】チェックを重ねることでアノテーション品質は向上するか？〜弊社アノテーション現場での品質管理～
＞教師データの品質を担保、向上させるには？実践方法を解説！

3. 生成AI時代には「参照データ」の品質が重要になる

生成AIの時代になると、データ品質の考え方は学習データだけでは完結しにくくなります。生成AIは大量の情報をもとに文章を作成したり、質問に回答したりしますが、元になる情報が古い、誤っている、文脈が欠けているといった状態では、出力結果の信頼性も下がります。

また、生成AIの普及によって、AIが生成した文章や画像も増えています。低品質なAI生成コンテンツが増えると、有用な情報が埋もれやすくなり、どの情報を信頼できるものとして扱うのかを見極める必要が出てきます。

企業が生成AIを業務に活用する場合、インターネット上の一般情報だけでは不十分なことも少なくありません。製品仕様、業務マニュアル、社内ルール、過去の問い合わせ履歴など、外部には公開されていないデータが重要になる場面があります。社内向け生成AIやRAGを活用する場合も、参照元の文書が整理されていなければ、期待した回答は得られません。

つまり、生成AI時代の「良いデータ」には、AIが学習するためのデータだけでなく、AIが参照するための信頼性の高い業務データも含まれます。どの資料を正しい根拠とするのか、どの情報をAIに参照させるべきなのかを整理することが、AI活用の前提になっていきます。

【参考ブログ】
＞LLM開発に必須！翻訳データ評価と高品質データ整備のポイントとは？

4. 生成AIの出力は「評価データ」によって品質を確認する

学習データや参照データが整っていても、AIの出力をそのまま業務に使えるとは限りません。生成AIの回答には、必ずしも正解が一つではないものも多くあります。同じ質問に対して複数の回答が成り立つ場合、どれが最も適切かは単純な正誤だけでは判断できません。

内容が事実に基づいているか、質問の意図に沿っているか、読み手にとって分かりやすいか、安全性やコンプライアンスの観点で問題がないかなど、生成AIの出力評価には複数の観点が必要です。回答が自然に見えても、内容が間違っているハルシネーションは未だゼロではありません。

ファクトチェックや再生成の手間が大きくなれば、効率化を目的に導入したはずのAIが、かえって運用負荷を増やしてしまう可能性もあります。だからこそ、生成AIの出力を評価し、どのような回答なら業務で使えるのかを判断する基準も重要になります。

【参考ブログ】
＞生成AIの評価とは？LLMの品質をどう測るかを解説
＞国産LLMにおけるRLHFの役割 ― 日本語LLMの品質を決める「人の判断」はどこで効いてくるのか

5. エージェントAIではデータと業務ルールの整備が重要になる

AIエージェントは、ユーザーの指示に応じて複数の作業を自律的に進めるAIです。情報検索、複数の情報源の比較、条件に合う内容の整理、定期的な事務作業の支援などさまざまな活用が期待されています。

このようなAIエージェントでは、最終的な出力だけを見ても十分に評価できない場合があります。調査結果が整理されていても、参照した情報が古かったり根拠が不明確だったりすれば、そのまま業務に使うことはできません。

請求書などの定型業務をAIが支援する場合も、金額や取引先名を読み取れているかだけでは不十分です。請求日や支払期限に矛盾がないか、過去の請求内容と比べて大きな差異がないか、承認が必要な金額ではないか、このまま次の業務フローに回してよい書類なのかといった確認が必要になります。

エージェントAIを業務で活用するには、参照データの品質だけでなく、どの条件で処理を進めてよいのか、どこから人間の確認が必要なのかといった業務ルールも整えておく必要があります。ここでは、社内ルールや判断基準そのものも、AI活用を支えるデータの一部として扱う必要があります。

【参考ブログ】
＞AIエージェントでできること〜「自分で考えて動くAI」が私たちの働き方を変える〜

6. これからの「良いデータ」とは

ここまで見てきたように、生成AI・エージェントAI時代の「良いデータ」は一種類ではありません。従来のAI開発では、正しいラベルや一貫したアノテーションによって作られた学習データが中心でした。

一方、生成AIを業務で活用する場合には、AIが参照する社内文書や業務ナレッジの品質が重要になります。さらに、AIが出力した回答や判断を評価するための基準も欠かせません。エージェントAIでは、どの情報を使い、どの手順で処理し、どこで人間が確認するのかといった業務ルールの整備も必要になります。

つまり、これからの「良いデータ」とは、学習データ、参照データ、評価データを分けて考え、それぞれをAIの用途に合わせて整備することだと言えます。そして、AIが進化しても、何を学ばせ、何を参照させ、どの出力を良いと判断するのかを決めるのは我々人間の手に委ねられるでしょう。

【参考ブログ】
＞生成AI時代のアノテーション：自動化できる領域とできない領域

7. ヒューマンサイエンスの教師データ作成、LLM RAGデータ構造化代行サービス

教師データ作成数4,800万件の豊富な実績

ヒューマンサイエンスでは自然言語処理に始まり、医療支援、自動車、IT、製造や建築など多岐にわたる業界のAIモデル開発プロジェクトに参画しています。これまでGAFAMをはじめとする多くの企業様との直接のお取引により、総数4,800万件以上の高品質な教師データをご提供してきました。数名規模のプロジェクトからアノテーター150名体制の長期大型案件まで、業種を問わず様々な教師データ作成やデータラベリング、データの構造化に対応しています。

クラウドソーシングを利用しないリソース管理

ヒューマンサイエンスではクラウドソーシングは利用せず、当社が直接契約した作業担当者でプロジェクトを進行します。各メンバーの実務経験や、これまでの参加プロジェクトでの評価をしっかりと把握した上で、最大限のパフォーマンスを発揮できるチームを編成しています。

生成系AI LLMデータセット作成・構造化、「AIに最適化するマニュアル作成・整備支援」にも対応

データ整理のためのラベリングや識別系AIの教師データ作成のみでなく、生成系AI・LLM RAG構築のためのドキュメントデータの構造化にも対応します。創業当初から主な事業・サービスとしてマニュアル制作を行い、現在では「将来的な生成AI・RAG導入・活用に向けての業務ナレッジ整備やマニュアル化の支援」も行っております。さまざまなドキュメントの構造を熟知している当社ならではのノウハウを活かした最適なソリューションを提供いたします。

自社内にセキュリティルームを完備

ヒューマンサイエンスでは、新宿オフィス内にISMSの基準をクリアしたセキュリティルームを完備しています。そのため、守秘性の高いデータを扱うプロジェクトであってもセキュリティを担保することが可能です。当社ではどのプロジェクトでも機密性の確保は非常に重要と捉えています。リモートのプロジェクトであっても、ハード面の対策のみならず、作業担当者にはセキュリティ教育を継続して実施するなど、当社の情報セキュリティ管理体制はお客様より高いご評価をいただいております。

内製支援

弊社ではお客様の作業や状況にマッチしたアノテーション経験人材やプロジェクトマネージャーの人材派遣にも対応しています。お客様常駐下でチームを編成することも可能です。またお客様の作業者やプロジェクトマネージャーの人材育成支援や、お客様の状況に応じたツールの選定、自動化や作業方法など、品質・生産性を向上させる最適なプロセスの構築など、アノテーションやデータラベリングに関するお客様のお困りごとを支援いたします。