【スピンオフ】ヒューマンサイエンスのアノテーション作業のマネジメント 〜品質担保のために急がば回れ。回り道が近道になる〜

1. アノテーション作業におけるマネジメントって？

みなさんはアノテーション作業について、どのようにお考えでしょうか？例えば車のアノテーションについてです。「写っている車をバウンディングボックスで囲んで、指定されたラベルを付与するだけだから、そんな難しいことはないのでは？」と考える方もいらっしゃるでしょう。確かに、手を動かす部分で言えば、複雑なテクニックは必要なく作業できることが多いことも事実です。

 

ですが、ピントが合っていない画像はどのように四角で囲うのか、障害物などで隠れて、全体を囲めないときはどうするかなど、さまざまなパターンがアノテーションでは次々と出てきます。一つ一つの作業は単純でも大量のデータを扱い、大勢で作業を行うことが多いので、要件や作業方法の定義、作業指示、作業者からの質疑応答などの情報管理を適切に行わないと、品質の一貫性が保てず、後々の作業のやり直しや、作業者個々への質疑応答への対応が大変になります。またお客様から頂く指示の内容が、作業者へ適切に伝達、成果物に反映されないなどの事態も引き起こします。その結果、品質のバラつきが大きくなるばかりでなく、作業者の生産性も上がらず、納期を守ることが厳しくなる、という問題も生じます。

 

これらに対しては適切なマネジメントがあってこそ対応できます。ですが、このマネジメントの重要性はアノテーション作業の単純さの影に隠れてしまい、軽視されがちに感じています。

 

また、アノテーションベンダーにご依頼いただくお客様からしても、このマネジメントの中身はブラックボックス化しているように見え「マネジメントコスト、ひいてはマネジメントコストが乗ったアノテーションの単価は果たして適切なんだろうか？」と感じられることも多いかと思います。

 

そこで、今回は弊社のアノテーション作業においてのマネジメントはどんなことを行なっているかを、ご説明したいと思います。

2. 弊社のアノテーション作業/プロジェクトの流れ

弊社では通常、アノテーションプロジェクトを次のようなステップで進めます。

 

要件定義 →社内キックオフ/プロジェクトレビュー →サンプル納品 →作業者教育/作業者トレーニング　→アノテーション作業→ 納品 →社内振り返り →お客様との振返り

 

このようにアノテーション作業そのもの以外にも、さまざまなステップがあることがお分かりいただけると思います。「単純な作業なのにずいぶん回り道だなぁ」と感じるかもしれませんが、それぞれのステップに大切な目的があり、後々大変なことになるため避けて通れません。そのため弊社はそれぞれのステップで、弊社ならではの、ある意味泥臭いノウハウやこだわりをちりばめています。

 

【要件定義】

お客様がAI開発を通して実現したいことについて、お打ち合わせでヒアリングします。お客様のご要望・ご希望に寄り添って、それを実現するアノテーション作業の仕様詳細を決定していきます。サンプルデータがあれば、ご指定の（または弊社が準備する）ツールでPMが作業を実際に行ってみて、疑問点の洗い出しを行います。また大抵の場合、お客様からいただく仕様書に加えて、弊社で補足資料を作成します。これらをもとに、さらに打ち合わせを重ねて、作業にスムーズに入れるように準備します。

 

【社内キックオフ/プロジェクトレビュー】

社内の関係者を集めて、プロジェクトの計画、マネジメントの方法などをレビューします。計画段階で想定されるリスクへの対応などの検討や情報共有を行い、計画に抜け・漏れがないかどうかを多角的にレビューすることでアノテーション作業やプロジェクトをより円滑に進められるようにします。この段階で準備や想定リスクへの対応漏れが見つかることもありますし、より良い作業やプロジェクトの進め方が提案できる場合もあるので、作業に入る前に必ず実施します。

 

【サンプル納品(分納・初回納品)】

お客様とお打ち合わせした内容が的確に作業内容や成果物に反映されているかを、事前のサンプルデータ、または作業開始初期にお客様に納品してご確認いただきます。データ形式に不備がないか、アノテーション作業の精度や仕様認識にズレや問題がないか、また、お客様の要望があればそれを反映して、作業仕様書にも追記します。お客様の要望にあったアノテーション作業を円滑に進めるための非常に重要なステップです。

 

【作業者教育/作業者トレーニング】

要件定義もサンプル納品も無事終了したら、あとは作業仕様書と作業データを作業者に渡して「あとはよろしくね！」では済みません。
作業者とのデータのやり取り方法や作業にまつわるルールなどを記載した「作業者に向けたガイダンス資料」や、仕様書をよりかみ砕き、効率的かつ安定した品質で作業ができる手順書を作成する必要があります。それらを用いてアノテーション作業の内容説明を行い、また難易度や必要に応じて、作業者のトレーニングを設けます。

 

【アノテーション作業】

作業者の「作業に対する十分な理解」が確認できたところで、実際のアノテーション作業に取り掛かります。マネジメントの面では、一般的な進捗管理、アノテーターの成果物の品質を日々モニター、チェックを行うことに加え、事前に入念に作業仕様を固めてもなかなか網羅できない、日々発生するエッジケースや例外に対する疑問点について、方針を決めたり、お客様と質疑をして、常にクリアに作業ができるようにします。また、お客様からのフィードバックなども取りまとめてQ&Aシートなどでメンバーに共有し、作業への反映を徹底します。必要に応じて変更点、エッジ・例外ケースなどへの対応方法やノウハウを共有するためのチームミーティングを行うなど、その作業は多岐にわたります。

 

<参考ブログ>

【スピンオフ】仕様書でカバーしきれないエッジケースとのつきあい方 ～アノテーションの迷いを引き起こすエッジケースを乗り越えて～

【スピンオフ】教師データは良い教師づくりから〜現場で必要とされるコミュニケーションとは～

 

【納品】

アノテーションされたデータに対する日々の品質チェックに加えて、指定された納品形式、デリバリー方法、納品数量、データのウィルスチェックなど、最終的な確認を実施して納品を行います。

 

【社内振り返り】

社内の関係者とプロジェクトの振り返りを行います。案件が計画通り進んだか、どのような反省点があったか、案件を通して得られたノウハウを共有することで、PM間のナレッジの偏りをなくし、どのPMが対応しても同じマネジメント品質を確保できるようにしています。

 

【お客様との振返り】

お客様から案件についてご意見をいただくことで、更なるサービスレベルの向上を図っています。お客様が忙しく時間が取れないという場合には、アンケートなどでご回答いただくこともあります。実際にいただいたお客様の声はこちらの事例もご参照ください。

 

<参考事例>

アノテーション委託で効率化、品質向上、コスト削減を実現 ――分業によりAI開発の作業効率が改善、開発期間の短縮化に貢献（SCSK株式会社様）

高速かつ正確なアノテーション作業をアウトソーシング化で実現 機械学習システムの精度・信頼性を確保 （住友重機械工業様）

 

3. まとめ

このように、弊社ではアノテーションの作業やプロジェクトを通してお客様と密にコミュニケーションをとり、ご要望や課題を解決するように心がけております。またこれまで述べてきた上記のようなプロジェクトマネジメント行うことは、開発全般で当たり前のことでしょう。一方、アノテーションは作業が単純なため、ここまで手の込んだマネジメントは必要ないのでは？と思われがちです。ですが、「大量データ」「大人数」「長期間」「曖昧性のある作業」「適切な生産性や納期」といった隠れた難題があり、作業者に仕様書とツール、データを渡して「あとはよろしくね！」というわけには行かないのが現実です。結局のところ、適切な要件定義、作業者教育や情報管理など、一般的なプロジェクトのマネジメントに必要な管理を行うことが、アノテーションにおいても大切です。手間がかかり、遠回りのように見えますが、それが結果近道となります。

 

これまで述べてきたように、品質と生産性を適切に保つために、案件の最初から最後まで丁寧なマネジメントすることに弊社はこだわりを持っています。また、マネジメントがアノテーション作業の裏でこのように進められていることがお分かりいただけたでしょうか。安い価格という観点からだけベンダーを選んでいては、品質を担保するための適切なマネジメントを行わないアノテーションサービスでAI開発が失敗してしまうかもしれません。

 

ただ、一方でお客様の要望も様々です。中には「とにかく、コストや納期を優先で！」といったオーダーもあります。そういった際には、このような丁寧なマネジメントを行ったのでは、価格に転嫁され、お客様の求めるものになりません。そのような状況では、より簡易的なマネジメントプロセスや、オフショアの活用、より低コストで要求される品質を担保できる管理方法など、コスト低減に向けたさまざまな方策を探ります。 弊社のマネジメントのこだわりに頑なになるのではなく、お客様の要望に寄り添い見極めながら、柔軟に対応し、状況に応じてマネジメントの方法を使い分けられることが、弊社の強みだとも感じています。 その根底には、弊社は何よりも、お客様のご要望に沿うアノテーションサービスをご提供したい、とのこだわりが文化として根付いていると感じています。