【スピンオフ】アノテーション品質や生産性を担保するための人材管理

これまで弊社ではアノテーションやAIに関する様々なブログを発信してきました。そこでは一般的な知識やノウハウを中心にお伝えしてきました。アノテーション作業はその内容を言葉にしてみれば一見簡単なように思えますが、「曖昧性」を多く含んだ「人で行うことが避けられない作業」のため、どうしても人と人の関わりが多くなります。そのため、ある意味泥臭く、巷に溢れるきれいな理屈では済まないことが多く起こり、品質や生産性を確保するためには、実は様々な経験とノウハウが必要になります。

 

そのため、実際のアノテーションの現場で起こる問題やその対応を具体的に知ることが、アノテーションを成功に導くヒントとして役立つことがあると考えています。

 

弊社の現場では、実際にどんなことが起こって、具体的にどういった対応や対策をしているか。通常のブログやコラムとは異なり、スピンオフブログ企画と題して、弊社ならではの特徴やこだわりなども含め、リアルな現場の実態をお伝えしたいと思います。

1. ヒューマンサイエンスの人材。直接契約へのこだわり

弊社では、アノテーション作業を行うすべてのアノテーターと直接契約を結んでおり、クラウドワーカーによるアノテーション作業は行なっておりません。もちろんクラウドワーカーにもそのメリットがあるのは承知していますが、それでも直接契約を選択する理由として「アノテーターと長期的な関係を構築することによってアノテーション作業の生産性と品質が担保できる」という考えがあります。弊社はマニュアル制作を中心とした「ものづくり」からスタートしました。ものづくりの中心には「人」があります。作業や仕事がうまくいくかどうかは、作業をする人とそれをマネジメントする人との関係に左右されると考えています。

 

>関連ブログ

クラウドソーシングを使用しないわけ

2. アノテーターの管理方法

アノテーション作業に限った話ではありませんが、仕事の品質と生産性を担保するためには、やはりより良い作業者を揃え、教育によってさらにパフォーマンスを高めていく人材管理の継続的な取り組みが欠かせません。今回は人材管理・人事施策の５つの観点「採用・配置・報酬・育成・評価」にそって、弊社のやり方をご説明いたします。

 

採用

弊社ではアノテーターを新規に採用する際、トライアルテストを実施してアノテーターとしての適性を判断しています。弊社のトライアルテストでは「仕様書や作業指示を正確に理解して作業を行える」という点を主に確認しています。結構ありがちなのが「仕様書をちゃんと理解しないまま作業をしてしまう」「作業過程で発生する追加や変更などの指示をよく確認しないで見落とす」というパターンです。指示や仕様書を正しく理解し作業する能力と姿勢は、作業のみならず、習熟や能力開発においても基本的な資質となるため、特に重要視しています。

 

トライアルテストが基準点以上であれば次のステップとして面談を実施します。面談では、緊張される方も多いので、できる限りリラックスしてざっくばらんなお話をできるように心がけています（ざっくばらんに話すことで、その人の「人となり」もより詳しく知ることができます。また、アノテーション作業の質疑応答などで必要とされるコミュニケーション能力や円滑なチームワークを築くために、普段どんなコミュニケーションをとる人なのか、といったことを掴みたいという側面もあります。）。

 

配置

アノテーション作業は画像系・テキスト系様々な種類のデータに対して行います。「すみません、虫が苦手なんです」というアノテーターに「大丈夫です！慣れますよ」と、無理やりそういった画像のアノテーションをお願いするわけにはいきません。また、アノテーターにはそれぞれ得意・不得意があります。弊社では、案件が終了する毎に、アノテーターの評価を行ない、その評価結果や適性に基づいて最適なアノテーターを案件にアサインしています。

 

また、高品質・生産性なアノテーターの中には、他のアノテーターからの質問に対して、積極的に的確な意見を伝えるなど、仕様理解やコミュニケーション能力などが特に優れている人がいます。 そうしたアノテーターにはQA担当やレビュワー、さらにPMのサポート業務まで役割を用意して、適材適所の配置を行なっております。

 

報酬

案件の見積もり時には、サンプルデータでの作業結果や、お客様へヒアリングした仕様に基づいて作業工数ならびにアノテーターの報酬作業単価を算出します。ですが、場合によっては想定を上回る作業工数になってしまうこともあります。

 

実際、ある案件では想定した以上に作業工数が大幅にかかることが判明しました。アノテーターの方からも「1日頑張っても半日分にもならないです…」といったことがありました。 作業単価から時給に換算すると、最低賃金を大きく下回っていた、ということになってしまっては、モチベーションが上がらないのはもちろんですし、なんといっても作業に対して適正な報酬を支払うことは我々企業が果たすべき責任です。この案件のように、作業が見積もり時の工数を大幅に上回ってしまうと判明した場合には、実際の作業に見合うように、案件の途中で報酬単価の見直しをすることもあります。（その結果、最終的な利益が圧迫されてしまった…となってしまうこともあるのですが）。

 

事前に報酬単価のベースとなる作業工数をきちんと把握できないの？と思われるかもしれませんが、開発するAIは多種多様です。正確な工数を算出するために、過去の類似案件を参考にしたり、お客様から頂いたサンプルデータで実際に作業を行い工数を算出しても、いざ蓋を開けてみると、全く想定と異なることも多くあります。

 

お客様、弊社問わず、やはり事前に対象のデータ全てを把握できるわけではありませんし、それを行うことも現実的ではありません。そのため実際に作業を進めると、お客様が想定した仕様や想定では収まりきらないエッジケースが頻出し、作業が仕様の通りに進まないことや、画像やファイルあたりのアノテーション対象数が想定より多く工数が増加する、などといったことは頻繁に発生します。またこの辺りは別のテーマとしてお話できればと思います。

 

育成（能力開発）

適性に応じて案件に配置したとしても、作業を始めてみたら必要以上に難しい、と感じてしまうアノテータもいるでしょう。その結果、作業に慎重になり過ぎるあまり、生産性が伸び悩んだり、仕様理解が進まないままアノテーションをして、間違えたことに気付かずエラーを多く出してしまう、といったことが起こることも多くあります。そうした場合、仕様書の理解を深め、生産性と品質を必要なレベルに高めるために、弊社では1on1ミーティングやチャットツールでの密なコミュニケーションを通じた教育・能力開発を重視しています。

 

個別対応もですが、メンバー全体でベストプラクティスを共有する「情報共有会」なども効果的です。ある案件で「どうしても判断する際に考え込んでしまって生産性が上がらないです」という悩みを持ったアノテーターが複数いました。そこで生産性が抜群に良いトップアノテーターに、実際の作業を画面共有してもらい、解説しながら進めてもらうことにしました。手際の良さもさることながら、悩みそうになった時の「これはこれまでにつけたラベルと同じものと判断できますね」といった、スピード感や決断の根拠がわかりやすかったことを覚えています。悩んでいたアノテーターも「おかげで、そこまで悩まなくてもいいんですね」といったポシティブな感触を得られたようでした。結果翌日からの生産性は下限を大きく上回るようになりました。

 

評価

各案件が終了するごとにアノテーターの評価を行なっています。弊社では以前は自由記述の所感と全体的な評価のみでしたが、より客観的な評価をできるように、項目を細かく分けて品質・生産性・コミュニケーションなど、多数の評価項目を設定して評価することで、次の案件でアサインする際に役立てています。

 

とはいえ、同じような案件に、同じ作業者を続けてアサインしたものの、前回の案件ではとても良かったけれど、今回の案件では思ったほど生産性が伸びなかったな、というケースもあります。「前回はうまく見切ることができたんですが、今回の案件では、興味のある内容だったのでエッジケースのラベル判断の際に、どうしても深掘りしたくなってしまいまして」といった話をアノテーターから聞くと「評価って難しいなぁ」と思うこともしばしばあります。

3. まとめ

AI開発の中で、アノテーターの作業は、PCとネットワーク環境さえ整っていれば、プログラミングなどの特別な知識や技術がなくてもできる、比較的人を選ばない仕事と言えます。また、案件毎にまとまった期間があるとはいえ、特別な場合を除き継続的な雇用は難しく、どうしても期間限定の仕事になります。そういった点では、クラウドワーカーであれば、短期間で人材も集めやすく低予算で進められるでしょう。そうしたメリットは承知していますが、アノテーション案件を数多くこなしてきた弊社としては、人材を集める手間や教育の手間がかかるとは言え、品質と生産性を担保するためには、直接契約によって確保したアノテーターと密な関係を構築して、適切な人材マネジメントをする方がより実りある結果が得られると考えています。

 

アノテーションは人の手による作業がどこかに入ります。例え今後自動アノテーションツールの性能が上がったとしても、どうしても最後の仕上げや確認には人の手による作業が必要になります。弊社では「人と人のつながり」や「人」を重視した人材マネジメントをすることによって、高品質かつ高い生産性を誇るアノテーションをお客様にお届けしたいと考えております。