【スピンオフ】チェックを重ねることでアノテーション品質は向上するか？〜弊社アノテーション現場での品質管理～

3. チェックを増やす前にヒューマンサイエンスの現場が考えること

具体的なチェックや作業についての話に戻りますが、チェックという作業は、それ自体、ある意味付加価値を産む作業ではないので、本来必要がなければ、やらないに越したことはありません。ただどうしてもアノテーションは人で行う作業のため、ケアレスミスは発生しますし、また作業者の習熟度によっても、チェックをやめることはできません。そのため、チェックのツール化や自動化、さらには、エラーが発生しづらい作業プロセスの構築、エラーを生み出さない作業者の教育が大切になります。

これらにはやはりコストが掛かりますが、いくらチェックの自動化やツール化を図ったとしても、チェックの後に待ち受けている「修正」という作業は、悪く言えばやり直しです。修正にかかる工数のみでなく、それらに付随する準備作業、また情報のやり取りや管理などを含めると、エラーの発生予防にコストをかける方が結果的に低コストで済みます。

また品質の面では、ツール化や自動化できるチェックを除き、チェックの対象にエラーが多すぎると、チェッカーの作業リズムや集中力が中断され、検出力が落ちることにもつながり、チェックの効果や効率性が半減します。そのため弊社では、仕様理解の徹底、質疑応答等のミーティングを設けるなど、人の教育を大切にしています。また手順書整備等の事前準備や、エラーの発生を抑制するプロセスの事前検討など、予防活動を重視しています。加えて、作業者が自分のリズムや集中力を維持して作業を行える環境を整え、チェッカーの検出力を維持することも非常に大切だと考えています。