ChatGPTでアノテーションはできるのか？

1.ChatGPTとは？

文章を書くのが大変なので、ChatGPTに説明してもらいました。ChatGPTに「ChatGPTってなんですか？」と質問したところ下記の回答がありました。

ChatGPTは、OpenAIが開発した言語モデルの一つです。GPTは”Generative Pre-trained Transformer”の略で、機械学習の分野である自然言語処理において、文章生成や文章分類、文章要約、対話システムなどに活用される深層学習モデルです。ChatGPTは、GPTを用いて自然言語の対話システムを構築したものであり、ユーザーとの自然な対話を行うことができます。ChatGPTは、人工知能の分野で注目される技術の一つであり、様々な応用が期待されています。

 

すごいですね。。。あっさりと説明してもらいました。

では、CahtGPTはどんなことができるのでしょうか？これもChatGPTに聞いてみました。

ChatGPTは、自然言語処理の分野で利用される言語モデルの一つであり、様々なことができます。以下にChatGPTの代表的な機能をいくつか挙げます。

テキスト生成: ChatGPTは、与えられたテキストに対して、自然な文章を生成することができます。例えば、指定されたテーマについての短い記事や、小説のような長いストーリーなどを生成することができます。

 

文章分類: ChatGPTは、与えられた文章がどのカテゴリーに属するかを分類することができます。例えば、スポーツ記事か政治記事か、映画のレビューが好意的か否定的かを分類することができます。

 

文章要約: ChatGPTは、与えられた文章を要約することができます。長い記事やレポートを短く要約し、その概要を把握することができます。

 

対話システム: ChatGPTは、人工知能を用いた対話システムとしても利用されます。ChatGPTを用いたチャットボットを作成することで、ユーザーと自然な会話を行うことができます。

 

以上のように、ChatGPTは自然言語処理の分野で幅広く活用され、様々な応用が期待されています。

 

とのことです、上記文章をGoogleで検索してみましたが、検索ではヒットしませんでした。ですので、どこかにある文章をコピーして持って来ているというのではなくちゃんと文章を生成しているようです。ChatGPTではもっと他にもいろいろとできることはありますが、概要の説明としては十分ですね。

2.ChatGPTでアノテーションができるのか？

では、本題のChatGPTをアノテーション、特にテキストアノテーションの業務で使えるのでしょうか？上記ChatGPT自身が答えたChatGPTができること以外にも、実はプログラムのコードを書くこともできます。プログラムコードが書けるということは、タグも理解できるということです。文章を理解することができて、かつタグも理解することができるのであれば、テキストアノテーションも出来るかもしれません。

 

またまた、ChatGPTに聞いてみました。「ChatGPTでアノテーションはできますか？」

回答は下記の通りでした。

一般的なChatGPTの実装では、アノテーションを行うことはできません。ChatGPTは、大量のテキストデータを学習することで、自然言語処理のタスクを実行することができます。アノテーションは、人間がラベル付けを行う作業であり、そのような作業をChatGPTが行うことはできません。

 

ただし、ChatGPTを用いたアプリケーションを作成することで、人間がアノテーションを行うことができます。例えば、ChatGPTを用いた対話システムを開発する際には、事前に収集した対話データを人間がアノテーションして、学習データとして使用することができます。また、ChatGPTを用いた文章分類のタスクにおいても、事前に収集したラベル付きのデータを学習データとして使用することができます。

 

できないということです。ラベル付けやテキスト処理の命令文を分かりやすく記述し、作業としてリクエストすればできるかもしれません。ダメもとで、試してみたいと思います。

2-1.タグ付け

試しに、大谷翔平のWikipediaの一部を使って、「組織」と「名前」と「日時」に関する部分にタグ付けをするようにリクエストしてみます。分量をAIが理解しやすいように、一文一意で文章も短くして記載してみました。そしてその命令文の下に、対象となる文章をコピペで貼り付けて実行します。下記のようにリクエストしてみました。

 

 

そしてChatGPTからの回答は以下の通りでした。流石に処理が終わるまで1-2分かかりました。結果はどうでしょうか？

 

 

結構ちゃんと正しくタグ付けしてくれていますね。MLBやNLBもちゃんと「組織」として判断していますね。ただ、残念ながら、一部見逃してしまっているところもあります。文脈で組織として認識するのが難しかったのでしょうか。でも、まずはChatGPTにやらせて、そのあとチェックしながら修正するということでも問題なさそうなレベルです。

2-2.感情を分析する

今度は、テキストの文章を読み取って、感情分類とかはどうでしょうか？チャットでのやり取りの文章を使って、感情の分析をしてみたいと思います。分析の元になるのは、プルチックの感情の輪で定義されている8つの基本感情を使おうと思います。その中でどの感情が関係しているのかを判断してもらいます。8つの基本感情とは、「喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、期待」です。

 

 

8つの中からどれかを、選択するのかと思いきや、8つの内の２つを選んできました。また分析までしっかりとしています。最初8つだと選択肢として多いので少し減らしたほうがいいかなと思ったのですが、全然問題ありませんでした。これらすべてを10秒たらずで判断して文章化できるとは、恐れ入りました。

2-3.似たような文章を作成する

AIモデルを教育するために、同じ意味で別の表現をいくつも作成することもあります。それもできるかどうか試してみたいと思います。

「この書類をA4で10枚印刷して」という文章をベースに、別の言い方を5パターン考えてもらいました。

 

 

あっさりと、文章を作成してくれました。自分では思いつかない文章構造やキーワードも含めてくれるので、そのまま使うことができなくても参考にすることもできそうですね。

 

ChatGPTでは外国語の翻訳も可能です。
翻訳や各機能の精度について検証した結果は、こちらからご覧ください。
関連ブログ：ChatGPTの翻訳力は？翻訳の各工程で徹底検証

3.セキュリティについて

2023年２月17日現在、ChatGPTはResearch Previewとして公開されています。ChatGPTに入力したデータや出力したデータはOpenAI社によって調査される場合があります。本リリース後も、オプトアウトしないかぎり研究に利用されます。オプトアウトを申請するか、もしくは機密情報や個人情報を入力しないよう注意してください。

4.まとめ

複雑なプログラミング言語を使わなくても、日本語の文章で指示ができるのは本当に便利だと思います。命令文を記載する際には、分かりやすくする必要がありそうです。分かりやすく書いたつもりでもうまく結果を得られないこともありますので、うまくいかなかった箇所を調べたり、文章の表現方法や使う単語を変えてみたりしてチューニングする必要はありそうです。

 

ChatGPTの回答に驚くものの、やはり正しくないこともあります。その点は避けられない事実ですが、一方で人間が作業・判断すれば絶対間違わないのかというとそんなことはありません。ですので、AIに作業をさせたあと人間でチェック・修正をするというフローを作れば、実運用でも使えると感じました。あとは、GPTの正解率で活用できるかできないかが決まると思います。GPTの回答の正解率が高ければ、生産性は上がると思いますが、正解率が低すぎると、全体をチェックして間違っている箇所を多く修正する分、いちから作業をするよりも余計手間と時間がかかってしまう可能性があります。そのあたりを、パイロットプロジェクトで試してみて判断することが大切です。

 

いずれにしても、今後教師データ作成の部分でもGPTを活用して効率化を図れる可能性はあると思いました。今後もいろいろと試していきたいと思います。

 

なお、ChatGPTでいろいろと試していたら、“Too many requests in 1 hour. Try again later”と言われてしまいました。実際に業務で使おうとする場合は、APIの契約をした方がよさそうです。APIについては下記ページを参照して下さい。

https://openai.com/api/