プロンプト・役割分担の最適化の結果は？生成AIによるブログ作成事例

1. 前回のまとめ：生成AIでブログを書いてみて、ぶつかった壁

マニュアル制作業務への生成AI活用を検討するため、私たちはまず自社ブログ作成業務で生成AIを活用してみることにしました。プロンプトを調査し生成AIの基本的な使い方を学んだり、プロンプトをメニュー化した「執筆補助ツール」を開発したりしました。このような取り組みの中で「生成AIは便利だな」と思いつつも、以下のような困りごとも出てきました。

・執筆の過程で、企画者が検討したSEO対策上必要なキーワードが抜けてしまうことがある

・アウトプットの品質がまちまちで、場合によっては人間がかなり調整しなければならない
（例えば、問題提起から始まり、解決策の提示で終わるかと思いきや、最後まで問題点について論じてしまっていたなど）

今回は、そのような課題にどう対処し、その後の取り組みをどう進めたかを書きたいと思います。

2. 対策①プロンプトを改善する

前回のブログで紹介しましたが、弊社のブログ執筆フローを再度ご紹介します。

1. 骨子確認～調整：
弊社では、ブログの骨子（ブログタイトル、概要、参考情報）を作成するいわば企画者と、本文を作成する執筆者が異なります。この工程では、執筆者が、企画者が作成した骨子の内容を見ながら、ざっくりとどのような原稿にするか、話の流れをどうするかなどを検討します。場合によっては、骨子自体を調整することもあります。

2. 執筆：
骨子をもとに、ブログ記事原稿を執筆する工程です。執筆者の体験や所感を織り込みながら、おもしろく、すきま時間に気軽に読んでもらえるようなブログを目指して、内容を膨らませていきます。マニュアルとは全く異なる文章を書くことになるため、文章の専門家といってもなかなか時間がかかります。

3. レビュー：
社内関係者に共有し、レビューをしてもらう工程です。レビュー者は、間違った内容が原稿に書かれていないか、流れに違和感がないか、読みやすく書かれているかなどの観点で確認します。レビュー者も日々マニュアル制作プロジェクトに関わっているメンバーなので、わかりやすさ、読みやすさに関しては特に多くのコメントが挙がります。

4. 調整：
レビュー結果を原稿に反映して、原稿を調整する工程です。必要に応じて、2回目のレビューを実施することもあります。

5. 提出：
社内のWebページ管理者に原稿を提出します。

まず取り組んだのは、「執筆」の工程で使うプロンプトの改善でした。前回のブログでプロンプトをメニュー化した執筆補助ツールを作成したことを書きましたが、ツールにセットしていたプロンプトが「執筆して」「文章を膨らませて」といった抽象的なものだったためか、いいなと思える出力はさほど多くありませんでした。狙ったSEOキーワードが入らなかったり、ブログという割に教科書のような固い文章が出てきたり、よくよく読むと意味不明だったり…。とにかく、生成AIに自由に文章を書かせるだけでは不十分だったのです。

そこで、プロンプトの調査を進め、文章を書かせるにあたりどのようにプロンプトを書くべきか、どのようなポイントを押さえるべきかなどを学びました。そして、執筆補助ツールに実装していたプロンプトを書き直しました。また、「骨子確認～調整」では執筆補助ツールではなくChatGPTを単独で使っていたのですが、ここで使用するプロンプトのテンプレートを用意しました。テンプレートを作ったのは、人によってプロンプトの上手・下手がばらつかないようにするためです。

このプロンプト改善とテンプレート化が意外と難しく、試行錯誤の連続になりました。生成AIへの指示を少し変えただけで出力が大きく変わってしまったり、出力内容はよくても形式が指示どおりにならなかったり…。プロンプトをしっかり考えることは、「生成AIに何を・どこまでやってもらうか」を明確にすることでもありますので、プロンプトを考えながら「どこまで生成AIにやってもらえばいいんだっけ？」「これって、プロンプトにしなくても人間が調整したほうが早いし確実な気がする」と悩みました。

何度もプロンプトと出力結果を見比べてプロンプトを調整していくのは骨が折れる作業でしたが、この試行錯誤を通して、生成AIに何を・どこまでやってもらうかをしっかり決めて、それを明確な言葉＝プロンプトにして生成AIに指示することが重要なのだと実感しました。

マニュアル制作においては、マニュアルの目標品質を明文化したり目次構成を作ったりする工程を「設計」と呼び、非常に重要な工程と位置付けていますが、生成AIの業務利用においては、プロンプトの作成がまさに「設計」工程であり、ここがアウトプットの品質を左右する重要な工程なのです。
ただし、決まった形のプロンプトを使っても、すべてのケースにうまく対応できるわけではありませんでした。結局、その都度、状況に合わせてプロンプトを調整したり、生成AIと追加のやり取りをしたりする必要がありました。

3. 対策②「人間がどこまで調整するか」を明確にする

プロンプトを工夫してブログを書いてみたはいいものの、よいプロンプトがあれば常に完璧なブログができるというわけではありませんでした。

プロンプトを変えながら生成AIとやりとりをするうちに気づいたのが、生成AIに100点満点の出力を求めないことが重要ということでした。生成AIに完璧な文章を書いてもらうことを期待すると、「思ったよりいけてないな…生成AIはやっぱり業務には使えないな」という結論になりがちです。そうではなく、「生成AIに任せるのはここまでで、そこからは人間が調整しよう」という役割分担を考え、それをワークフロー化するべきだと考えました。

とはいえ、人間が調整する部分も担当者の裁量に任せてしまっては、どれくらい生成AIの出力に手を入れるかが人によってばらついてしまい、結果として、最終的な成果物の品質もばらついてしまいます。そこで、生成AIにブログ原稿を出力させた後の工程で、それをチェック・修正するためのチェックリストを作りました。

チェックリストには、ブログの読みやすさや伝わりやすさを向上させるための項目を含めました。例えば、以下のようなものです。

・漢字とひらがなの比率はおよそ3：7になっているか

・意味のわからない言い回しがされていないか

・言いたいことが端的に伝わるか

生成AIが生成する文章は、一見きれいに見えても、よくよく読んでみると意味が通らない箇所や、冗長でわかりにくい箇所があったりします。その部分は、少なくとも当時は、上記のようなチェックリストを使って人間が手を入れたほうが早く確実に改善できました。

このように、プロンプトを改善しつつ、生成AIと人間の役割分担を明確にし、かつ人によってばらつきが出ないようにすることで、前回のワークフローよりもブログ執筆の効率化と品質の平準化ができました。

また、生成AIの活用について議論する定例会では、ブログ執筆担当者間で生成AIが出力する文章の特徴を共有したり、人間が特に手を入れたほうがよい部分について話し合ったりして、大きな学びも得られました。

4. TCシンポジウムで発表しました！

ここまで紹介したブログ作成での生成AI活用の試みについて、2023年に一般財団法人テクニカルコミュニケーター協会主催の「JTCAシンポジウム」で発表しました。オンラインとオフラインでそれぞれ発表しましたが、どちらの場でも生成AIの活用に興味を持つ多くの方々と情報を共有でき、とても有意義な機会になりました。

当時、特に来場者の方に興味を持っていただけたのは、前回のブログでご紹介した「執筆補助ツール」のデモンストレーションでした。実際にツールが動いている様子を見ていただいたことで、「業務にも応用できそう」と感じた方が多かったようです。質疑応答では「執筆補助ツールを販売する予定はありますか」と尋ねてくださった方もいらっしゃいました。

セッション終了後のアンケートでも、たくさんの前向きなコメントをいただくことができました。「ライティングの工数削減の可能性を感じた」「生成AIと人間の得意・不得意が整理できた」「（執筆補助ツールを）マニュアル制作の補助として使ってみたい」「翻訳分野への応用も知りたい」など、皆さんの関心が高まっていることが伝わってきました。

その一方で、業務での生成AIの活用に懸念を抱いた方の声も届きました。特に、「ファクトチェックが難しそう」「生成された情報の根拠をどう確認すればよいか」といった、生成AIが嘘を出力してしまうことへの対応についてコメントしてくださる方が多くいらっしゃいました。こうしたアンケート結果から、生成AIがもはや未来の話ではなく、もう現場レベルで「どう使うか」が問われる段階に来ているということも見えてきました。

5. まとめ：生成AIと人間が連携する形でワークフローを設計しよう

マニュアルやブログに限らず、ライターという職業は生成AIの登場により消滅するといわれることがあります。しかし、ここで考えるべきなのは新しい技術に立ち向かって勝つ方法ではなく、ライター（人間）が主導権を握りながらも、新しい技術をどう味方につけてワークフローを整えるかだと思います。

今回の試みを通して、この考えを一層強く持つようになりました。世の中でライティング業務を続けていくためには、「どこまで生成AIに任せるか」を決めて生成AIと人間の役割分担をしっかりと考え、「人間がどこまで手を入れるか」を含めてワークフロー化していくことが重要なのです。
この「ワークフロー化する」というのがポイントで、生成AIに任せる範囲だけを突き詰めて考えても、結局、生成AIの出力を多く調整する人とそうでない人が出てきてしまい、最終的な成果物の品質が人に依存する、つまり業務が属人化してしまいがちです。だから、それを避けるためにワークフロー化が必要なのです。

生成AIに限ったことではありませんが、新たな技術を業務に活用することを考えようとすると、ついその技術を導入すること自体が目的になり、本来やりたかった業務の効率化や属人化解消が達成できない…といった状況に陥りがちです。今回の取り組みでは、そのような状況を回避するために、「生成AIはあくまで手段である」という考えを念頭に置き、効率化と属人化防止のための改善を検討してきました。

その意味では、今回見直したワークフローはまだまだ改善の余地がありました。複数人で進めている作業だったの で、作業分担があいまいな個所がありましたし、プロンプトにもまだまだ見直せるポイントがあったのです。次回のブログでは、ワークフローをさらに見直して、一旦完成としたところまでのお話を書きたいと思います。最後まで見届けてくださる方は、ぜひ、最終回となる「LLM複数活用も！生成AIを活用したブログ作成のワークフロー改善」をご覧ください。

さて、ちょうどこの時期に新たにClaudeやGeminiなど、GPT以外のLLMが話題になりました。実は、この取り組みと並行して、「複数種類のLLMに同じ指示を出して得られた文章を、現役のマニュアル制作ディレクターが比較する」という試みもしていたのです。それについては、また別のブログで書きたいと思いますので、どうぞお楽しみに。

【関連ブログ】

生成AIを用いたブログ作成の道のり：業務での活用検討のはじまり
LLM複数活用も！生成AIを活用したブログ作成のワークフロー改善