AIの “誤判定率” を捕捉しつづけよう！ 全てはカイゼンのため！
UuuKanKanクラウド社では、「解約リスク」を生成AIに判定させリアルタイムで共有しているが、その判定精度に課題があった。そこで、生成AIの「高リスク判定」に対して、人間が「正しい判定」もしくは「誤判定」のラベルを付けることとした。このプロセス改善により、判定精度が検証ができるようになり、プロンプトや集計グラフフォーマットの改善サイクルが回せるようになった。
※このプロセス改善ストーリーはフィクションです。実在の人物や団体などとは関係ありません。
1. 課題: 判定精度の検証が不十分
UuuKanKan クラウド社では、全社員が契約社ごとの利用状況を把握できる仕組みが整備されています。
具体的には、集計ツール『Looker Studio』にて作成された契約社ごとの利用状況グラフが、社内チャットツール「OpenChat」に週次で自動投稿されています。しかも、マルチモーダルな生成AIによる解約リスク評価文（A～Eの5段階評価）が添付されています。たとえば、カスタマーサクセスチームでは、解約リスクの高い顧客の利用状況を優先して確認し、解約リスクを低減させる策を立案しています。あるいは、フィールドセールスチームでは、ロイヤルティの高い契約社（解約リスクが低い契約社）に追加サービスの提案を行っています。
しかし、この AI によるリスク判定の精度検証は十分に行われていません。体感で3割程度の誤判定が発生しているとも認識されています。今後の事業規模拡大に備え、AI判定精度を向上させる体制を少しずつでも整備する必要があります。
2. 解決策: 地道なデータラベリング
プロセスオーナーは、“まずは “高リスク判定” (D～E) のレポートついて、人間がデータラベリングを行う、という方針としました。
具体的には、ワークフロー図設定を、次のように編集しました。
- 分岐ORゲートウェイを追加: 高リスク判定のレポートは、同時並行に分流させる
- 自動工程(件名変更)を追加: 自動的に件名に「Risk_」ラベルが付与されるように
- ヒューマン工程を追加: “同意判定” (Risk) もしくは “不同意判定” (not risk) されるように
- 自動工程(件名変更)を追加: “不同意” と判定されたレポートには「Wolf_Risk_」ラベルが付与されるように
このプロセス改善により、全ての “高リスク判定レポート” に対して、「Risk_」（リスク）もしくは「Wolf_Risk_」（狼リスク）のラベルが付与されるようになりました。全社員は、生成AIの判定精度（誤判定率）を検証できるようになりました。
※ “データラベリング” とは、「写真に馬が含まれているか」、「動画内に火災の映像が含まれているか」、「X線写真の点が腫瘍であるか」といった情報を、人間が判断して付与する作業です。これらのラベル付きデータは、人工知能モデルの学習にも不可欠なデータと言えます。
ワークフロー図 （BEFORE AFTER）
BEFORE (Professional edition):
AFTER (Professional edition):
3. 改善効果
生成AIによる解約リスク判定に「Risk_」（リスク）もしくは「Wolf_Risk_」（狼リスク）のラベルが付けられるようになったことで、UuuKanKan クラウド社には以下のような改善効果が見られました。
- プロンプト改善サイクルの加速:
- プロセスオーナーは、AIによる誤判定の例を分析できるようになった。
- プロセスオーナーは、プロンプト改善を頻繁に実施挑戦するようになった。
- 集計グラフ設定方法に対する知見の蓄積:
- AIが誤判定しがちな集計グラフレイアウトについて考察できるようになった。
- AIが読み取りやすい集計グラフレイアウトについての知見が溜まるようになった。
- 解約リスク判定の信頼性向上:
- 全社員は、誤判定レポート（狼リスクのラベル）に行動を惑わされるケースが低減した。
- 全社員は、正確なリスク判定に基づいて行動を計画できるようになった。
- チーム内での情報共有がスムーズになった。
4. 関連項目
- アラート通知は全て社内チャットへ: ノイズ通知があってもいい。即時に共有してほしい。
- アラート通知をスクリプトで短縮: 「利用規約メッセージ」（定型文）の共有は、無用です！
- 大量のグラフもAI支援で楽々分析: 集計レポートの枚数が多くて、実は…眠たい
- 生成AIの判定精度を向上させる！: AIの “誤判定率” を捕捉しつづけよう！ 全てはカイゼンのため！
- リスク検知から対策へ スムーズに: 「対策に着手すべきか？」を悩む時間が、むしろムダ！
