「我々はデータを信じる（”In Data We Trust”）」

メトリクス・KPIについて

宇宙空間における重要ミッションにあたり、ミッションのあらゆる側面についてシミュレートする必要があるとします。以前のミッションからその内容を理解している側面もあれば、現在のミッション特有の側面もあると思います。本ブログでは、Genesysからみた「宇宙空間」におけるシミュレーション、すなわち製品を世に生み出すまでの過程で学んだこと、そして、そこにおける各種メトリクスについてみていきます。

なぜコールセンター運営にあたってKPI設定が重要なのか？

例えば、ボット用のデータ収集を行うにあたっては、ボット運用前から各種メトリクスやデータを入手しておかなければ、効率を最大化できません。適切なKPI設定をして初めて、何を準備する必要があるのか理解することができるのです。

ボットの準備
ボット作成においては、ユースケースを具体的なゴールに転換する方法、ユーザーの属性やスロットとしてどのような情報が必要となるのか、さまざまなユーザーといかにやりとりを行なっていくのか、といったことを道筋を立てて決定していく必要があります。当社でこれまでボットを開発し、現在データ収集を行う中で得られた教訓として、以下のようなものがあります。

1. 開発者のバイアスを減らす: 開発者には独自の趣向やバイアスがあるため、すべてのタイプのユーザーに対応したボットを作成することはほぼ不可能といってよいでしょう。このため、ボット返答の作成にあたっては社内チームにて何回もフィードバックを繰り返していくことが必要となります。

2. 謙虚さ・思いやり: ボット作成にあたって最も難しいのは、ユーザーの立場に立った謙虚な受け答えができるようにすることです。エージェントが人間である場合、何十年にもわたって習得されたソフトスキルによって、怒ったり、混乱したり、苛立っているユーザーに対応していくことができますが、ボット作成にあたっては、ユーザーが苛立ちを覚えるようなシナリオを想像する必要があります。ここでは、状況を落ち着かせるためのボットの返信について考える必要があり、単にユーザーの要求に対して的確な回答を提供するだけでは十分とは限らないのです。

3. 明確な事項に関する確認を行う: 人間であるユーザーがボットとやりとりを行うにあたり、ユーザーは次の2つのパターンを両極端とするやりとりのパターンを想定しています。つまり、IVRが発達したバージョンのボット、またはその真逆のパターンとしてほぼ人間に近いやりとりを実現できるボット、という2パターンの間のどれかを想定することになります。ここで、2番目のパターンに対応するのは一筋縄ではいきません。たとえば、答えが不確かな事項に対して確認を要求するのはユーザーにとって違和感を生じさせる可能性があったりします。

4. 「プランB」を決定する: ユーザーとボットとのやりとりは、ユーザーの目的やユーザーの認識を超えた部分でも展開されます。これはすなわち、ボットが（まだ）対応できない部分を理解し、その場合における緊急プランを立てておく必要がある、ということでもあります。たとえば、やりとりがうまくいかないという兆候が見え出した場合、人間のエージェントがすぐに対応するのか、サービスチケットを発行するのかを決定する、といったことが挙げられます。

メトリクスの特定
ビジネスにおいては、データとそこから得られる情報がすべてといってよいでしょう。しかし、データから有益な情報を得るというのは全体の半分にすぎません。必要なデータを特定し、分析できるようにこのデータを処理できるようにするためにはまず、自社ビジネスによって重要となる各種メトリクスを決定する必要があります。よく着目されるメトリクスとしては以下のようなものがあります:

目的・属性の把握率: 銀行サービスボットにおいては、顧客の目的を認識し、データを収集し、一連の情報を人間のエージェントに伝えるにあたって、目的・属性の把握率はとても重要となります。これらの率は、目的・属性を認識するためにボットに与えられた機会の数に対してボットが認識した目的や属性の数の割合として定義されます。当社でのデータ収集においては、パフォーマンスを特定する上で目的・属性把握率を主なメトリクスとして用いています。

・タスク完了率: 銀行サービスボットの目的が顧客のリクエストに対応することであるならば、最重要メトリクスはタスク完了率となります。これは、ボットが処理した合計やりとり数に対してボットが実際に問題解決に寄与したやりとり数の割合として定義されます。

・ターン: ターンとは、顧客とエージェント間の一回ごとのやりとりをいいます。顧客とエージェントのやりとり全体が終了するまでには、複数のターンが必要となる場合があります。ターンを分析することで、少ない確認回数でボットがユーザーの目的を理解できたかどうかを把握することが可能となります。同時に、属性について言及された段階で属性が特定されたかどうかも知ることができます。ターン数が少ないほど、やりとりの質が良かったということになります。当社では、平均ターン数に目的認識率を組み合わせて分析を行いました。これは、ボットが確認のための質問を行うことを通じて、認識しづらいユーザーの目的をボットが認識できたかどうかを把握する際に役立ちました。

・コンテインメント: これは、チャットコープス全体のうち、ボットがどの程度オートメーション対応を実現できたかを示すためのメトリクスです。これは、ROI（投資収益率）を把握したり、ボットのリリースにあたってのゴールを設定したりする際に役立ちます。

・フィードバックスコア: ボットをオートメーション化することで、作業効率は上昇し、作業コストは減少します。一方、これによってやりとりの質が損なわれるようではいけません。そのため、やりとりの質が良かったのか、普通だったのか、ネガティブだったのか、という点について把握することが重要となります。これによって、ボットのオートメーション化によりコストが削減されると同時に、顧客が離れてしまうことを防ぎ顧客満足度を向上させることができます。当社では、ボットとのやりとりについてのユーザーの満足率を把握するため、アイコンの表示を行いました。

データキャプチャの構造化
上記のメトリクスを計算するにあたっては、やりとりの文脈に関する情報を可能な限りログで記録しておくことが大切です。

表面上の事実を認識する: 現実世界におけるシナリオでは、表面上の事実を認識することが困難な場合がありますが、管理された実験のための環境においてはこれを容易に認識することが可能となります。ボット試用をモニタリングするビジネスアナリストやコンサルタントは、想定されるユースケース（すなわち、ユーザーの目的・属性に関する表面上の事実）を認識できる必要があります。これにより、ボットが収集したユーザーの目的・属性を体系的に把握することができます。当社のデータ収集作業にあたっては、ユーザーに提示されたシナリオにもとづいた想定目的に関する情報収集を行うことで、時間や費用がかかる記録作成の手間を省くことができました。

各ターン・やりとりの特定: あるターンを別のターンから区別したり、一つのやりとりの中におけるターンの数を特定したりするには、いわば識別子としての十分な情報が必要になります。加えて、特定のやりとり内におけるターンおよびそれとは別のやりとり内におけるターンを区別できることが重要です。

ユーザーセッション: 問題解決が行われた後にやりとりが終了したのか、またはユーザーにおいて嫌気がさして途中でやりとりが終了したのかを把握することが大切です。問題解決が行われなかった場合、ユーザーが別のやりとりを開始したのか、そして問題は無事解決されたのか、という点も把握する必要があるでしょう。こうしたことを把握するには、ユーザーセッションごとの個別のIDを読み取る必要があります。

混乱マトリックスを用いた、不明確要素の明確化: 混乱マトリックスを用いることで、ユーザー目的把握のパフォーマンスおよびわかりにくい目的に関するヒントを得ることができます。また、ボットに変更を加えることで、ボットの正確さ、リコール率、f1スコアなどがどのように変化するのかを把握することも可能となります。これについては、本シリーズにおける次のブログ記事で詳しく説明していきます。

本シリーズの2番目の記事において、繰り返しのシナリオに対するユーザーの行動を理解するにあたって、特定のシナリオを同じ顧客に対して繰り返し適用することが重要だということについて説明しました。表面上の事実およびユーザーセッション識別子に加え、意図的にユーザーに対して繰り返し適用を行なったシナリオについてもフラグ付きで解説しています。

メトリクスのオートメーション化
データのオートメーション化に際しては、メトリクスの決定およびメトリクスを取得できるようにするためのデータの構造化という、2つの段階があります。データが適切に構造化されている場合、各種前提および公式を用いることでメトリクスを計算することができます。しかし、メトリクスの中には、オートメーション化することで正確性が損なわれてしまうメトリクスも存在します。

オートメーション化によりメトリクスを取得するかどうかを決定するにあたって重要な要素として、エラー許容があります。手動でメトリクスに関する記録作成を行う場合、オートメーション化でメトリクスを取得するのと比較して時間・費用がかかります。このため、高度な正確性を追求する場合に必要となる人間による記録作に伴う時間労力を念頭に置いて、データメトリクスの正確性をどこまで求めるのかを判断する必要があります。

●　お問い合わせはこちら：

●　PureCloudのオンラインデモはこちら：

●　お役立ち無料ホワイトペーパーダウンロードはこちら：

 

本シリーズでこれまでに公開したブログ記事は以下よりご覧いただけます:

当ブログは、Aravind Ganapathirajuによって共著されています。