Project Story
プロジェクトストーリー

プロジェクトストーリー2チャットボット導入プロジェクト

自然言語処理エンジンの把握、データの見直し
地道な努力で目標を達成したチャットボット導入

業務システム
チャットボット導入プロジェクト

introduction

有人で運用していたある企業の業務システムのシステム部門。
システムの使い方の説明、
Q&Aにチャットボットを導入して無人化するプロジェクト。
精度がなかなか上がらない中、
自然言語処理エンジンと蓄積された問い合わせ履歴データを見直し、
精度を実用に足る精度まで引きあげた。

ここがポイント

  • チャットボットの自然言語処理エンジンの性質を把握
  • 回答精度を上げるためにQAデータを見直す
  • 前処理、データ加工の重要性
MEMBER

新技術推進部門

大森 裕貴

入社2017年

回答精度が上がらないチャットボット

業務システムのチャットボットとは？

大森ある企業で数年前から新業務システムを導入していて、その使い方など不明な点をシステム部門方々が手作業で対応していました。しかし、働き方改革、DX化やリモートワーク推進の流れもあり、問い合わせ対応をチャットボット(人工知能を活用した自動会話プログラム)での対応にしようというプロジェクトが立ち上がりました。新業務システム導入後、問い合わせの履歴は台帳に記され、管理されている状態でした。まず、システム部門が作成したFAQ集を検証用の自然言語処理エンジンに学習させて、6~7割くらいの精度が得られている状況でした。私たちは実装する段階で精度を８割に上げる目標値を設定。その目標に向かってチャットボットの構築とデータの整理に取り掛かりました。事前検証の結果も悪くなかったので、多少のQAデータの修正で、８割達成できるだろうと思っていました。
　ところが、チャットボット側のシステムを構築して、QAデータを入れテストしたところ、どうもうまくいかない。関係部署に先行公開して使ってもらっても精度は上がりませんでした。

自然言語処理エンジンの見直しから再スタート

回答精度を上げるために具体的にどのようなことを？

大森チャットボットでは、自然言語処理エンジンを使っています。ユーザーは自然文でチャットボットに何か質問をします。たとえば「申請書のフォーマットを教えてください」と質問します。そうすると、自然言語処理エンジンは、事前に登録されているQAデータの中から、どのQAが一番近いか全てスコア計算し、スコアが一番高いものをユーザーに返すという仕組みです。
　使用した自然言語処理エンジンは新しい製品で、そのチューニング手法として公開されているドキュメントが少なくユーザーフォーラム等の非公式の情報を含めても限られていました。そこで、一般的な自然言語処理エンジンの検索の仕組み、スコアリング方法などがこの製品にも当てはまるのか検証するために、一旦QAデータを外して、ある単語を入れるとスコアはどう変化するか、外すとどうなるかなど基礎的なところから見直しました。
　一方でQAデータも見直すと表現にばらつきがあったので、語尾の言い回しなどでスコアが振り回されないように、一定の方針を決めて全て書き直し、再登録しました。

案外泥臭いデータサイエンスの世界

地道な作業が続いたのですね。

大森そうですね。でもこの作業を経て、回答精度８割という当初の目標に達成しました。この案件を通じて、使用するエンジンの性質やクセを十分に理解して取り組むことが必要だと学びましたね。
AIやビックデータ、チャットボットなど、「簡単」「便利」というイメージがありますが、実際に動かす前処理、データの加工が８割だとよく言われます。今回のエンジンの性質に合わせたQAデータの見直しなどもそうです。データサイエンスの世界は、地道な作業が必要とされますね。案外泥臭い世界かなと思います。

今後取り組みたいことなどありますか？

大森クラウドを使ったアプリケーション開発に興味があります。今、クラウド内のサービスがいろいろとあるので、それらのサービスを組み合わせていくと、既存の古いシステムでは得られないメリットが出てくるのではないかと思っています。そういう開発の案件などにチャレンジしてみたいと考えています。

他のコンテンツを見る