プロダクト開発に関する知見を共有「Product Engineer Session #2」を開催しました

<html><head></head><body><h2 id="はじめに">はじめに</h2>
<p>ボイスボットはユーザーと音声で対話するAIシステムであり、カスタマーサポート分野を中心に幅広く活用されているソリューションのひとつです。特に24時間365日稼働する電話対応サービスでは、サービスの可用性と品質が非常に重要です。</p>
<p>RightTouchでも、<strong>RightVoicebot by KARTE（β版）</strong> を提供しており、顧客体験の向上に貢献する音声チャネルの自動化に取り組んでいます。</p>
<p><a href="https://righttouch.co.jp/news/UmmmSdRh" target="_blank" rel="noreferrer">プレスリリースはこちら</a></p>
<p>しかし、音声インターフェースはWebなどの文字ベースのUIと比較して外部からの動作検証が難しく、特に電話においては以下のような音声固有の課題があります。</p>
<ol>
<li>入力の不確実性: ネットワーク品質が音声品質に影響を及ぼすため、常に同様の入力をボイスボットに与えることが困難です。</li>
<li>音声認識の不確実性: 音声認識エンジンは、分析された音声スペクトグラムから特徴量を抽出しそれを確率モデルを用いて判定を行うため出力が不安定になります。この問題は、ボイスボット本体とその音声を検証するテストランナーの両方に存在します。</li>
</ol>
<p>さらにボイスボットは、内部的には「正常に動作している」ように見えても、実際の通話においては音声が再生されない、認識がうまくいかないといった問題が発生していて検知できないケースがあります。</p>
<p>このように、ユーザーとの電話を通じた音声体験はブラックボックスに埋もれやすく、内部メトリクスだけではその品質を保証しきれません。</p>
<p>そこで私たちは実際の通話経路を通じてボイスボットの応答を確認する外形監視を構築し、ユーザー視点での品質の担保を行なっています。</p>
<p>本記事では、その外形監視システムの概要と、運用における工夫や課題への対応について紹介します。</p>
<h2 id="システム概要">システム概要</h2>
<p>私たちが実装したボイスボット外形監視システムは定期的にプログラムから電話発信を行い、その応答を自動的に評価しています。</p>
<h3 id="発信">発信</h3>
<p>実際の発信は、テレフォニーAPIを用いて行います。</p>
<p>テレフォニーAPIとは、プログラムから電話の発信・着信などの電話機能を制御できるようにするクラウド上のインターフェースのことで、代表的なものにTwilioが存在します。</p>
<p><img src="https://ik.imagekit.io/righttouch/c5d545ba-5e65-4297-b60d-622e8b237eb2/voicebot-monitoring-01.png" alt="外形監視用テストランナー、テレフォニーAPI、ボイスボットサーバーが矢印で接続されたシステム構成図。外形監視用テストランナーからテレフォニーAPIへ発信リクエストが送信され、音声パケットが双方向でやり取りされる。テレフォニーAPIはボイスボットサーバーとも同様に接続され、発信と音声パケットが矢印で表現されている"></p>
<p>※図では省略していますが、実際にはボイスボットサーバーもテレフォニーAPIを用いて電話を受けています。</p>
<h3 id="入力の不確実性に対するアプローチ">入力の不確実性に対するアプローチ</h3>
<p>通話の品質やラグなどにより、テストプログラムが送出した音声が正しくボイスボットに伝わらないケースがしばしばあります。</p>
<p>この「入力の不確実性」に対応するため、テストは複数回リトライする設計にしています。具体的には、初回の失敗後に数回再試行し、連続して失敗した場合のみ「テスト失敗」とみなします。</p>
<h3 id="応答の評価">応答の評価</h3>
<p>応答評価は以下のステップで行われます：</p>
<ol>
<li>音声認識：ボイスボットからの音声を音声認識エンジンにかけて文字起こし</li>
<li>編集距離の計算：認識結果と期待する結果との編集距離を求める</li>
<li>類似度の算出：編集距離を正規化し、一定の類似度以上なら成功と判定</li>
<li>リトライ評価：失敗した場合もリトライを実施し、連続失敗時に最終失敗と判断</li>
</ol>
<p>ここで使用している編集距離の算出方法は以下のようなコードになります。</p>
<pre><code class="language-tsx hljs"><span class="hljs-comment">// getEditDistanceは2つの文字列間の編集距離（挿入・削除・置換の最小操作回数）を計算する関数</span>
<span class="hljs-keyword">const</span> editDistance = <span class="hljs-title function_">getEditDistance</span>(recognized, expected);

<span class="hljs-comment">// 編集距離を最大文字列長で割ることで正規化し、1に近いほど期待通りの応答だったと判断できる</span>
<span class="hljs-keyword">const</span> similarity = <span class="hljs-number">1</span> - editDistance / <span class="hljs-title class_">Math</span>.<span class="hljs-title function_">max</span>(recognized.<span class="hljs-property">length</span>, expected.<span class="hljs-property">length</span>);
</code></pre>
<p>この手法を用いることで、たとえ数文字の誤認識があっても過剰なな失敗判定を避けられます。</p>
<h3 id="テストケース">テストケース</h3>
<p>テストケースとしては、以下のような主要なシナリオをカバーしています。</p>
<ul>
<li>ユーザーの発話をボイスボットがオウム返しする</li>
<li>ダイヤルパッド入力への応答を確認する</li>
<li>入力が無いまま一定時間経過する（タイムアウト）</li>
</ul>
<h3 id="外形監視失敗時のオペレーション">外形監視失敗時のオペレーション</h3>
<p>テスト結果は Datadog に集約され、ダッシュボード上で可視化されます。</p>
<p>サービスの性質、障害の影響範囲は大きく、即時の検知が必要なので各チャネルに通知を行なっています。Slackをはじめとして、即時で気づくことが難しいためPagerDutyを用いて電話、SMSでも通知される形になっています。</p>
<p><img src="https://ik.imagekit.io/righttouch/d19942d8-6029-4996-bab0-1694e7b143ae/voicebot-monitoring-02.png" alt="外形監視用テストランナーがDatadogに失敗通知を送信し、DatadogがSlackとPagerDutyに通知を送信するシステム構成図。PagerDutyは電話やSMSを通じてエンジニアに通知を行う。各コンポーネントは矢印で接続され、システム内の通知の流れが示されている"></p>
<h2 id="おわりに">おわりに</h2>
<p>RightTouchではカスタマーサポート市場の改革に挑むプロダクトエンジニアを採用中です。<br>
もし興味があれば、ぜひお話ししましょう！</p>
<ul>
<li><a href="https://righttouch.co.jp/recruitment/engineer" target="_blank" rel="noreferrer">エンジニア採用サイト</a></li>
<li><a href="https://righttouch.co.jp/jobs/engineer" target="_blank" rel="noreferrer">エンジニア求人情報の詳細</a></li>
<li><a href="https://speakerdeck.com/righttouch/righttouch-company-deck-ver1-dot-0" target="_blank" rel="noreferrer">Company Deck</a></li>
</ul>
</body></html>

24時間安定稼働のために：ボイスボット外形監視システムの構築と運用