Обзвон 28.08.26 — разбор диалогов

Что повторяется у всех

• «Александр Сергеевич» вместо своего имени — отметили пятеро из одиннадцати: Медведев, Лобановский, Заболоцкий, Охапкина, Донская. Это заглушка тестовой карточки, и почти половина назвала её первым же замечанием.
• «Слышно, что робот» — шестеро. Причём Лобановский и Кущ отдельно отмечают, что в первом пилоте это ощущалось заметно меньше.
• Паузы. Тут отзывы расходятся: Кущ, Лобановский и Донская говорят о долгих паузах — Лобановский называет 10 секунд, — а Некрасова и Медведев, наоборот, пишут, что пауз нет и скорость комфортная. Значит, задержка непостоянна, и средним значением её описывать нельзя.
• Резкое завершение — назвали восемь человек: Букачева, Лобановский, Кущ, Кулев, Кудряшов, Заболоцкий, Охапкина, Донская. Это самая частая претензия.

По частоте из одиннадцати отзывов: завершение разговора — восемь упоминаний, «слышно робота» — шесть, чужое имя — пять, паузы — пять. Голос и паузы этой выгрузкой не измеряются, но входят в число самых частых тем, и закрывать их надо метриками из логов голосового движка, а не текстом расшифровок.

Счёт ведётся по всем одиннадцати отзывам, включая отзыв Донской: её звонков в этой выгрузке нет, но написанное ею — такая же обратная связь по пилоту.

Резкие обрывы: три разные причины под одной жалобой

Это прямой ответ на вопрос «сколько реально было резких прощаний без завершения». В пяти звонках финальной фразы в выгрузке нет, но природа у них разная, и лечатся они по-разному.

• Целевой бизнес-код не выбран — звонки 11, 21, 24. В поле результата стоит CIB_IVR_Default: этого значения нет в нашем перечне из 14, это платформенный фолбэк. То есть dialog_end не вызывался, и вместо итога ветки записан подстановочный код. Кто именно положил трубку, по тексту не установить — Кущ, например, пишет, что по его ощущению её положил бот.
• Отказ есть, прощания нет — звонок 14. Бот договаривает «Хотели бы подключить? Это бесплатно», клиент отвечает «Нет», код CIB_IVR_Refuse проставлен — и на этом запись обрывается. Финальная системная фраза в выгрузке не зафиксирована. Кто разорвал соединение, по тексту не видно.
• Системного прощания в выгрузке нет — звонок 15. Клиент спрашивает «Можете перезвонить через два часа?», код IVR_callback240 проставлен — и тишина. Молчание самой модели здесь по промпту верно: просьба перезвонить — ветка без закрывающей реплики. Но по схеме DIVR после неё систему обязана произнести общее «Всего доброго! До свидания!». В звонках 1 и 10 с кодом IVR_callback60 она прозвучала, в звонке 15 — нет.

Разбора требуют все пять. В звонках 14 и 15 код проставлен, а системного прощания в выгрузке нет — здесь надо различить дефект воспроизведения и дефект логирования. По трём с CIB_IVR_Default сначала надо установить причину — почему не дошло до вызова функции. Третий случай при этом не сводится к нашему решению от 18.08. Надо выяснить, почему системный ход не отыграл: не сработал, или его нет в выгрузке. Отдельно стоит обсудить, не сделать ли фразу для перезвона осмысленной — «Хорошо, перезвоним позже. Всего доброго» — не возвращаясь при этом к двухходовой логике модели.

Коды завершения искажают статистику

Это то, чего в жалобах не было, и это важнее резкости.

• Звонок 16 — самый тяжёлый случай. Бот доводит клиента до кнопки «Подписать и отправить», клиент говорит «Все сделал» — и бот сразу объявляет: «Заявление подписано и отправлено в банк». Но промпт после этой кнопки требует ещё два подтверждаемых шага: подписать заявление СМС или токеном («Сообщите, когда подпишете») и дождаться сообщения об исполнении («Скажите, когда сообщение появится»). Оформление считается пройденным только после второго. Оба шага пропущены, итог — CIB_IVR_Complete. Здесь завышена не абстрактная метрика успеха, а факт поданной заявки.
• Звонок 8. Клиент прямым текстом просит перевести на 0321. Бот верно произносит закрывающую реплику ветки менеджера — и итог записан как CIB_IVR_Complete. Просьба о переводе потеряна и посчитана как успешная продажа.
• Звонок 2. Закрывающая реплика «ИП без сотрудников» произнесена правильно, разговор продолжился вопросом клиента — код снова уехал в CIB_IVR_Complete вместо CIB_IVR_DontTalk_DontRecall.
• Звонок 5. Клиент на шаге оформления говорит «Нет, у меня этого нет» — заявку он не подал. Итог CIB_IVR_Complete.
• Звонок 18. «Сможете сейчас зайти в личный кабинет?» → «Нет» → CIB_IVR_Refuse. Промпт это прямо запрещает: «нет» на вопрос о шаге оформления — ответ на вопрос, а не отказ.
• Звонок 1. «Мне сейчас неудобно» на шаге входа в кабинет → IVR_callback60. По промпту здесь предлагается СМС с инструкцией, а перезвон не назначается.
• Звонки 7 и 19. «Да, хорошо» и «Угу» приняты за согласие закончить разговор, оба записаны как CIB_IVR_Complete. Разобраны отдельно в находке про знаки внимания — их подтвердили сами участники.
• Звонки 12 и 13. Код CIB_IVR_DontTalk_DontRecall выбран при неустановленной форме бизнеса, а в звонке 12 клиент к тому же сказал, что с самозанятыми работает. Разобраны в находке про форму бизнеса.
• Звонок 14. На прямое «Хотели бы подключить?» клиент отвечает «Нет» — и сразу CIB_IVR_Refuse. По промпту первый обычный отказ требует один раз мягко выяснить причину; этого хода нет.

Смещение не одностороннее: звонок 18, наоборот, получает ложный отказ там, где отказа не было. Но по коду успеха перекос однонаправленный и крупный: неверны все шесть звонков с кодом CIB_IVR_Complete — 2, 5, 7, 8, 16, 19. Ни одно «успешное завершение» в этой выборке не подтверждается диалогом. Одиннадцать — тоже нижняя оценка: сплошной сверки всех 25 кодов с промптом не проводилось.

У звонков 2 и 8 общая причина — дрейф кода, против которого 18.08 писалось правило «код выбран заранее и сохраняется, пока клиент сам явно не отменит договорённость». В бою правило не держится.

Форма бизнеса не выясняется перед завершением

Организация во всех этих звонках — «Дуб зелёный»: ни «ИП», ни «ООО» в названии нет. Промпт на такой случай даёт прямое указание: «НЕ выбирай ветку ИП и НЕ завершай разговор. Задай вопрос о форме бизнеса». Вопроса «Подскажите, у вас ИП или ООО?» нет ни в одном из трёх диалогов.

• Звонок 13. «Сотрудников нету» → «А вы работаете с самозанятыми?» → «Нет» → прощание и CIB_IVR_DontTalk_DontRecall. Четыре хода на весь разговор, форма бизнеса не установлена.
• Звонок 12. Тот же путь, но хуже: на вопрос о самозанятых клиент отвечает «Угу», то есть они у него есть — и всё равно ставится код «ИП без сотрудников и без выплат самозанятым».
• Звонок 2. Бот произносит закрывающую реплику ветки ИП, тоже не выяснив форму бизнеса. Дрейф кода в CIB_IVR_Complete из находки про коды завершения случается уже после этой ошибки.

Это опаснее пропущенной закрывающей реплики: для ООО код CIB_IVR_DontTalk_DontRecall неверен по существу, и разговор закрывается с итогом, которого не было. Тот же дефект тестовый прогон 26.08 показал на стенде — там он воспроизводился во всех трёх повторах.

Бот повторяет сказанное и переспрашивает то, на что уже ответили

Флаг ловит любой дословный повтор реплики бота — и переспрашивание, и повторно зачитанный кусок презентации. Настоящие переспрашивания — в звонках 14, 15, 19 и 24; в звонке 2 дважды звучит фрагмент про СМС, а в звонке 5 — два уже произнесённых шаблонных ответа: про личный кабинет и про линию 0321. То, на что жаловались клиентские менеджеры ещё 25.08, воспроизводится и на живых звонках.

В звонке 14 клиент дважды прямым текстом говорит, что его не слышат. Это самый неприятный разговор в выгрузке — и он же единственный, где в имени клиента оказался мусор.

Закрывающая реплика: 0 из 6 на стенде, в бою чистого случая нет

Симптом, найденный тестовым прогоном 26.08, в бою повторяется: оба звонка с кодом CIB_IVR_DontTalk_DontRecall уходят к завершению без предусмотренной реплики.

• Звонок 13 — после «Нету» и «Нет» сразу «Всего доброго».
• Звонок 12 — бот выдал обрубок «С зарплатным проектом расчёты с самозанятыми станут проще.» Это не закрывающая реплика, а хвост питча.
• Реплика ветки «Деятельность не ведётся» не встречается за все 25 звонков ни разу.

Но утверждать, что боем подтверждён именно пропуск закрывающей реплики, нельзя. В обоих звонках модель ошиблась раньше — выбрала ветку ИП, не выяснив форму бизнеса, а в звонке 12 ещё и вопреки ответу клиента про самозанятых. Отделить «пропустила реплику» от «зашла не в ту ветку» на этих двух случаях невозможно. Чистого боевого случая — подтверждённое ИП, сотрудников нет, самозанятых нет, реплика пропущена — в этой выборке нет.

В звонке 2 текст реплики произнесён правильно, то есть воспроизвести его модель умеет; но и там вход в ветку был ошибочным по той же причине.

Совпадение стенда с боем при этом есть — только по другому дефекту: форма бизнеса не выясняется перед завершением. Он воспроизводится и там, и там, и в отличие от закрывающей реплики ничем не загрязнён.

«Добрый день, Мой Господин»

• Звонок 14 — «Мой Господин» вместо имени, произнесено три раза.
• Звонок 15 — «КОНСТАНТИН НИКОЛАЕВИЧ» капслоком; синтез читает такое иначе.

Нужна нормализация поля имени перед подстановкой: приведение регистра и отсечение заведомо нечеловеческих значений. Двадцать три звонка из двадцати пяти шли на одну тестовую карточку «Александр Сергеевич / Дуб зелёный», поэтому в боевой базе доля мусора может быть другой.

Бот вешает трубку на знаке внимания

Эта находка появилась только после сшивки с отзывами: оба человека описали её сами, независимо друг от друга.

• Звонок 7, Кудряшов Антон. «После моих слов „Да, хорошо“ попрощалась и отключилась. Хотя это была моя реакция на рассказ про выгоды». В диалоге ровно это: «Да, хорошо» — и прощание с кодом CIB_IVR_Complete.
• Звонок 19, Букачева Дарья. «В самом конце ЦКМ завершил звонок во время моего вопроса». В диалоге она разбирается с реферальной программой, говорит «Угу» — и разговор закрывается тем же CIB_IVR_Complete.

«Угу» и «Да, хорошо» — это знаки внимания, а не согласие закончить. Промпт прямо велит не считать вежливый отклик новым итогом. Оба звонка при этом попали в статистику как успешно завершённые — поэтому они же входят в спорные коды из находки про коды завершения.

В текстовой выгрузке может отсутствовать реально произнесённая речь

Важная оговорка ко всему разбору, и она подтверждается двумя отзывами.

• Звонок 21, Кущ Матвей. Он пишет: «На мой вопрос „Вы робот?“ замолчала. Я сказал „Алло“. Она сказала, что не слышит меня. Я повторил. Снова долго молчала, а потом положила трубку». В расшифровке этого обмена нет вообще: последняя реплика бота — отработка возражения, дальше пусто.
• Звонок 11, Гамидли Натаван. «Звонок сорвался». В выгрузке — только приветствие и ноль реплик клиента.

То есть часть реально произнесённого клиентом в текстовую выгрузку не попала. Почему — распознавание, логирование или обрыв тракта — по тексту не установить. Практический вывод от этого не зависит: «ноль реплик клиента» не значит, что человек молчал. И часть из пяти обрывов может быть не «клиент бросил трубку», а «бота перестали слышать или он перестал слышать». Нужны аудиозаписи и логи распознавания.

Три человека звонка не получили, один номер получил четыре

• Не дозвонились совсем: Донская Ольга, Дуденков Андрей, Фидаров Урузмаг. Ольга написала об этом в чат в тот же день.
• Номер 9807466647 получил 4 звонка — звонки 3, 13, 14, 22 — и его нет в списке участников. Это тот самый номер, на котором бот сказал «Добрый день, Мой Господин».
• Медведеву Константину звонили трижды — звонки 9, 15 и 20, все три в слоте 11:00.

Из 22 человек в списке звонок получил 19. При этом 4 из 25 звонков ушли на номер вне списка. Для второй волны стоит сверять список набора со списком участников до запуска.

Что сработало штатно

• Все 7 звонков с кодом SEND_SMS_* получили ветку успеха. Ветка сбоя «К сожалению не удалось направить СМС» не сработала ни разу. Для сравнения: 25.08 на ИФТ тестировщик ловил именно её — то есть тогда СМС реально не уходили, и это был дефект интеграции, а не модели.
• Звонок 9 — бот корректно отказался отправить СМС третьему лицу и объяснил ограничение.
• Звонок 23 — корректный отказ отправить информацию на почту.
• В 20 звонках из 25 финальная системная фраза прозвучала — прощание или СМС. Это про факт произнесённой фразы, а не про правильность итога: часть этих звонков закрыта спорным кодом.

Девять звонков без меток не значат девять безупречных

Метки в таблице расставлены по формальным признакам. Сплошной сверки каждого хода с промптом не проводилось, и в звонках без меток дефекты тоже есть. Два примера, найденных при выборочном чтении:

• Звонок 22. На вопрос о сотрудниках клиент отвечает «Один» — то есть сотрудник есть. По протоколу дальше идёт презентация «Есть сотрудники», а бот вместо этого спрашивает про самозанятых. Этот вопрос предназначен для ветки «сотрудников нет».
• Звонок 4. На вопрос «Откуда у вас мой номер?» бот отвечает: «Ваш номер есть в базе контактов Сбера по вашей организации». Такой фразы в промпте нет — ответ придуман, причём про источник персональных данных. Это стоит проверить отдельно: подобные формулировки бот сочинять не должен.

Поэтому «16 звонков с метками» — это про текущую разметку, а не про то, что остальные девять прошли без нарушений.