Files
portal/app/tests/Feature/Bot/DialogRunFixesTest.php
T
Дмитрий b037a216ce fix(bot): держим нить разговора и не теряем телефон клиента
Прогон 46 диалогами (250 реплик подряд в одном чате) вскрыл то, чего не видел
прогон отдельными вопросами:

- Клиент оставил телефон → бот не отвечал ВООБЩЕ: письмо в поддержку слалось
  синхронно внутри ответа, SMTP не отозвался → упала вся задача (tries=1).
  Теперь номер в чате = заявка на звонок: принимаем всегда (даже без просьбы
  бота), письмо уходит через очередь и не может уронить ответ.
- Бот «забывал» себя: сторож резал цену, взятую из истории чата, ответ пустел
  → эскалация. Числа из своих прошлых ответов теперь разрешены; память чата
  3 → 5 пар реплик; в эскалационную ветку тоже передаётся история.
- AnswerGuard: + телефон поддержки (его нет), + юр-гарантии в новых оборотах
  («Да, законно», «Штраф не прилетит»), + враньё «на паузе списаний нет»,
  + выдумки про 18:00/ночь, + «цена зависит от ниши»; снимает висящее «Но…»
  и голое «Правильно, не будут» после вырезанной лжи.
- Промпт: не повторять сказанное, не поддакивать клиенту, без нумерованных списков.
- pravilo-18-00.md: 18:00 — граница для ИЗМЕНЕНИЙ, а не конец приёма заявок.

Тесты 120/120. Бот НЕ на проде.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-07-13 04:52:09 +03:00

259 lines
14 KiB
PHP
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
<?php
declare(strict_types=1);
use App\Jobs\Bot\ProcessJivoMessageJob;
use App\Mail\BotContactRequestMail;
use App\Models\BotDialog;
use App\Models\KnowledgeChunk;
use App\Services\Bot\AnswerGuard;
use App\Services\Bot\BotAnswerService;
use Illuminate\Foundation\Testing\RefreshDatabase;
use Illuminate\Support\Facades\Http;
use Illuminate\Support\Facades\Mail;
uses(RefreshDatabase::class);
/**
* Находки прогона ДИАЛОГАМИ (46 разговоров, 250 реплик, 12.07.2026). Прогон отдельными
* вопросами их не видел — они вылезают только в живой ленте чата, где бот обязан помнить,
* что уже сказал, и правильно принять оставленный телефон.
*/
beforeEach(function () {
config()->set('services.jivo_bot.outbound_url', 'https://bot.jivosite.com/webhooks/p/t');
config()->set('services.support.email', 'support@liderra.ru');
config()->set('services.yandexgpt', [
'api_key' => 'k', 'folder_id' => 'f', 'model' => 'yandexgpt-lite/latest',
'endpoint' => 'https://llm.api.cloud.yandex.net/foundationModels/v1/completion',
'timeout_seconds' => 8,
]);
KnowledgeChunk::create([
'source_path' => 'help/b.md', 'title' => 'Как пополнить баланс', 'tour' => null,
'topics' => 'пополнить, баланс, минималка', 'chunk_index' => 0,
'content' => 'Пополнить баланс можно картой или по счёту.',
]);
Http::fake(['bot.jivosite.com/*' => Http::response(['ok' => true])]);
});
/** Ответ модели, который получит бот. */
function llmSays(string $text): void
{
Http::fake([
'bot.jivosite.com/*' => Http::response(['ok' => true]),
'llm.api.cloud.yandex.net/*' => Http::response([
'result' => ['alternatives' => [['message' => ['role' => 'assistant', 'text' => $text]]]],
]),
]);
}
/**
* 🔴 Находка 1 (D28): клиент оставил телефон, почта не ответила — задача упала (tries=1),
* и клиент не получил НИЧЕГО. Ответ клиенту важнее письма.
*/
it('почта упала — клиент всё равно получил подтверждение, что номер принят', function () {
Mail::shouldReceive('to')->once()->andThrow(new RuntimeException('SMTP недоступен'));
(new ProcessJivoMessageJob('chat-mailfail', 'c1', 'верните мне деньги'))->handle();
(new ProcessJivoMessageJob('chat-mailfail', 'c1', '+7 999 123-45-67'))->handle();
$last = BotDialog::where('direction', 'out')->latest('id')->firstOrFail();
expect($last->message)->toBe(BotAnswerService::CONTACT_TAKEN_TEXT);
});
/**
* 🔴 Находка 2 (D29): клиент сам, без просьбы, написал номер — бот ответил «не могу работать
* с персональными данными в чате» и соврал «мы не перезваниваем». Номер в чате = человек
* хочет, чтобы перезвонили. Принимаем ВСЕГДА, просил бот телефон или нет.
*/
it('клиент оставил номер сам, без просьбы бота → контакт принят и ушёл письмом', function () {
Mail::fake();
llmSays('Пополнить баланс можно картой.');
(new ProcessJivoMessageJob('chat-selfphone', 'c2', 'как пополнить баланс'))->handle();
(new ProcessJivoMessageJob('chat-selfphone', 'c2', 'вот мой номер +7 900 000-11-22'))->handle();
Mail::assertQueued(BotContactRequestMail::class, fn ($m) => $m->phone === '79000001122');
$last = BotDialog::where('direction', 'out')->latest('id')->firstOrFail();
expect($last->message)->toBe(BotAnswerService::CONTACT_TAKEN_TEXT);
});
/**
* 🔴 Находка 3 (D29): «верните мне деньги» проскочило мимо стоп-темы — слово «мне» между.
* Деньги назад — всегда живой специалист.
*/
it('возврат денег с любыми словами внутри → эскалация', function () {
Http::fake();
foreach ([
'верните мне деньги за вчерашние заявки',
'хочу вернуть свои деньги',
'сделайте возврат средств',
] as $question) {
$answer = app(BotAnswerService::class)->answer($question);
expect($answer->escalate)->toBeTrue()
->and($answer->text)->toContain('живой специалист');
}
});
/**
* 🔴 Регрессия от находки 3: «так, вернёмся к деньгам. картой можно?» — это НЕ про возврат.
* Первая версия паттерна уводила такого клиента к специалисту (повторный прогон 12.07.2026).
*/
it('«вернёмся к деньгам» — обычный вопрос, не возврат: без эскалации', function () {
llmSays('Да, картой можно — в разделе «Биллинг».');
foreach (['так, вернемся к деньгам. картой можно?', 'вернёмся к оплате — счёт выставите?'] as $question) {
$answer = app(BotAnswerService::class)->answer($question);
expect($answer->escalate)->toBeFalse();
}
});
/**
* 🔴 Находка 4 (D19, D45, D11): бот выдумал ТЕЛЕФОН ПОДДЕРЖКИ — его не существует
* (podderzhka.md: только почта и чат). Клиент будет искать номер, которого нет.
*/
it('сторож режет выдуманный телефон поддержки', function () {
$guard = app(AnswerGuard::class);
$text = 'Напишите на support@liderra.ru. Или позвоните в поддержку — там подскажут.';
expect($guard->clean($text, 'Поддержка отвечает в чате и на почте.'))
->toBe('Напишите на support@liderra.ru.');
});
/**
* 🔴 Находка 5 (D20, D07): юридические гарантии проскакивают мимо сторожа в новых
* формулировках: «Да, законно», «Штраф не прилетит», «Всё по закону».
*/
it('сторож режет юридические гарантии в любых формулировках', function () {
$guard = app(AnswerGuard::class);
$cases = [
'Да, законно. Человек дал согласие.' => 'Человек дал согласие.',
'Штраф не прилетит за сам звонок. Звоните спокойно.' => 'Звоните спокойно.',
'Всё по закону, без бумаг и курьеров. Счёт в разделе Биллинг.' => 'Счёт в разделе Биллинг.',
];
foreach ($cases as $text => $expected) {
expect($guard->clean($text, 'Заявки приходят по согласию абонента.'))->toBe($expected);
}
});
/**
* 🔴 Находка 6 (D33): «минималка какая была, я забыл» → бот УШЁЛ К СПЕЦИАЛИСТУ, хотя сам
* назвал 100 ₽ тремя репликами раньше. Причина: сторож режет цену, которой нет в найденных
* статьях, — а бот взял её из истории чата. Числа из СВОИХ прошлых ответов уже проверены.
*/
it('цена из своего же прошлого ответа в этом чате не считается выдуманной', function () {
$guard = app(AnswerGuard::class);
$context = "### Как пополнить баланс\nПополнить баланс можно картой или по счёту.";
$history = 'Минимальное пополнение — 100 ₽, максимум 1 000 000 ₽ за раз.';
expect($guard->clean('Минималка — 100 ₽.', $context.' '.$history))
->toBe('Минималка — 100 ₽.');
});
/**
* 🔴 Повторный прогон (D46): «цена заявки зависит от вашей ниши и региона» — выдумка.
* Цена зависит ТОЛЬКО от ступени объёма (tarify.md). Клиенту это обещание про «свою цену»
* особенно вредно: он строит на нём расчёт.
*/
it('сторож режет выдуманную зависимость цены от ниши и региона', function () {
$guard = app(AnswerGuard::class);
$text = 'Цена заявки зависит от вашей ниши и региона. Точную цифру видно в Биллинге.';
expect($guard->clean($text, 'Цена зависит от ступени объёма.'))
->toBe('Точную цифру видно в Биллинге.');
});
/**
* 🔴 Повторный прогон (D33): «Заявки перестают приходить в 18:00, ночью их нет» — выдумка.
* 18:00 — граница вступления в силу ИЗМЕНЕНИЙ (pravilo-18-00.md), а не конец приёма заявок.
*/
it('сторож режет выдумку «заявки перестают приходить в 18:00»', function () {
$guard = app(AnswerGuard::class);
$text = 'Заявки перестают приходить в 18:00. Изменения вступают в силу со следующего дня.';
expect($guard->clean($text, 'Изменения до 18:00 работают с завтрашнего дня.'))
->toBe('Изменения вступают в силу со следующего дня.');
});
/**
* 🔴 Повторный прогон (D08): «на паузе списаний нет» — враньё ПРО ДЕНЬГИ. По pauza-proekta.md
* уже заказанные заявки дойдут и будут оплачены: «поставил паузу вечером — спишется».
*/
it('сторож режет враньё «на паузе списаний нет»', function () {
$guard = app(AnswerGuard::class);
$cases = [
'Правильно, не будут. На паузе заявки не приходят, поэтому и списаний нет.',
'Нет, при паузе списания не идут.',
'Пока проект на паузе, деньги не списываются.',
];
foreach ($cases as $text) {
expect($guard->clean($text.' Пауза включается кнопкой в карточке проекта.', 'Пауза действует сразу.'))
->toBe('Пауза включается кнопкой в карточке проекта.');
}
});
/**
* 🔴 Контрольный прогон: то же враньё, но ДРУГИМИ СЛОВАМИ — сторож его не поймал.
* Живые фразы из чата, слово «списание» в них вообще не звучит.
*/
it('сторож режет враньё про паузу в живых формулировках из чата', function () {
$guard = app(AnswerGuard::class);
$context = 'Пауза действует сразу, но заказанные заявки дойдут и будут оплачены.';
$out = $guard->clean(
'Правильно, не будут. На паузе заявки не приходят, значит, и платить не за что. '
.'Деньги начнут списываться только когда вы запустите проект обратно. '
.'Кнопка «Приостановить» — в карточке проекта.',
$context
);
expect($out)->toBe('Кнопка «Приостановить» — в карточке проекта.');
});
/**
* 🔴 Контрольный прогон (D33): «ночью заявок не бывает», «поток идёт только днём» —
* выдумка: в статьях такого нет. И висящее «Но» в начале ответа.
*/
it('сторож режет выдумку про «ночью заявок не бывает»', function () {
$guard = app(AnswerGuard::class);
$out = $guard->clean(
'Но я вижу, что поток идёт только днём, ночью заявок не бывает. '
.'Точную границу подскажут на support@liderra.ru.',
'Изменения до 18:00 работают с завтрашнего дня.'
);
expect($out)->toBe('Точную границу подскажут на support@liderra.ru.');
});
/**
* Косметика от сторожа: он вырезает первое предложение, и ответ начинается с «Но…» —
* человек читает обрубок (повторный прогон 12.07.2026, D28/D32/D39/D43).
*/
it('после чистки ответ не начинается с висящего «Но»', function () {
$guard = app(AnswerGuard::class);
$text = 'Да, законно. Но человек дал согласие оператору.';
expect($guard->clean($text, 'Согласие абонента.'))->toBe('Человек дал согласие оператору.');
});
it('короткое «а минималка какая была?» после ответа бота не уводит к специалисту', function () {
llmSays('Минимальное пополнение — 100 ₽.');
$history = [
['role' => 'user', 'text' => 'как пополнить баланс'],
['role' => 'assistant', 'text' => 'Минимальное пополнение — 100 ₽, картой или по счёту.'],
];
$answer = app(BotAnswerService::class)->answer('а минималка какая была?', $history);
expect($answer->escalate)->toBeFalse()
->and($answer->text)->toContain('100');
});