Files
portal/app/tests/Feature/Bot/BotAnswerServiceTest.php
T
Дмитрий 9847ed749d feat(jivo-bot): всеобъемлющая клиентская инструкция — 15 статей + защита секретов
Разведка портала 5 агентами (экраны, биллинг/настройки, Конкурентное поле,
все подсказки (?), внутренние правила) → база знаний бота выросла 4 → 15 статей:
начало работы (что такое заявка, подарок 1000₽), проекты (лимиты/регионы/дни,
правило 18:00 МСК), тарифы (7 ступеней, списание по факту), пополнение (100₽,
карта/счёт/акт), баланс и пауза (разморозка «всё-или-ничего»), сделки и канбан
(5 статусов, экспорт), Конкурентное поле (сбор 300₽/изучение 50₽, очередь,
ручной режим, дубли, метки номеров), смена источника, настройки и 2FA,
уведомления, импорт CSV, API/webhook, мобильная версия, дашборд, поддержка.

Защита коммерческой тайны (проверено агентом-цензором — 15/15 статей чисто):
ни слова про поставщика/каналы/закупку и про то, что заявка может уйти не только
одному клиенту; вопросы об эксклюзивности и перепродаже — жёсткая стоп-тема
(бот не отвечает НИ В КАКУЮ сторону, зовёт живого специалиста), внутренние
движки не упоминаются, ложных обещаний (авто-возврат, «Команда») нет.

Стоп-темы разделены: HARD (деньги/скидки/юр/эксклюзив — всегда) и PERSONAL
(«мой баланс») с исключением HOWTO — «перенести мои заявки из амоцрм» больше
не уходит к человеку, бот рассказывает про импорт.

TDD: 40/40 зелёные. Живая проверка 20+ вопросов на стенде.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-07-12 11:02:23 +03:00

190 lines
9.9 KiB
PHP

<?php
declare(strict_types=1);
use App\Models\KnowledgeChunk;
use App\Services\Bot\BotAnswerService;
use Illuminate\Foundation\Testing\RefreshDatabase;
use Illuminate\Support\Facades\Http;
uses(RefreshDatabase::class);
beforeEach(function () {
config()->set('services.yandexgpt', [
'api_key' => 'k', 'folder_id' => 'f', 'model' => 'yandexgpt-lite/latest',
'endpoint' => 'https://llm.api.cloud.yandex.net/foundationModels/v1/completion',
'timeout_seconds' => 8,
]);
KnowledgeChunk::create([
'source_path' => 'help/p.md', 'title' => 'Что такое проект', 'tour' => 'create-project',
'topics' => 'создать проект', 'chunk_index' => 0,
'content' => 'Проект — это заявка на поток клиентов.',
]);
});
it('стоп-тема (мой баланс) → эскалация без похода в LLM', function () {
Http::fake();
$answer = app(BotAnswerService::class)->answer('какой у меня баланс?');
// Текст именно стоп-эскалации («передаю ему диалог»), а не «в инструкции нет ответа»:
// до фикса 12.07.2026 вопрос проскакивал стоп-гейт и эскалировал лишь пустым поиском.
expect($answer->escalate)->toBeTrue()
->and($answer->text)->toContain('передаю ему диалог');
Http::assertNothingSent();
});
it('стоп-тема со словами между «у меня» и «баланс» → эскалация ДО поиска и LLM', function () {
// Живой баг 12.07.2026: «какой у меня сейчас баланс?» проскакивал мимо стоп-темы,
// поиск находил статью про пополнение и бот отвечал общими словами вместо передачи
// человеку. Статья про баланс в базе ЕСТЬ — эскалация обязана сработать раньше поиска.
KnowledgeChunk::create([
'source_path' => 'help/b.md', 'title' => 'Как пополнить баланс', 'tour' => 'top-up-balance',
'topics' => 'пополнить, баланс', 'chunk_index' => 0,
'content' => 'Пополнить баланс: раздел Биллинг, кнопка Пополнить.',
]);
Http::fake();
$answer = app(BotAnswerService::class)->answer('какой у меня сейчас баланс?');
expect($answer->escalate)->toBeTrue()
->and($answer->text)->toContain('передаю ему диалог');
Http::assertNothingSent();
});
it('вопрос-продолжение: история разговора спасает пустой поиск и уходит в LLM', function () {
// «а можно самому, руками?» сам по себе не находит ничего — с прошлой репликой
// клиента поиск должен найти статью, а LLM получить переписку целиком.
KnowledgeChunk::create([
'source_path' => 'help/k.md', 'title' => 'Конкурентное поле', 'tour' => null,
'topics' => 'конкурентное поле, добавить вручную', 'chunk_index' => 0,
'content' => 'Конкурентное поле: конкурентов можно добавить вручную бесплатно.',
]);
Http::fake([
'llm.api.cloud.yandex.net/*' => Http::response([
'result' => ['alternatives' => [['message' => ['role' => 'assistant', 'text' => 'Да, можно вручную.']]]],
]),
]);
$history = [
['role' => 'user', 'text' => 'что за конкурентное поле?'],
['role' => 'assistant', 'text' => 'Конкурентное поле — раздел, где ИИ находит конкурентов.'],
];
$answer = app(BotAnswerService::class)->answer('а можно самому, руками?', $history);
expect($answer->escalate)->toBeFalse()
->and($answer->text)->toContain('Да, можно вручную');
Http::assertSent(function ($request) {
$texts = array_column($request['messages'], 'text');
return in_array('что за конкурентное поле?', $texts, true)
&& end($texts) === 'а можно самому, руками?';
});
});
it('LLM ответил «в инструкции этого нет» → честная эскалация БЕЗ кнопки экскурсии', function () {
// Живой урок 12.07.2026: «а что такое объединить дубли?» → слабое совпадение поиска
// («что», «такое») → LLM честно сказал «В инструкции этого нет», а мы приляпали
// кнопку «Показать на портале». Незнание = эскалация, без кнопок.
config()->set('services.jivo_bot.tours_enabled', true);
Http::fake([
'llm.api.cloud.yandex.net/*' => Http::response([
'result' => ['alternatives' => [['message' => ['role' => 'assistant', 'text' => 'В инструкции этого нет.']]]],
]),
]);
$answer = app(BotAnswerService::class)->answer('что такое объединить дубли?');
expect($answer->escalate)->toBeTrue()
->and($answer->text)->not->toContain('Показать на портале')
->and($answer->text)->toContain('живому специалисту');
});
it('вопрос про эксклюзивность заявок → эскалация без похода в LLM', function () {
Http::fake();
$variants = [
'а заявки эксклюзивные или как?',
'вы эти лиды кому-то ещё продаёте?',
'эти заявки только мои или вы их ещё кому-то отдаёте?',
'заявки достаются только мне?',
'вы одну заявку нескольким продаёте?',
];
foreach ($variants as $q) {
expect(app(BotAnswerService::class)->answer($q)->escalate)->toBeTrue();
}
Http::assertNothingSent();
});
it('«перенести МОИ заявки из другой CRM» → это про функцию импорта, а не личные данные', function () {
// Живой урок 12.07.2026: стоп-тема ловила «мои заявки» и уводила к человеку вопрос
// про импорт. Слова «перенести/импорт» — признак вопроса «как это делается».
KnowledgeChunk::create([
'source_path' => 'help/i.md', 'title' => 'Импорт своих заявок из CSV', 'tour' => null,
'topics' => 'импорт, перенести заявки, амоцрм', 'chunk_index' => 0,
'content' => 'Базу заявок из другой системы можно перенести: раздел «Импорт данных», файл CSV.',
]);
Http::fake([
'llm.api.cloud.yandex.net/*' => Http::response([
'result' => ['alternatives' => [['message' => ['role' => 'assistant', 'text' => 'Да, через «Импорт данных» — файл CSV.']]]],
]),
]);
$answer = app(BotAnswerService::class)->answer('можно перенести мои заявки из амоцрм?');
expect($answer->escalate)->toBeFalse()
->and($answer->text)->toContain('Импорт данных');
});
it('просьба позвать человека → эскалация', function () {
Http::fake();
expect(app(BotAnswerService::class)->answer('позовите оператора')->escalate)->toBeTrue();
});
it('вопрос не по базе (пустой поиск) → честное «не знаю» + эскалация', function () {
Http::fake();
$answer = app(BotAnswerService::class)->answer('какая погода в москве');
expect($answer->escalate)->toBeTrue();
Http::assertNothingSent();
});
it('обычный вопрос → ответ LLM по контексту, без эскалации', function () {
Http::fake([
'llm.api.cloud.yandex.net/*' => Http::response([
'result' => ['alternatives' => [['message' => ['role' => 'assistant', 'text' => 'Проект — это заявка на поток клиентов.']]]],
]),
]);
$answer = app(BotAnswerService::class)->answer('что такое проект?');
expect($answer->escalate)->toBeFalse()
->and($answer->text)->toContain('Проект')
->and($answer->matchedChunkIds)->not->toBeEmpty();
});
it('tour-ссылка добавляется только при включённом tours_enabled', function () {
config()->set('services.jivo_bot.tours_enabled', true);
config()->set('app.url', 'https://liderra.ru');
Http::fake([
'llm.api.cloud.yandex.net/*' => Http::response([
'result' => ['alternatives' => [['message' => ['role' => 'assistant', 'text' => 'Проект — это…']]]],
]),
]);
$withTours = app(BotAnswerService::class)->answer('что такое проект?');
expect($withTours->text)->toContain('https://liderra.ru/?tour=create-project');
config()->set('services.jivo_bot.tours_enabled', false);
$without = app(BotAnswerService::class)->answer('что такое проект?');
expect($without->text)->not->toContain('?tour=');
});
it('LLM недоступен → эскалация', function () {
Http::fake(['llm.api.cloud.yandex.net/*' => Http::response('err', 500)]);
expect(app(BotAnswerService::class)->answer('что такое проект?')->escalate)->toBeTrue();
});