portal

liderra/portal

Fork 0

Commit Graph

Author	SHA1	Message	Date
Дмитрий	29daf584ea	fix(сторож пульса): свежая команда в расписании не считается умершей, ожившая закрывает свою жалобу Живой случай 07.08.2026. Выкат в 12:04 добавил три ежедневные команды (obzvon:chistka 03:45, obzvon:chistka-materialov 03:50, lena:proverka-obhoda 06:10). Их время в этот день уже прошло, записи пульса не было — и часовой сторож с окном дедупа 60 мин заводил три жалобы КАЖДЫЙ ЧАС, каждая со своим письмом владельцу. К утру набежало бы под полсотни. Тем же способом 05-06.08 набралось 18 записей про incidents:watch-failures. Две правки: 1. Нет записи пульса — не жалуемся, а заводим отметку «команда известна с этого мгновения» и молчим, пока не выйдет срок первого запуска: два ожидаемых интервала, отсчёт от отметки. Не отработала за срок — жалоба будет. 2. Команда снова здорова — её открытые жалобы гасятся. Без этого записи копятся навсегда: 06.08 сторож починился в 20:37, а 18 жалоб остались открытыми, и лампа «Здоровье портала» горела сутки после устранения причины. Кнопки «закрыть инцидент» в админке нет. Якорь пробел-тире в поиске жалобы обязателен: без него имя команды совпало бы с любой другой, начинающейся так же. Обратный слэш в именах джобов экранируется — в LIKE Postgres он служебный. Тесты: 5 новых, из них 3 сначала красные, каждый по своей причине; 2 сторожевых держат границы — молчание не вечно, больную команду не закрываем. Прогон 13/13, соседние 84/84, composer stan 0 ошибок, pint чисто. Выкачено на боевой 07.08.2026 14:30 МСК: тревог стало 0 вместо 3 в час. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2026-08-07 14:36:22 +03:00
Дмитрий	77f1b5b0ef	feat(ops): scheduler heartbeat — пульс 11 cron-задач + watcher (hole #6 ) Закрывает дыру #6 из аудита журналирования 23.05.2026. Что: * `scheduler_heartbeats` таблица (SaaS-level, PK=command_name, без RLS) * `SchedulerHeartbeatTracker` сервис — UPSERT через pgsql_supplier (BYPASSRLS), recordRun(callable) + recordRunResult(name, success, error, ms) * `routes/console.php` — 11 cron-задач обёрнуты onSuccess/onFailure хуками (минимально-инвазивно, без правки самих джобов) * `scheduler:check-heartbeats` команда — hourly МСК: - алертит при пропавшем пульсе (>2× ожидаемого интервала) - алертит при consecutive_failures >= 3 - dedup 60 мин, пишет incidents_log (severity=high) + Mail на kdv1@bk.ru * `SchedulerHeartbeatMissingMail` mailable + blade NB: используется `onSuccess()` а не `after()` — `after()` срабатывает при любом исходе и ложно обновлял бы last_success_at при failure (правильный поведенческий паттерн = onSuccess + onFailure). consecutive_failures корректно растёт через ON CONFLICT DO UPDATE +1. Schema bump v8.29→v8.30. +1 слово в cspell-words.txt (FQCN). Тесты: 8/8 passed (24 assertions, ~1.6s) — recordRun success/failure, SchedulerCheckHeartbeats missing pulse + failure spike + dedup + Mailable. Plan: docs/superpowers/plans/2026-05-23-7-holes-overview.md (#6).	2026-05-23 11:48:20 +03:00

Author

SHA1

Message

Date

Дмитрий

29daf584ea

fix(сторож пульса): свежая команда в расписании не считается умершей, ожившая закрывает свою жалобу

Живой случай 07.08.2026. Выкат в 12:04 добавил три ежедневные команды
(obzvon:chistka 03:45, obzvon:chistka-materialov 03:50, lena:proverka-obhoda
06:10). Их время в этот день уже прошло, записи пульса не было — и часовой
сторож с окном дедупа 60 мин заводил три жалобы КАЖДЫЙ ЧАС, каждая со своим
письмом владельцу. К утру набежало бы под полсотни. Тем же способом 05-06.08
набралось 18 записей про incidents:watch-failures.

Две правки:

1. Нет записи пульса — не жалуемся, а заводим отметку «команда известна с
этого мгновения» и молчим, пока не выйдет срок первого запуска: два
ожидаемых интервала, отсчёт от отметки. Не отработала за срок — жалоба будет.

2. Команда снова здорова — её открытые жалобы гасятся. Без этого записи копятся
навсегда: 06.08 сторож починился в 20:37, а 18 жалоб остались открытыми, и
лампа «Здоровье портала» горела сутки после устранения причины. Кнопки
«закрыть инцидент» в админке нет.

Якорь пробел-тире в поиске жалобы обязателен: без него имя команды совпало бы с
любой другой, начинающейся так же. Обратный слэш в именах джобов экранируется —
в LIKE Postgres он служебный.

Тесты: 5 новых, из них 3 сначала красные, каждый по своей причине; 2 сторожевых
держат границы — молчание не вечно, больную команду не закрываем. Прогон 13/13,
соседние 84/84, composer stan 0 ошибок, pint чисто.

Выкачено на боевой 07.08.2026 14:30 МСК: тревог стало 0 вместо 3 в час.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

2026-08-07 14:36:22 +03:00

Дмитрий

77f1b5b0ef

feat(ops): scheduler heartbeat — пульс 11 cron-задач + watcher (hole #6 )

Закрывает дыру #6 из аудита журналирования 23.05.2026.

Что:
* `scheduler_heartbeats` таблица (SaaS-level, PK=command_name, без RLS)
* `SchedulerHeartbeatTracker` сервис — UPSERT через pgsql_supplier (BYPASSRLS),
  recordRun(callable) + recordRunResult(name, success, error, ms)
* `routes/console.php` — 11 cron-задач обёрнуты onSuccess/onFailure хуками
  (минимально-инвазивно, без правки самих джобов)
* `scheduler:check-heartbeats` команда — hourly МСК:
  - алертит при пропавшем пульсе (>2× ожидаемого интервала)
  - алертит при consecutive_failures >= 3
  - dedup 60 мин, пишет incidents_log (severity=high) + Mail на kdv1@bk.ru
* `SchedulerHeartbeatMissingMail` mailable + blade

NB: используется `onSuccess()` а не `after()` — `after()` срабатывает при любом
исходе и ложно обновлял бы last_success_at при failure (правильный поведенческий
паттерн = onSuccess + onFailure). consecutive_failures корректно растёт через
ON CONFLICT DO UPDATE +1.

Schema bump v8.29→v8.30. +1 слово в cspell-words.txt (FQCN).

Тесты: 8/8 passed (24 assertions, ~1.6s) — recordRun success/failure,
SchedulerCheckHeartbeats missing pulse + failure spike + dedup + Mailable.

Plan: docs/superpowers/plans/2026-05-23-7-holes-overview.md (#6).

2026-05-23 11:48:20 +03:00

2 Commits