portal/docs/observer/notes/2026-05-23-brain-retro.md

# Brain-retro #3 — весь май 2026 (полный срез)

**Дата:** 2026-05-23 (~11:50 MSK).
**Период:** весь май 2026 — 2026-05-19T05:18Z .. 2026-05-23T08:47Z (121 строк JSONL; 116 v2 + 5 v1 пропущено).
**Анализатор:** `node tools/brain-retro-analyzer.mjs docs/observer/episodes-2026-05.jsonl` + `tools/missed-activations.mjs`.
**Уровень анализа:** обзорный по запросу заказчика; экономия 100%.
**Отношение к предыдущему ретро:** надстройка над [2026-05-20-brain-retro-v2.md](2026-05-20-brain-retro-v2.md) (23 v2-эпизода, 2026-05-20T17:55 MSK). Здесь — дельта в 105 v2-эпизодов (22 task_id) после cutoff 2026-05-20T08:58:44Z, итого 116 v2 + 61 task_ref.

> `episodeCount=116`, `v1SkippedCount=5`, `observerErrorCount=0`. Цифры по 116 v2-эпизодам, если не отмечено иное.

---

## Period & context

19.05–23.05.2026 (5 дней) — самый плотный 5-дневный спринт мая. Параллельно шли:

- **A8 infosec-tooling** (21.05): #68 ZAP + #70 Ward установлены портативно; push `3fc5501`. Открытые эндпоинты закрыты `2a34ee8` + SSRF-гард `6933ddc`.
- **C1 marketing-tooling** (22.05): 10 узлов #74-83, push `a0e47bc6`; нормативка v1.39/v2.27/v2.23/v3.22.
- **pg_audit#28 + pg_anonymizer#29** на проде liderra.ru (22.05): push `527a779`.
- **Audit journaling closure** (22.05, 9+ дыр): P0+P1 done, push `3f7c1e40`, 22 коммита, выкачено на прод.
- **Серверный hardening** (22.05 по SSH): HTTPS+HSTS, fail2ban, бэкапы cron, ModSecurity CRS DetectionOnly. SEC-3/SEC-5 ждут YC-консоль.
- **Регистрация email+phone** (22.05): фича в feat/test-deploy `0e31783`, на проде Yandex 360 SMTP.
- **7 дыр аудита follow-up** (23.05): #7 (RLS dev↔prod) + #1 (hash-chain validator) DONE+на проде; lefthook починен.
- **QA-прогон чек-листа** (23.05): 5 qa-tenants 11-15, B-01 by-design, два деплоя.

---

## Macro метрики дельты (vs ретро #2)

| метрика | ретро #2 | ретро #3 | дельта |
|---|---|---|---|
| v2-эпизоды (накопл.) | 23 | 116 | +93 |
| уникальных task_id | 7 | 61 | +54 |
| skill-инвокации | 6 | 19 | +13 |
| observer_error | 0 | 0 | — |
| schema_version v1 skipped | 5 | 5 | — |

Сильный рост скил-инвокаций в дельте (+13: writing-plans×3, systematic-debugging×3, TDD×3, regression×1, verify×1, security-go-live×1, brainstorming×1, dispatching-parallel-agents×1, executing-plans×1, process-analysis×1, verification-before-completion×1). Дисциплина выросла — спринты A8/C1/audit-journaling шли через структурированные skills.

---

## Path-type distribution (n=116)

| path_type | count | % |
|---|---|---|
| improvised | 95 | 81.9% |
| regulated | 16 | 13.8% |
| mixed | 4 | 3.4% |
| alternative | 1 | 0.9% |

Regulated +0.8 п.п. vs ретро #2 (13.0 → 13.8%) — рост в абсолютных числах в 5×.

---

## Outcome (inferred) distribution

| outcome | count | % |
|---|---|---|
| soft_success | 53 | 45.7% |
| success | 38 | 32.8% |
| unknown (хвост сессий) | 23 | 19.8% |
| blocked | 2 | 1.7% |

`prompt_signal` сигналов: 42 new_task / 65 neutral / 7 approval / 2 **correction** (1.7% rework rate — здоровый низкий уровень).

---

## Factor matrix highlights

### decision_provenance — кто решает?

| provenance | count | success | soft_success | blocked |
|---|---|---|---|---|
| autonomous | 86 | 27 | 36 | 2 |
| user_directed_method | 3 | 1 | 2 | — |
| user_chose_from_options | 27 | 10 | 15 | — |

`user_chose_from_options=27` — сильный паттерн collaborative-choice (A/B/C → выбор заказчика). `user_directed_method` остаётся редким (3, healthy — заказчик НЕ навязывает методы).

### economy_level

| economy_level | success | soft_success | blocked |
|---|---|---|---|
| null | 4 | 2 | — |
| 0 | 1 | — | 1 |
| 5 | 4 | 1 | — |
| 100 | 29 | 50 | 1 |

Доминирует уровень 100 (стандарт); `0` дал единственный blocked. Никаких аномалий.

### post_compaction × session_segment

Post-compaction эпизодов 43, исходов нормально (14 success / 22 soft_success). Late-segment всего 11 — длинные сессии редки.

---

## Missed activations (Pravila §16.4 v1.36 conditional rule)

**Total: 40** (из 44 v2-эпизодов с непустым классификационным мэппингом, `node_chosen='direct'`; экспект-узлы все non-dormant).

### By classification

| classification | episodes | bypassed nodes |
|---|---|---|
| question | 17 | #60 context7 |
| memory-sync | 8 | #33 claude-md-management |
| feature | 5 | #19 Superpowers |
| bugfix | 4 | #18 Pest, #34 Sentry |
| planning | 2 | #19, #41 CCPM, #42 product-management |
| refactor | 1 | #11/#12/#43/#64/#65 |
| cleanup | 1 | #11/#12 |
| monitoring | 1 | #34/#35 Redis |
| analysis | 1 | #25/#39/#53 |

### Анализ — ЧТО ИЗ ЭТОГО реально промах vs шум классификатора

- **#60 context7 (17 question)** — большая часть «question» в логах это разговорные уточнения с заказчиком («что выбираем», «а ты пробовал», «делай»), **не** library-docs-вопросы. Текущий маппинг `question → [#60]` слишком широкий. **Кандидат:** сузить — либо разделить классификатор (`question_lib_docs` vs `question_conversational`), либо снять `#60` из маппинга и оставить пустой массив до появления узкого классификатора. Сейчас 17 «промахов» — шум.
- **#33 claude-md-management (8 memory-sync)** — `memory-sync` в эпизодах = правки `memory/*.md` (auto-memory system), а **не** правки CLAUDE.md. `#33` относится к `CLAUDE.md` (§5 п.10 hard-rule), не к memory-файлам. **Кандидат:** очистить маппинг `memory-sync → []` ИЛИ переименовать в `claude-md-edit` и оставить только для правок CLAUDE.md.
- **#19 Superpowers (5 feature + 2 planning)** — это **реальные промахи**: feature-задачи без `brainstorming` / `writing-plans`. Сверка по дельте: новых features в дельте было ~5 (A8 install, C1 plugin enable, pg_audit setup и т.д.) — большинство шли autonomous direct. Возможно стоит фиксировать, особенно после Pravila §12 hard-rule. **Кандидат:** мягкий сигнал в STATUS.md (не дальше), решение за заказчиком.
- **#18 Pest / #34 Sentry (4 bugfix)** — Pest для bugfix очевиден, но Sentry на проде ещё не деплоен (Б-1). #34 в DEFERRED не записан, но фактически бесполезен. **Кандидат:** проверить `tools/.node-dormancy.json` — должен ли #34 быть `dormant: true` до Sentry-деплоя?

### Кандидаты на пересмотр observer-classification-map.json

| key | текущее значение | предлагаемая правка | обоснование |
|---|---|---|---|
| `question` | `["#60"]` | `[]` | разговорные вопросы ≠ library-docs-lookup; ложноположительных 17×, прав один-два максимум |
| `memory-sync` | `["#33"]` | `[]` | #33 канал ТОЛЬКО для CLAUDE.md (§5 п.10), а не memory/*.md (auto-memory не пинует через #33) |
| `bugfix` | `["#18","#34"]` | оставить или `["#18"]` пока Sentry не работает | проверить, не стоит ли пометить #34 dormant до Б-1 |

---

## Causal chains

23 цепочки shared-files обнаружено (≥5 минутный интервал, общие файлы в task_size). Ключевые:

- **`ЭТАЛОН.md`** — 6+ цепочек 20.05 (правки эталона за день). Ожидаемо — день большого обновления эталона.
- **`SyncSupplierProjectJob.php` / `SyncSupplierProjectsJob.php`** — цепочка 20→22.05 (Plan 5 supplier-sync fix → retry-storm fix `0c9357a`).
- **`AppLayout.vue`** — 20.05 две правки.

Нет «error→fix loop» цепочек, которые бы указывали на повторяющийся баг.

---

## Skill invocations (delta, n=13)

| skill | times |
|---|---|
| superpowers:writing-plans | 3 |
| superpowers:systematic-debugging | 3 |
| superpowers:test-driven-development | 3 |
| superpowers:verification-before-completion | 1 |
| superpowers:brainstorming | 1 |
| superpowers:dispatching-parallel-agents | 1 |
| superpowers:executing-plans | 1 |
| regression | 1 |
| verify | 1 |
| security-go-live | 1 |
| process-analysis | 1 |
| brain-retro | 0 (сейчас 1, после записи) |

Покрытие L1-L15 chain'ов: L1=4, L8=4, L15=1, L3=1 (security-go-live). Большая часть — direct.

---

## Errors / retries / time_burn (delta)

133 errors / 116 retries / 17 time_burn events. Кажется много, но распределено по 105 эпизодов — в среднем ~1.3 error/episode. Спринты A8 install (curl/tar quirks), pg_audit build (Rust/pgrx), audit journaling (миграции), 7-дыр follow-up (lefthook quirks) генерировали много retry в Bash без скрытых проблем.

---

## Candidates for owner review

> Все ниже — кандидаты, не правки. Применять только по явному «делай» от заказчика.

### A. observer-classification-map.json (`tools/observer-classification-map.json`)

**A1.** `question → []` (сейчас `["#60"]`). Сузить классификатор или снять #60.

- **Why:** 17 разговорных question-эпизодов ловятся как missed-activation к context7. Шум.
- **Rejection-option:** оставить как есть и считать missed-activations информационным шумом, не сигналом.

**A2.** `memory-sync → []` (сейчас `["#33"]`).

- **Why:** #33 claude-md-management — канал ТОЛЬКО для CLAUDE.md (Pravila §5 п.10), а не memory/*.md. Auto-memory system пинует напрямую.
- **Rejection-option:** переименовать классификатор в `claude-md-edit` и сохранить #33.

### B. node-dormancy.json (`tools/.node-dormancy.json`)

**B1.** Проверить #34 Sentry MCP — должен ли быть `dormant: true` до Б-1 (Sentry instance не задеплоен на проде, использовать нельзя).

- **Why:** missed-activation для bugfix включает #34, но #34 фактически нерабочий до Б-1.
- **Rejection-option:** оставить — Sentry MCP установлен в Claude и теоретически доступен; «прод не задеплоен» не равно «инструмент dormant».

### C. STATUS.md C5 missed-activations

**C1.** Surface 40 missed activations с разбивкой по классификации в STATUS.md (текущий статус-генератор уже это умеет — после обновления маппинга цифра упадёт до ~15).

- **Why:** наглядная метрика «промахов роутинга» в дашборде.
- **Rejection-option:** не surface, оставить только в brain-retro заметках.

### D. Pravila §12 — feature без Superpowers

**D1.** Зафиксировать в feedback-memory правило «feature/planning-задачи ИДУТ через Superpowers writing-plans, даже если задача кажется простой» — сейчас 7 feature/planning-эпизодов в дельте прошли direct.

- **Why:** Pravila §12 hard-rule предписывает skill-инвокацию первой для 14 типов; feature/planning в списке.
- **Rejection-option:** считать «autonomous direct для маленьких feature нормой», не фиксировать.

### E. Авто-обновление observer-classification-map после прочтения этого retro

- Маппинг живёт в `tools/observer-classification-map.json`. Кандидаты A1/A2 — однострочные правки.
- НЕ автоматизирую — жду явного «делай A1 / делай A2 / делай оба».

---

## Behavioral rule check (Pravila §16.4)

- «Не использован ≠ проблема» — соблюдено: я различаю **capability-readiness** (`other` без рекомендаций, 69 эпизодов) от **missed activation** (40 эпизодов с маппингом + direct + non-dormant). Только последние сурфейсятся как сигнал.

---

## Что НЕ меняется этим retro

- НЕ редактирую `tools/observer-classification-map.json`, `tools/.node-dormancy.json`, STATUS.md политики, нормативку, code.
- НЕ пишу в episodes-*.jsonl (read-only).
- НЕ trigger'у auto-memory.
- STATUS.md перегенерируется через `node tools/status-md-generator.mjs` (см. шаг 8a процедуры — выполняется ниже).