Skip to content

Plugin skills are stale: audit-session documents 6 of 12 finding types #92

Description

@axisrow

⚠️ Выводы не проверены человеком — доверия к ним нет. Ишью заведено по аудиту, который сделал Claude Code. Автор репозитория просил считать эти выводы непроверенными: прежде чем чинить, дважды сверьте каждый пункт с кодом и отметьте результат в разделе «Перепроверка». Claude проверил один раз (grep по SKILL.md против FindingType); это не засчитывается.

Скиллы — это то, по чему Claude Code сам читает аудит и даёт рекомендации. Если скилл отстал от CLI, агент молча игнорирует половину findings или трактует их неверно.

Наблюдение

skills/audit-session/SKILL.md описывает 6 типов (duplicate_call, failed_call, oversized_output, context_spike, cache_dead, thinking_heavy) + !SLOW. В FindingType (src/cli/analyzeSession.ts:109) их 12. Не описаны:

skills/sessions-inventory/SKILL.md не упоминает --min-turn-minutes и --min-streak (есть в pnpm analyze:sessions --help).

Как проверить

for t in $(grep -oE "'[a-z_]+'" src/cli/analyzeSession.ts | sed -n '/duplicate_call/,/probe_no_progress/p' | tr -d "'" | sort -u); do
  printf "%-18s %s\n" "$t" "$(grep -c "$t" skills/audit-session/SKILL.md)"; done
pnpm -s analyze:session --help; pnpm -s analyze:sessions --help   # сравнить с флагами в SKILL.md

Что сделать

  1. Дописать в таблицу findings все 12 типов: что значит, когда это потеря, а когда наблюдение (long_turn), что рекомендовать.
  2. Описать --turn N и вердикт.
  3. Убрать или пометить ненадёжные места до исправления thinking_heavy measures returned thinking text, not billed thinking tokens #83 / Ledger drops content blocks: keep-last dedup treats split response lines as snapshots #88 / context_spike blames the wrong tool: the spike comes from the previous round's results #89.
  4. Дописать недостающие флаги в sessions-inventory.
  5. Тест: каждый член FindingType упомянут в skills/audit-session/SKILL.md — чтобы скилл не отставал снова.

Перепроверка (каждый пункт — дважды, независимо)

  • 6 из 12 типов не описаны — проверка №1
  • то же — проверка №2
  • Флаги --turn, --min-turn-minutes, --min-streak отсутствуют в скиллах — проверка №1
  • то же — проверка №2

Acceptance

  • Все типы FindingType и все флаги из --help описаны в скиллах
  • Тест на полноту скилла в pnpm test
  • claude plugin validate . проходит
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions