Skip to content

fix: 에이전트 모델 자동 선택에 최신 버전 기준 적용 - #25

Merged
jeonsworld merged 2 commits into
mainfrom
fix/latest-model-selection
Oct 27, 2026
Merged

jeonsworld merged 2 commits into
mainfrom
fix/latest-model-selection

Conversation

@jeonsworld

@jeonsworld jeonsworld commented Oct 27, 2026 •

Copy link
Copy Markdown
Contributor

새 에이전트의 모델 자동 선택에서 첫 페이지의 구버전이나 기억한 exact 버전 검색 결과만으로 선택을 끝낼 수 있었습니다. GPT·Claude·Gemini 등 모든 모델군에 공통으로 현재 프로젝트의 카탈로그를 조회하고, 업무 난이도·비용·필수 기능에 맞는 모델군·등급 안에서 최신 버전을 비교하도록 변경합니다.

  • 버전을 제외한 모델군 검색과 관련 다음 페이지 확인을 모델 선택 절차에 추가합니다.
  • 사용자 지정 exact 모델·기존 설정을 보존하고, 모델군만 지정한 신규 생성에는 최신 버전을 기본 적용합니다.
  • 숫자 버전 비교, 불명확한 alias, 필수 기능 제약과 exact model_name 사용 기준을 명시합니다.
  • Plugin 버전을 1.5.6으로 올리고 호환 manifest와 local MCP version을 맞춥니다.

검증: 동일 합성 입력 10개를 변경 전·후 각각 fresh context 5회 평가했습니다. 기존에 재현된 페이지 생략·구버전 한정 검색 확정 경로는 후보 5회 모두 필요한 catalog 조회로 바뀌었고, 나머지 8개 경로의 선택·보존 경계도 유지됐습니다. 추가로 GPT 8개·Gemini 8개 입력을 동일한 제품 지침에 각각 5회 적용해 등급별 최신 버전·pagination·지정 모델·필수 기능·프로젝트 가용성·기존 설정 경계를 확인했습니다. Sonnet 전용 분기는 없습니다. Python 회귀 63개, Node 회귀 36개, manifest sync·패키지·결과 schema·diff 검사가 통과했습니다. Claude Marketplace/Plugin validator도 exit 0입니다. 추가 회귀 자료는 패키지 밖 파일이며 제품 코드는 변경하지 않았습니다.

실제 MCP 생성·검증·저장과 native host 업데이트·새 세션 로딩은 미검증입니다. 합성 모델명은 실제 출시 정보가 아닙니다. Claude의 별도 Directory 제출 진단에 표시된 기존 LICENSE·privacy policy URL 부재는 이번 범위에 포함하지 않았습니다.

@coderabbitai

coderabbitai Bot commented Oct 27, 2026 •

Copy link
Copy Markdown

Review in Change Stack →

Caution

Review failed

The pull request is closed.

Walkthrough

새 에이전트의 모델 자동 선택 지침을 추가했습니다. 10개 합성 시나리오와 반복 평가 기록을 포함했으며, 평가 결과와 검증 범위를 문서화했습니다. 관련 플러그인 버전 표기를 1.5.6으로 변경했습니다.

Changes

모델 자동 선택 및 1.5.6 릴리스

Layer / File(s) Summary
모델 선택 기준 및 에이전트 지침
plugins/ennoia/skills/ennoia-build-agent/references/model-selection.md, plugins/ennoia/skills/ennoia-build-agent/SKILL.md, plugins/ennoia/skills/ennoia-build-agent/references/agent-design.md, plugins/ennoia/skills/ennoia-build-agent/references/graph-authoring.md
모델을 자동 선택할 때 현재 프로젝트의 모델 목록을 조회하고, 비용·필수 기능·모델군·버전을 기준으로 후보를 비교하도록 지침을 추가했습니다. 사용자 지정 모델과 기존 graph 설정을 유지하며, 설정에는 반환된 exact model_name을 사용하도록 했습니다.
합성 평가 기준과 시나리오
evals/model-selection-rubric.md, evals/model-selection-scenarios.json, evals/README.md
카탈로그 조회, 페이지네이션, 버전 비교, 필수 기능, 사용자 지정, 기존 설정 유지 등을 다루는 10개 합성 시나리오와 평가 기준을 추가했습니다. 합성 평가를 실제 모델 사용 가능성이나 실행 검증과 구분하도록 안내했습니다.
비교 평가 및 검증 기록
evals/2026-10-27-model-selection-summary.md
기존·후보 지침을 10개 입력으로 각각 5회 평가한 결과를 기록했습니다. 후보는 두 경로에서 추가 조회를 수행했고, 나머지 8개 경로는 기존과 같은 선택 또는 판단 경계를 보였습니다. 검사 결과와 평가 한계도 문서화했습니다.
플러그인 버전 동기화
.claude-plugin/marketplace.json, plugins/ennoia/.claude-plugin/plugin.json, plugins/ennoia/.codex-plugin/plugin.json, plugins/ennoia/plugin.json, plugins/ennoia/mcp/file-uploader.mjs
Marketplace, 플러그인 메타데이터 및 업로더의 버전 표기를 1.5.5에서 1.5.6으로 변경했습니다.

Priority: Pending latest changes

Estimated code review effort: 3 (Moderate) | ~20 minutes

Change: Bug fix

Merge Risk: Minimal · up to 712db

This change adds guidance so new agents default to the latest suitable model version, and bumps the plugin version to 1.5.6. No concrete merge-blocking problem remains. Actual MCP creation, saving and installation behavior were not tested, which is normal for a documentation and guidance change of this kind.

Finishing Touches
📝 Generate docstrings
  • Commit to this branch
  • Create a new PR
🧪 Generate unit tests (beta)
  • Commit to this branch
  • Create a new PR
  • Autofix · Keep fixing CodeRabbit findings and required CI, and resolving merge conflicts

Comment @coderabbitai help to get the list of available commands.

@jeonsworld jeonsworld self-assigned this Oct 27, 2026
@jeonsworld
jeonsworld marked this pull request as ready for review October 27, 2026 12:51
@chatgpt-codex-connector

chatgpt-codex-connector Bot commented Oct 27, 2026 •

Copy link
Copy Markdown

Codex Review Summary

This comment shows the latest Codex review activity on this pull request.

Review Status Commit Review trigger
📝 Code Review ✅ Completed 2026-10-27T12:52:02.357094Z 712db57 Draft marked ready
ℹ️ About Codex in GitHub

Your team has set up Codex to review pull requests in this repo. Reviews are triggered when you

  • Open a pull request for review
  • Mark a draft as ready
  • Comment "@codex review" or "@codex security review".

Codex reacts with 👀 while any review is running, comments if it has suggestions, and reacts with 👍 once all reviews finish with no findings.

@jeonsworld
jeonsworld merged commit e831caf into main Oct 27, 2026
5 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant