Repository navigation
Conversation
Spec asserts (url_matches, title_contains, text_present, text_absent, selector_count) are checked by the server on the page the run ends on: when finish is called, or when the runner closes the browser. The report carries every row with what was observed, and asserts_passed as the judgement; a harness that never finishes leaves them not_evaluated. lyra-uat export writes the stable part of a run as lyra-uat-export v1, whose JSON Schema is committed under uat/schemas and pinned to the model by a test. lyra-uat replay feeds a run's own trace to the scripted brain with the run's spec and compares status, exit reason, outcome, steps and every assertion; redacted arguments make it say exact=false.
…h a browser The gate checks assertions, the export and the replay on a run of their own.
This branch has not been deployed
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
무엇
asserts추가 (url_matches,title_contains,text_present,text_absent,selector_count). 모델이 아니라 서버가 평가한다.finish가 불릴 때 그 페이지에서,finish없이 끝나면 러너가 브라우저를 닫기 직전에 한 번 평가한다. 브라우저가 한 번도 열리지 않았으면 평가하지 않고not_evaluated로 남긴다. 리포트에 행마다 관측값과asserts_passed(모두 통과면 True, 하나라도 아니면 False, assert 가 없으면 null)가 들어가고report.md에 표로 나온다.lyra-uat export <run>는lyra-uat-exportv1 레코드를 낸다(task_id, success, claimed_outcome, final_url, steps, tokens, cost …). JSON Schema 는src/lyra_browser/uat/schemas/export.v1.json에 커밋했고, 모델과 같은지 테스트로 고정한다. 형태를 바꾸려면 새 버전 파일을 만들어야 한다.lyra-uat schema export로 출력할 수 있다.lyra-uat replay <run>는 run 의 trace 를 scripted brain 으로, 같은run.jsonspec 에 다시 돌린다. 그리고 status·exit_reason·outcome·steps·assert 별 상태를 비교한다. 같으면 exit 0, 다르면 2. audit 이 가리는 값(type_text의value등)이 들어간 단계 직전에서 멈추고exact=false,stopped_at으로 알린다. 가린 placeholder 를 대신 입력하면 다른 행동이 되기 때문이다.scripts/verify_uat_e2e.py에 assert·export·replay 전용 run 을 추가했다 (/pricing직접 이동 →#buy→ finish).docs/UAT.md(Assertions / Export and replay), README 한 줄.왜
무인 UAT 결과를 사람이 다시 확인하고 벤치마크에 제출하려면, 판정이 모델의 자기 보고(
finish)가 아니라 페이지 상태에서 나와야 하고 다시 돌려 재현할 수 있어야 한다.검증
pytest -q: 1992 passed, 5 failed. 실패 5건(test_uat_llm_brains.py)은 이 venv 에 anthropic/openai SDK 가 없어서 나며, origin/master 에서도 똑같이 실패한다.test_uat_report.py6개: not_evaluated, 기록된 assert 의 결합, spec 검증, 페이지 평가 함수, 커밋된 스키마 == 모델,jsonschema검증과 깨진 레코드 거부.test_uat_runner.py5개: finish 시점 판정, 모델 주장과 다른 판정, finish 없는 run, replay 같음/다름, redacted 단계에서 멈춤.schemas/export.v1.json검증을 통과했고, replay 는 모든 단계를 재생해 같은 판정(same=true,exact=true)에 이르렀다.남은 것 / 알려진 것
trace.jsonl과 액션마다 찍는 스크린샷이다.scripts/verify_uat_e2e.py의 기존completed_run은 origin/master 에서도 native·playwright 모두#pricing클릭이element_not_actionable(<p>가 포인터를 가로챔)로 실패한다(부하 26~111 에서 확인). 이 PR 과 무관한 기존 문제다. 새 run 은 그 클릭을 거치지 않는다.runner.pyimport 블록,spec.py,docs/UAT.md를 같이 건드린다. 이 PR 의 추가분은 각각 별도 필드와 별도 절이다.