本项目提供一套简单的评测脚本,帮助你在本地或远程 OpenAI 兼容端点上批量测试数学/竞赛类题集。通过自定义数据集与配置,你可以快速对模型进行回归测试、比较不同推理策略或跟踪调优效果。
-
准备环境
python3 -m venv .venv source .venv/bin/activate python3 -m pip install -r requirements.txt # 若只需 requests 也可单独安装
-
确认推理端点可用
- 本地:例如 LM Studio 默认
http://localhost:1234/v1 - 远程:任意兼容 OpenAI Chat Completions 协议的服务,需准备 base URL、模型名称与 API Key
- 本地:例如 LM Studio 默认
-
创建数据集
cp datasets/dataset_template.json datasets/aime_2025_I.json
- 在复制出的文件中,将题干填入
question;把题目期望的输出写入answer(以字符串保存,例如"512"、"[0, 2, 4]"、"True") - 答案比较基于精确字符串匹配(区分大小写与空格),必要时可在数据集中保留前导零或括号等格式,并确保提示能够让模型生成该格式
- 题目数量不限,只需保证
problems列表中每个对象含有question与answer
- 在复制出的文件中,将题干填入
-
运行评测
完整示例(启用评审模型):
export JUDGE_BASE_URL="https://api.deepseek.com/v1" export JUDGE_API_KEY="<your-key>" export JUDGE_MODEL="deepseek-chat" export DEEPSEEK_BASE_URL="https://api.deepseek.com/v1" export DEEPSEEK_API_KEY="<your-key>" python contest_eval_runner.py --samples 1 --hot_temp 0.7 --max_tokens 8192 --enable_judge \ --base_url "$DEEPSEEK_BASE_URL" --api_key "$DEEPSEEK_API_KEY" \ --model "deepseek-chat" --dataset datasets/logic_test.json
参数说明:
--dataset:数据集文件路径,需符合模板结构。--base_url/--api_key:被测模型端点与鉴权,可直接使用环境变量。--model:被测模型名称,需与端点支持一致。--samples:总生成次数(默认 1 次低温 + 若干高温样本),用于投票或多样性。--hot_temp:高温样本温度,配合--samples调节生成差异。--max_tokens:生成上限(默认 8192,设为 0 时不发送该字段)。--enable_judge:启用评审模型;默认读取JUDGE_BASE_URL、JUDGE_API_KEY、JUDGE_MODEL,也可用--judge_*覆盖。--config:可选 JSON 配置(字段base_url、model、api_key),命令行参数优先级更高。--quiet:仅输出最终汇总提示(默认逐题打印题干/答案)。--verbose:运行结束后打印完整 JSON 摘要。
更多选项可查看帮助:
python contest_eval_runner.py -h
默认情况下终端会逐题展示题干预览、模型答案、参考答案;使用 --quiet 可仅保留最终提示。评测完成后会生成 results/eval_report_<timestamp>.json,如需在命令行查看完整 JSON,可附加 --verbose。若启用评审模型,命令行及报告还会包含评审判定及整体准确率指标。
contest_eval_runner.py:主脚本,负责构造提示、调用端点、解析答案、汇总投票datasets/dataset_template.json:数据集模板,可复制后填入任意竞赛题datasets/:存放各类评测集(例如aime_2025_I.json)results/:评测输出目录,保存带详细日志的 JSON 报告samples/:轻量级样本数据(仓库内含contest_sample.json),可快速冒烟测试tests/(可选):推荐放置解析与投票逻辑的单元测试
results/eval_report_<timestamp>.json 包含:
num_questions:题目数量;目前不提供自动正确率,需人工复核model:被测模型名称details列表(逐题记录):question原题题干model_answer聚合后的模型答案reference_answers数据集提供的参考答案列表(字符串)judge_feedback(可选)评审模型返回的判定/说明
judge_total/judge_correct/judge_accuracy_percent(仅启用评审时存在)
-
冒烟测试(默认逐题打印,如需更安静可加
--quiet):python3 contest_eval_runner.py --dataset samples/contest_sample.json --model "openai/gpt-oss-20b" --samples 1 -
对比不同端点:准备多份配置文件(如
configs/local.json、configs/cloud.json),通过--config+ 命令行覆盖快速切换 -
扩展题型:答案可以是任意字符串(包含数字、列表、布尔值等);如需特殊格式,可扩展
extract_answer与normalize_gold -
启用评审模型(可选):
export JUDGE_BASE_URL="https://api.deepseek.com/v1" export JUDGE_API_KEY="<your-key>" export JUDGE_MODEL="deepseek-chat" python3 contest_eval_runner.py --dataset datasets/aime_2025_I.json --enable_judge --samples 1
默认读取
JUDGE_BASE_URL/JUDGE_API_KEY/JUDGE_MODEL,可用--judge_base_url、--judge_model、--judge_api_key覆盖。评审仅提供参考,请结合参考答案自行判断。
requests未安装:脚本会在运行时给出提示。请执行python3 -m pip install -r requirements.txt(或单独安装requests)。- 模型只输出推理无结论:强化提示,确保末行必须写成
Answer: ...;或调整脚本解析逻辑 - 请求失败或无响应:检查端点、API Key 与网络代理;脚本会自动禁用
localhost的代理环境变量 - 所有题目相同答案:确认模型已正确加载;可在端点控制台直接发送同样的 system/user prompt 验证
- 代码风格:PEP 8,模块常量使用
UPPER_SNAKE_CASE - 测试:新增解析/投票逻辑时,请在
tests/编写单元测试并运行python3 -m pytest - 提交:使用祈使句提交信息,PR 中注明数据来源、端点配置与代表性评测结果
欢迎提交 Issue/PR 反馈改进需求或新的题库支持。