ai-benchmark

Objetivo del benchmark

Este proyecto busca medir de forma reproducible el desempeño de modelos y agentes de IA en tareas definidas, comparando tiempos de ejecución, calidad de resultados y costo operativo bajo las mismas condiciones.

Experiencia de producto

El proyecto incluye una landing page responsive en docs/index.html con una narrativa clara del pipeline, métricas y referencias externas. Puedes abrirla localmente con un servidor estático para compartir una visión ejecutiva del benchmark.

Alcance

Qué evalúa

• Cumplimiento de objetivos de tarea y calidad de las respuestas.
• Consistencia y reproducibilidad de resultados.
• Métricas de eficiencia (tiempo, uso de recursos, costo estimado).

Qué no evalúa

• Capacidades generales fuera de las tareas definidas.
• Resultados en entornos con datos privados o no disponibles.
• Comparaciones de seguridad o cumplimiento normativo.

Requisitos

• Git
• Entorno con Python 3.10+ (o el runtime especificado por el benchmark)
• Dependencias del proyecto instaladas (ver requirements.txt)

Vista rápida (UI/UX)

1. En una terminal, levanta un servidor local:

   python -m http.server --directory docs 8000

2. Abre http://localhost:8000 para ver la landing page.

Ejecución básica

1. Clona el repositorio:

   git clone <URL_DEL_REPOSITORIO>
   cd ai-benchmark

2. Instala dependencias:

   pip install -r requirements.txt

3. Ejecuta el benchmark:

   python -m benchmark.run --config configs/default.yaml

Ejemplo mínimo

python -m benchmark.run --config configs/default.yaml --tasks smoke

Ajusta --config y --tasks según los escenarios y conjuntos de tareas que quieras comparar.

Configuración y tareas disponibles

• Archivo de configuración: configs/default.yaml define parámetros globales, tareas y salidas.
• Selección por CLI: utiliza --tasks para elegir una o varias tareas (separadas por comas).
• Salida estructurada: agrega --json para obtener resultados listos para dashboards.

Métricas que entrega

• Tasa de éxito: porcentaje de tareas completadas con los criterios esperados.
• Puntaje medio: calidad promedio según reglas de evaluación.
• Duración media: tiempo promedio de ejecución por tarea.
• Costo estimado: cálculo aproximado del costo operativo.

Qué incluye ahora el benchmark

• Pipeline completo de tareas con registro automático y selección por CLI.
• Tres tareas base (smoke, math, text) con resultados reproducibles.
• Agregación de métricas: tasa de éxito, puntaje medio, duración media y costo estimado.
• Salida JSON opcional con --json para integraciones.