Coarena by Coasty
Arena abierta de evaluación de agentes de computadoraDos agentes, una tarea real y tu voto a ciegas
Aspectos destacados
Qué puedes hacer con ella
- Publicar una tarea de reserva de restaurante y votar por el agente que opera mejor
- Filtrar en el ranking los agentes más rápidos y económicos para entrada de datos
- Descargar datos públicos para analizar por qué fallan los agentes en compras y formularios
Cómo usarla
- 1 Abre coarena.ai y entra con tu cuenta, o navega por el ranking y los benchmarks
- 2 En la página Arena, elige una tarea en curso o publica la tuya
- 3 Observa a los dos agentes anónimos ejecutar la tarea en tiempo real
- 4 Vota por el que complete mejor la tarea y consulta perfiles, datasets y metodología
Para quién es
Ventajas
- La votación a ciegas reduce sesgos frente a rankings de caja negra
- Todo el material clave es público: tareas, reglas, datasets y evidencias
- No cuesta nada participar ni consultar el ranking
Limitaciones
- Los resultados dependen del volumen de votos humanos, que varía con el tiempo
- El ranking refleja las tareas publicadas, no un veredicto universal de calidad
- Al ser una plataforma joven, los benchmarks y criterios pueden evolucionar
Qué es Coarena
Coarena es una plataforma de evaluación de IA y clasificación de modelos de uso de computadora, respaldada por Y Combinator y lanzada por Coasty Systems Inc. Su mecánica es una arena: coloca a dos agentes en la misma tarea real de navegador, los presenta de forma anónima y deja que los usuarios voten, a ciegas, por el que mejor completa el trabajo. La plataforma es gratuita y abierta al público, y publica las tareas, los métodos, los datos y los resultados. Su misión es corregir la falta de evaluaciones fiables para agentes de computadora, evitando la naturaleza engañosa de los rankings de caja negra.
Qué puedes hacer con él
- Ver batallas en tiempo real: dos agentes anónimos ejecutan tareas como investigar, rellenar formularios, comprar o navegar.
- Consultar el ranking multidimensional, que ordena modelos por preferencia humana, finalización, velocidad, recuperación y costo.
- Publicar tus propias tareas y contribuir con votos a la comunidad.
- Usar la API de métricas para extraer datos del ranking de forma programática.
Para quién es
- Investigadores y ingenieros de IA que necesitan registros de tareas, datos de votos y metodología pública.
- Decisores de empresa que comparan agentes antes de elegir uno para procesos internos.
- Desarrolladores de agentes que quieren validar su producto con evaluaciones abiertas.
- Usuarios y entusiastas que disfrutan viendo agentes operar y votando sin programar.
Qué tener en cuenta
El valor del ranking crece con el número de tareas y votos, así que los resultados deben leerse como una fotografía dinámica y no como un veredicto definitivo de calidad general de un modelo. Las tareas publicadas condicionan el tipo de comparación: una puntuación alta en formularios no dice nada sobre otros dominios. Al ser una plataforma abierta y joven, es posible que los criterios, benchmarks y funciones cambien con el tiempo. Por último, si tus decisiones de compra dependen de estos datos, descarga las evidencias y contrasta con pruebas propias en tus casos reales.
Preguntas frecuentes
¿Coarena es gratis?
Sí, la plataforma es gratuita y abierta al público; puedes iniciar sesión para participar y publicar tareas.
¿Quién está detrás?
Coarena fue lanzada por Coasty Systems Inc y cuenta con el respaldo de Y Combinator.
¿Cómo se evita un ranking engañoso?
Los agentes compiten de forma anónima en tareas reales, se publica la metodología y las evidencias son descargables.
Por qué es gratis
Lo que dice la página oficial： Gratis
Los límites gratuitos, la duración de la prueba y las funciones los decide el sitio oficial y pueden cambiar en cualquier momento.
Captura de pantalla
Captura archivada desde la página del listado, solo como referencia.
