Clera

Clera

16 de noviembre de 2026

Experto en Evaluación y Benchmarks de Modelos de IA

Únete a una red de expertos senior que diseñan benchmarks y lideran evaluaciones de modelos de IA. 100% remoto, proyectos flexibles y pago de USD 75 a 175 por hora.

100% Remoto 🌎Análisis de datosContrato freelanceUSD 75 - 175 por hora

Comparte esta vacante


¿Encaja contigo?

Esta vacante es para ti si…

  • Te apasiona evaluar y medir la calidad de modelos de IA
  • Eres metódico y detallista al diseñar pruebas y rúbricas
  • Programas en Python y conoces herramientas de evaluación
  • Buscas proyectos flexibles y bien pagados por hora
Ten en cuenta:USD 75 a 175 por horaMínimo 5 años de experienciaInglés escrito claro

Descripción del Puesto

Sobre esta oportunidad

Clera está formando una red de expertos senior en evaluación que apoyan proyectos de investigación en inteligencia artificial. Si tienes experiencia diseñando pruebas, rúbricas o evaluaciones, aquí podrás liderar el diseño, la validación y la calificación de benchmarks cuando un proyecto coincida con tu especialidad. El objetivo es lograr evaluaciones rigurosas y confiables de modelos de IA.

Perfil buscado

Buscan profesionales con trayectoria sólida en evaluación, testing o assessment, o bien especialistas de un dominio con experiencia práctica en evaluación. Es ideal para quien disfruta de la metodología, el análisis crítico de fallas y la calidad de los datos, y que se siente cómodo coordinando a otros evaluadores y escritores de preguntas.

Qué harás

  • Diseñar benchmarks: alcance, tipos de preguntas, niveles de dificultad y métodos de puntuación.
  • Redactar y revisar rúbricas para lograr una calificación consistente.
  • Desarrollar respuestas de referencia (gold-standard) y conjuntos de prueba que resistan la revisión de expertos.
  • Liderar rondas de calificación: calibrar evaluadores, medir su nivel de acuerdo y resolver desacuerdos.
  • Analizar fallas de los modelos, identificar causas raíz y recomendar mejoras.
  • Diseñar y ejecutar estudios rigurosos de comparación de modelos.
  • Validar benchmarks frente a contaminación, ambigüedad y saturación.
  • Diseñar estudios con usuarios sobre cómo las personas califican e interactúan con las respuestas de los modelos.

Requisitos clave

  • Mínimo 5 años de experiencia en evaluación, testing o assessment, o 5 años de experiencia en un dominio combinada con trabajo práctico de evaluación.
  • Haber diseñado un benchmark, plan de pruebas, examen o evaluación utilizado por otras personas.
  • Experiencia escribiendo o revisando rúbricas y respuestas de referencia, y revisando o liderando evaluadores o redactores de preguntas.
  • Dominio de Python y de herramientas de evaluación como Inspect, lm-eval-harness, HELM o promptfoo.
  • Experiencia analizando fallas de modelos o pruebas y recomendando soluciones.
  • Formación en evaluación de ML, QA, ingeniería de pruebas, psicometría, diseño de evaluaciones, UX research, ciencia de datos o gran experiencia en una materia específica.
  • Comunicación escrita clara en inglés.
  • Se valora experiencia validando benchmarks, midiendo el acuerdo entre evaluadores, comparando modelos o realizando estudios con usuarios.

Beneficios de la posición

  • Trabajo totalmente remoto.
  • Proyectos con duración flexible, desde una semana hasta varios meses.
  • Pago por hora trabajada, según proyecto, área y nivel de experiencia.

Rango salarial

La compensación es de USD 75 a 175 por hora, dependiendo del proyecto, el campo y tu nivel de experiencia. El pago se basa en las horas efectivamente trabajadas.

¿Te interesa? Aplica directamente desde el enlace de la vacante.

AplicarEntra o crea tu cuenta gratis (incluye el newsletter semanal) para ver el enlace de aplicación.

Fuente: HimalayasVacante originalmente publicada en Himalayas. Descripción adaptada por el equipo de Vacantes Remotas.

Vacantes relacionadas

Accede a más trabajos en
nuestro canal de Telegram
100K+