
Clera
16 de noviembre de 2026
Experto en Evaluación y Benchmarks de Modelos de IA
Únete a una red de expertos senior que diseñan benchmarks y lideran evaluaciones de modelos de IA. 100% remoto, proyectos flexibles y pago de USD 75 a 175 por hora.
Comparte esta vacante
Esta vacante es para ti si…
- Te apasiona evaluar y medir la calidad de modelos de IA
- Eres metódico y detallista al diseñar pruebas y rúbricas
- Programas en Python y conoces herramientas de evaluación
- Buscas proyectos flexibles y bien pagados por hora
Descripción del Puesto
Sobre esta oportunidad
Clera está formando una red de expertos senior en evaluación que apoyan proyectos de investigación en inteligencia artificial. Si tienes experiencia diseñando pruebas, rúbricas o evaluaciones, aquí podrás liderar el diseño, la validación y la calificación de benchmarks cuando un proyecto coincida con tu especialidad. El objetivo es lograr evaluaciones rigurosas y confiables de modelos de IA.
Perfil buscado
Buscan profesionales con trayectoria sólida en evaluación, testing o assessment, o bien especialistas de un dominio con experiencia práctica en evaluación. Es ideal para quien disfruta de la metodología, el análisis crítico de fallas y la calidad de los datos, y que se siente cómodo coordinando a otros evaluadores y escritores de preguntas.
Qué harás
- Diseñar benchmarks: alcance, tipos de preguntas, niveles de dificultad y métodos de puntuación.
- Redactar y revisar rúbricas para lograr una calificación consistente.
- Desarrollar respuestas de referencia (gold-standard) y conjuntos de prueba que resistan la revisión de expertos.
- Liderar rondas de calificación: calibrar evaluadores, medir su nivel de acuerdo y resolver desacuerdos.
- Analizar fallas de los modelos, identificar causas raíz y recomendar mejoras.
- Diseñar y ejecutar estudios rigurosos de comparación de modelos.
- Validar benchmarks frente a contaminación, ambigüedad y saturación.
- Diseñar estudios con usuarios sobre cómo las personas califican e interactúan con las respuestas de los modelos.
Requisitos clave
- Mínimo 5 años de experiencia en evaluación, testing o assessment, o 5 años de experiencia en un dominio combinada con trabajo práctico de evaluación.
- Haber diseñado un benchmark, plan de pruebas, examen o evaluación utilizado por otras personas.
- Experiencia escribiendo o revisando rúbricas y respuestas de referencia, y revisando o liderando evaluadores o redactores de preguntas.
- Dominio de Python y de herramientas de evaluación como Inspect, lm-eval-harness, HELM o promptfoo.
- Experiencia analizando fallas de modelos o pruebas y recomendando soluciones.
- Formación en evaluación de ML, QA, ingeniería de pruebas, psicometría, diseño de evaluaciones, UX research, ciencia de datos o gran experiencia en una materia específica.
- Comunicación escrita clara en inglés.
- Se valora experiencia validando benchmarks, midiendo el acuerdo entre evaluadores, comparando modelos o realizando estudios con usuarios.
Beneficios de la posición
- Trabajo totalmente remoto.
- Proyectos con duración flexible, desde una semana hasta varios meses.
- Pago por hora trabajada, según proyecto, área y nivel de experiencia.
Rango salarial
La compensación es de USD 75 a 175 por hora, dependiendo del proyecto, el campo y tu nivel de experiencia. El pago se basa en las horas efectivamente trabajadas.
¿Te interesa? Aplica directamente desde el enlace de la vacante.
Fuente: HimalayasVacante originalmente publicada en Himalayas. Descripción adaptada por el equipo de Vacantes Remotas.
Vacantes relacionadas
DaCodes
Ingeniero de Datos para Analítica y Business Intelligence
Opera y evoluciona la capa de datos y reportería de DaCodes con AWS, Airflow, Redshift y dbt, y crea dashboards para equipos internos y clientes. Trabajo 100% remoto.
Fuente: Himalayas
Fusemachines
Ingeniero de Analítica Senior en Tableau, Looker y BigQuery
Lidera la modernización de BI: transforma dashboards legacy de Tableau en modelos SQL y capas semánticas LookML sobre BigQuery y Snowflake. Contrato remoto.
Fuente: Himalayas

Capgemini
Científico de Decisiones Senior en Analítica de Seguros
Aplica estadística avanzada y analítica cuantitativa para guiar decisiones estratégicas de negocio en el sector asegurador. Trabajo remoto desde Brasil con Capgemini y Farmers Insurance.
Fuente: Himalayas

Capgemini
Ingeniero de Analítica Senior con Snowflake y dbt
Diseña pipelines de datos escalables y modelos analíticos con Snowflake, dbt y Python para una organización de Service Analytics e IA. Modalidad remota desde Brasil.
Fuente: Himalayas