Ingeniero de Evaluación de Agentes de IA

Sobre esta oportunidad

Cresta busca a su primer Ingeniero de Evaluación de Agentes de IA. El AI Receptionist de la empresa contesta el teléfono de pequeños negocios que de otro modo perderían la llamada. Hoy maneja millones de conversaciones al mes para cientos de clientes. La pregunta clave es si esas conversaciones realmente son buenas, y ese será tu territorio: definir qué significa calidad, construir los sistemas que la miden y ser la persona en quien la empresa confía cuando alguien pregunta "¿qué tan bueno es realmente?".

El rol combina análisis manual de conversaciones, diseño riguroso de evaluaciones y ejecución de ingeniería. Corregir los problemas que encuentres es bienvenido, pero el corazón del trabajo es entregar un panorama preciso y priorizado de la calidad del agente.

Perfil buscado

Buscan a alguien que disfrute leer conversaciones reales para entender cómo falla un agente, que sepa convertir esos hallazgos en evaluaciones automatizadas y que tenga criterio para calibrar esos sistemas contra el juicio humano. Es un puesto de alta autonomía e impacto, ideal para quien quiere dar forma a una disciplina desde cero.

Qué harás

• Diseño de evaluación y definición de calidad: definir y mantener la rúbrica del agente en tres ejes: apego al diseño (uso correcto de herramientas y respeto de guardrails), resultado (si la conversación cumplió su objetivo) y experiencia conversacional (latencia, turnos de habla, tono, repetición).
• Redactar guías de anotación y una taxonomía de fallas, facilitar sesiones de calibración y medir el acuerdo entre evaluadores.
• Clasificar y priorizar los modos de falla por severidad y frecuencia para que ingeniería y producto trabajen en lo más importante.
• Análisis y anotación de conversaciones: revisar a mano conversaciones de producción cada semana, apoyándote en socios de QA; agrupar fallas y convertirlas en evaluaciones que valga la pena automatizar.
• Rastrear cada falla hasta su causa probable (prompt, vacío de conocimiento, error de herramienta o flujo, reconocimiento de voz) y derivarla al responsable correcto con evidencia suficiente.
• Evaluar en varios idiomas y reportar calidad por segmento (idioma, acento, calidad de audio, intención), no solo en agregado.
• Sistemas de evaluación escalables: construir y operar el pipeline que califica cada conversación de producción, combinando revisiones automáticas, jueces basados en LLM y revisión humana.
• Calibrar cada juez automatizado contra etiquetas humanas antes de confiar en él, tratando el error del juez como el principal riesgo de medición.

Requisitos clave

• Experiencia en análisis y anotación de conversaciones de agentes de IA o sistemas similares.
• Capacidad para diseñar rúbricas, golden sets y suites de regresión.
• Conocimiento práctico de evaluaciones con LLM como jueces y su calibración.
• Habilidad de ingeniería para construir y operar pipelines de evaluación.
• Rigor analítico para reportar calidad por segmentos y comunicar hallazgos con evidencia.

Beneficios de la posición

• Compensación total que incluye salario base, equity y un paquete integral de beneficios para ti y tu familia.

¿Por qué considerar esta empresa?

Cresta nació en el Stanford AI Lab y ha levantado más de $270 millones de inversionistas como a16z, Greylock y Sequoia. Su plataforma unificada de IA para experiencia del cliente es usada por compañías como United Airlines, Cox Communications y Marriott. Su CEO, Ping Wu, fundó y lideró las plataformas Contact Center AI y Vertex AI de Google.

Cómo aplicar

Cresta puede usar herramientas de IA en su proceso de reclutamiento, siempre con revisión humana. Si quieres excluirte, escribe a recruiting@cresta.ai con el asunto "Opt-Out". No se permite grabar ni transcribir con IA las entrevistas, salvo excepción o adaptación solicitada. Ten cuidado con suplantaciones: todos los correos oficiales de reclutamiento vienen del dominio @cresta.ai.

¿Te interesa? Aplica directamente desde el enlace de la vacante.