Ingeniero de ML Inference para Diseño de Tareas de Benchmark con vLLM, SGLang y TensorRT-LLM

Sobre esta oportunidad

Toptal está armando un benchmark para medir qué tan bien los agentes de IA resuelven trabajo experto real desde una terminal. Para lograrlo, busca especialistas en inferencia y serving de modelos de machine learning que conviertan tareas reales y pagadas de sus propios empleos en desafíos tipo Terminal-Bench. Cada tarea incluye el entorno, una solución funcional y una verificación automatizada que comprueba que el resultado es correcto.

Ojo con el modelo de pago: la compensación se basa en tareas completadas, y los detalles se encuentran en las preguntas del formulario de aplicación.

Perfil buscado

Buscan a un ingeniero con experiencia práctica en ML inference y serving, que haya trabajado con modelos a escala real (multi-GPU o producción) y pueda explicar con claridad cómo fallan los resultados de ML sin lanzar errores, por ejemplo por deriva numérica o bugs en métricas. También es ideal si tienes un doctorado e investigación activa en la subárea.

Responsabilidades

• Diseñar tareas de Terminal-Bench de nivel experto basadas en trabajo real de inferencia de ML que un agente de IA deba resolver de principio a fin.
• Definir los archivos, sistemas y entornos de cada tarea (por ejemplo, model serving con streaming) para que sea realista, reproducible y resoluble desde la línea de comandos.
• Escribir una solución de referencia funcional para cada tarea y comprobar que corre completa, dimensionada para unos 60 a 75 minutos de trabajo experto.
• Construir verificaciones automáticas que demuestren objetivamente que el resultado es correcto, incluidos casos de fallas silenciosas como deriva numérica o errores de métricas.
• Empaquetar las tareas con Docker y Git, y documentar sistemas, herramientas, datos y reglas para que los revisores validen la dificultad.
• Iterar según los comentarios de los revisores y las pruebas con agentes, ajustando la dificultad y resolviendo ambigüedades.

Requisitos clave

• 3+ años de trabajo práctico en inferencia o serving de ML (no solo estudiándolo, vendiéndolo o gestionándolo), o un doctorado con investigación activa en el área.
• Haber hecho este trabajo en los últimos 3 años y poder nombrar los sistemas, herramientas, datos y reglas utilizados.
• Haber entrenado, desplegado o evaluado modelos a escala real (multi-GPU o serving en producción), no solo notebooks o llamadas a APIs.
• Experiencia práctica con PyTorch o JAX a nivel interno y con stacks de serving como vLLM, SGLang o TensorRT-LLM.
• Capacidad de explicar cómo los resultados de ML fallan sin errores visibles y cómo detectarlos.
• Dominio de Python y la línea de comandos, y manejo de archivos, CSV/JSON, APIs o bases de datos.
• Disponibilidad para empezar a inicios de noviembre de 2026 y completar tareas de unos 60 a 75 minutos cada una.

Deseable

• Experiencia en laboratorios de IA o infraestructura para LLM.
• Contribuciones a PyTorch, vLLM o SGLang.
• Experiencia en profiling de GPU.
• Solvencia con Docker y Git.
• Experiencia escribiendo pruebas automatizadas.

¿Por qué considerar esta empresa?

Toptal es una red global de talento que trabaja de forma 100% remota con profesionales de todo el mundo. Este proyecto te permite participar en la evaluación de la próxima generación de agentes de IA, aprovechando tu experiencia técnica real.

Cómo aplicar

En lugar de una entrevista tradicional, el proceso consiste en completar una tarea de evaluación para que el cliente valore tu diseño de tareas. El trabajo se entrega tarea por tarea, con retroalimentación de los revisores sobre cada envío. El pago es por tarea, y cada una toma alrededor de 60 a 75 minutos. El inicio previsto es a principios de noviembre de 2026.

Además, al aplicar menciona la palabra ASTONISHED y la etiqueta RNjQuMzQuODQuMTA= (#RNjQuMzQuODQuMTA=) para demostrar que leíste la publicación completa.

¿Te interesa? Aplica directamente desde el enlace de la vacante.