Ingénieur Optimisateur vLLM
MindquestMédiasPubliée il y a 1 semaine
~ 450 – 600 €/jFourchette estimée par FreelanceScope à partir du niveau d'expérience demandé : la source ne publie pas de TJM pour cette mission.
- Lieu
- Bry-sur-Marne · Sur site
- Durée
- 1 an
- Démarrage
- 1 octobre 2026
- Expérience
- Confirmé (3-6 ans)
- Langues
- Français
- Contrat
- Freelance
Situer cette mission
Repères calculés par FreelanceScope sur les missions ouvertes de son catalogue — ils ne proviennent pas de l'annonce et n'engagent pas l'entreprise.
- 1 % des missions ingénieur ia de notre catalogue sont ouvertes en télétravail total.
- Compétences peu demandées ailleurs dans le catalogue : Tests de charge (17 missions). À séniorité égale, une compétence rare se négocie mieux.
Profil confirmé (3-6 ans) · Comment ces repères sont calculés
La mission
Auditer l’architecture d’inférence existante et identifier les axes d’optimisation.
Évaluer la scalabilité, les performances et la résilience de l’architecture cible.
Optimiser le serving des modèles avec vLLM et Triton : cache KV, prefix caching, parallélisme, streaming, sorties JSON et tool calling.
Intégrer et configurer une gateway LLM multi-tenant proposant une API homogène pour les modèles internes et externes.
Définir les mécanismes de routage, d’authentification, de gestion des identités, de quotas, de traçabilité et de suivi des coûts.
Organiser la ségrégation et la priorisation des charges entre usages batch et interactifs.
Concevoir et exécuter des campagnes de tests de charge sur des workloads mixtes.
Identifier les goulots d’étranglement et valider le comportement de la plateforme en cas de forte contention ou de bascule de modèles.
Définir une stratégie de mutualisation GPU : MIG, time-slicing, scale-to-zero, préchargement des modèles et placement selon l’empreinte VRAM.
Produire les livrables suivants :
rapport d’audit de l’existant ;
dossier d’architecture technique cible ;
rapport de tests de charge et de résilience ;
plan de capacité matériel et logiciel à 6–12 mois.
Compétences attendues
Indispensables
- LLM
- Tests de charge