> For clean Markdown of any page, append .md to the page URL. > For a complete documentation index, see https://fr.nvidia-localization.ferndocs.com/fr/nemo/rl/latest/experiment-with-custom-v-llm/llms.txt. > For AI client integration (Claude Code, Cursor, etc.), connect to the MCP server at https://fr.nvidia-localization.ferndocs.com/_mcp/server. # Expérimenter avec vLLM Personnalisé Ce guide explique comment utiliser votre propre version de vLLM tout en utilisant un wheel vLLM pré-compilé, afin de ne pas avoir à recompiler le code source C++. ## Cloner et Construire Votre vLLM Personnalisé Clonez votre fork vLLM et construisez-le à l'aide du script fourni. Par exemple : ```sh # Usage: bash tools/build-custom-vllm.sh bash tools/build-custom-vllm.sh https://github.com/terrykong/vllm.git terryk/demo-custom-vllm a3319f4f04fbea7defe883e516df727711e516cd ``` ## Mettre à Jour `pyproject.toml` pour Utiliser Votre vLLM Local Modifiez votre [pyproject.toml](https://github.com/NVIDIA-NeMo/RL/blob/main/pyproject.toml) pour que la dépendance `vLLM` pointe vers votre clone local au lieu de PyPI. **Modifier le pyproject.toml :** ```toml # Ajouter setuptools_scm [project] # ... dependencies = [ # ... "setuptools_scm", # <-- Ajouter # ... ] # Changer la dépendance vLLM : [project.optional-dependencies] vllm = [ #"vllm==0.10.0", # <-- AVANT "vllm", # <-- APRÈS ] # ... # Ajouter une entrée de source locale : [tool.uv.sources] # ... vllm = { path = "3rdparty/vllm", editable = true } # <-- AJOUTER UNE ENTRÉE # ... # Mettre à jour les packages d'isolation de construction : [tool.uv] no-build-isolation-package = ["transformer-engine-torch", "transformer-engine"] # <-- AVANT no-build-isolation-package = ["transformer-engine-torch", "transformer-engine", "vllm"] # <-- APRÈS ``` ## Verrouiller à Nouveau et Installer les Dépendances Installez les dépendances de construction manquantes et verrouillez à nouveau votre environnement : ```sh uv pip install setuptools_scm # vLLM ne déclare pas cette dépendance de construction, donc nous l'installons manuellement uv lock ``` ## Vérifier Votre vLLM Personnalisé Testez votre configuration pour vous assurer que votre vLLM personnalisé est utilisé : ```sh uv run --extra vllm python -c 'import vllm; print("Importation de vLLM réussie")' # Désinstallé 1 package en 1 ms # Installé 1 package en 2 ms # Bonjour ! Si vous voyez ceci, vous utilisez une version personnalisée de vLLM aux fins de ce tutoriel # INFO 06-18 09:22:44 [__init__.py:244] Détection automatique de la plateforme cuda. # Importation de vLLM réussie ``` Si vous ne voyez pas le message de journal `Bonjour ! Si vous voyez ceci...`, c'est parce que ce message est unique au fork `vLLM` spécifique du tutoriel. Il a été ajouté dans [ce commit](https://github.com/terrykong/vllm/commit/69d5add744e51b988e985736f35c162d3e87b683) et n'existe pas dans le projet `vLLM` principal.