Expérimenter avec vLLM Personnalisé

Ce guide explique comment utiliser votre propre version de vLLM tout en utilisant un wheel vLLM pré-compilé, afin de ne pas avoir à recompiler le code source C++.

Cloner et Construire Votre vLLM Personnalisé

Clonez votre fork vLLM et construisez-le à l’aide du script fourni. Par exemple :

# Usage: bash tools/build-custom-vllm.sh <GIT_URL> <GIT_BRANCH> <VLLM_PRECOMILED_WHEEL_COMMIT>
bash tools/build-custom-vllm.sh https://github.com/terrykong/vllm.git terryk/demo-custom-vllm a3319f4f04fbea7defe883e516df727711e516cd

Mettre à Jour `pyproject.toml` pour Utiliser Votre vLLM Local

Modifiez votre pyproject.toml pour que la dépendance vLLM pointe vers votre clone local au lieu de PyPI.

Modifier le pyproject.toml :

# Ajouter setuptools_scm
[project]
# ...<OMIS>
dependencies = [
# ...<OMIS>
    "setuptools_scm",  # <-- Ajouter
# ...<OMIS>
]
# Changer la dépendance vLLM :
[project.optional-dependencies]
vllm = [
    #"vllm==0.10.0",  # <-- AVANT
    "vllm",           # <-- APRÈS
]
# ...<OMIS>
# Ajouter une entrée de source locale :
[tool.uv.sources]
# ...<OMIS>
vllm = { path = "3rdparty/vllm", editable = true }  # <-- AJOUTER UNE ENTRÉE
# ...<OMIS>
# Mettre à jour les packages d'isolation de construction :
[tool.uv]
no-build-isolation-package = ["transformer-engine-torch", "transformer-engine"]          # <-- AVANT
no-build-isolation-package = ["transformer-engine-torch", "transformer-engine", "vllm"]  # <-- APRÈS

Verrouiller à Nouveau et Installer les Dépendances

Installez les dépendances de construction manquantes et verrouillez à nouveau votre environnement :

uv pip install setuptools_scm  # vLLM ne déclare pas cette dépendance de construction, donc nous l'installons manuellement
uv lock

Vérifier Votre vLLM Personnalisé

Testez votre configuration pour vous assurer que votre vLLM personnalisé est utilisé :

uv run --extra vllm python -c 'import vllm; print("Importation de vLLM réussie")'
# Désinstallé 1 package en 1 ms
# Installé 1 package en 2 ms
# Bonjour ! Si vous voyez ceci, vous utilisez une version personnalisée de vLLM aux fins de ce tutoriel
# INFO 06-18 09:22:44 [__init__.py:244] Détection automatique de la plateforme cuda.
# Importation de vLLM réussie

Si vous ne voyez pas le message de journal Bonjour ! Si vous voyez ceci..., c’est parce que ce message est unique au fork vLLM spécifique du tutoriel. Il a été ajouté dans ce commit et n’existe pas dans le projet vLLM principal.