> For clean Markdown of any page, append .md to the page URL.
> For a complete documentation index, see https://fr.nvidia-localization.ferndocs.com/fr/nemo/rl/latest/nemo-rl-models-generation-vllm-vllm-backend/llms.txt.
> For AI client integration (Claude Code, Cursor, etc.), connect to the MCP server at https://fr.nvidia-localization.ferndocs.com/_mcp/server.

# nemo\_rl.models.generation.vllm.vllm\_backend

## Contenu du module

### Classes

| Nom                                                                                                | Description |
| -------------------------------------------------------------------------------------------------- | ----------- |
| [`VllmInternalWorkerExtension`](#nemorlmodelsgenerationvllmvllmbackendvllminternalworkerextension) | Aucun       |

### API

```python
class nemo_rl.models.generation.vllm.vllm_backend.VllmInternalWorkerExtension
```

```python
init_collective(
    rank_prefix: int,
    ip: str,
    port: int,
    world_size: int
) -> None
```

Initialiser la communication collective.

```python
report_device_id() -> str
```

```python
prepare_refit_info(state_dict_info: typing.Optional[dict[str, typing.Any]] = None) -> None
```

Préparer les informations pour le réajustement.

DtensorPolicyWorker :
inference colocalisé : state\_dict\_info est None
inference non colocalisé : state\_dict\_info est un dictionnaire de \{nom\_du\_tenseur : (forme, type\_de\_données)}

MegatronPolicyWorker :
inference colocalisé : state\_dict\_info est un dictionnaire de \{nom\_du\_tenseur : (forme, type\_de\_données, nombre\_d'éléments)}
inference non colocalisé : state\_dict\_info est un dictionnaire de \{nom\_du\_tenseur : (forme, type\_de\_données)}

```python
update_weights_from_global_ipc_handles(global_device_ipc_handles)
```

Mettre à jour les poids à partir des handles IPC globaux.

Args :
global\_device\_ipc\_handles (dict) : Dictionnaire mappant les UUID des périphériques aux handles IPC des paramètres.

Returns :
bool : True si les poids ont été mis à jour avec succès.

```python
update_weights_from_local_ipc_handles(local_device_ipc_handles)
```

Mettre à jour les poids à partir des handles IPC locaux.

Args :
local\_device\_ipc\_handles (dict) : Handles IPC des paramètres pour le périphérique local.

Returns :
bool : True si les poids ont été mis à jour avec succès.

```python
update_weights_from_collective() -> bool
```

Mettre à jour les poids du modèle à partir de la communication collective.

```python
start_gpu_profiling() -> None
```

Démarrer le profilage GPU.

```python
stop_gpu_profiling() -> None
```

Arrêter le profilage GPU.