> For clean Markdown of any page, append .md to the page URL.
> For a complete documentation index, see https://fr.nvidia-localization.ferndocs.com/fr/nemo/rl/latest/nemo-rl-models-dtensor-parallelize/llms.txt.
> For AI client integration (Claude Code, Cursor, etc.), connect to the MCP server at https://fr.nvidia-localization.ferndocs.com/_mcp/server.

# nemo\_rl.models.dtensor.parallelize

## Contenu du module

### Classes

| Nom                                                                         | Description                                                                                                     |
| --------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------- |
| [`RotaryEmbedParallel`](#nemorlmodelsdtensorparallelizerotaryembedparallel) | Classe SequenceParallel personnalisée pour les intégrations rotatives Qwen2 / Gemma3 car l'entrée est un tuple. |

### Fonctions

| Nom                                                                                 | Description                                                                                             |
| ----------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------- |
| [`_parallelize_gemma3`](#nemorlmodelsdtensorparallelizeparallelizegemma3)           | Parallélise un modèle Gemma3ForCausalLM sur des dimensions de parallélisme de données et de tenseur.    |
| [`_parallelize_llama`](#nemorlmodelsdtensorparallelizeparallelizellama)             | Parallélise un modèle LlamaForCausalLM sur des dimensions de parallélisme de données et de tenseur.     |
| [`_parallelize_qwen`](#nemorlmodelsdtensorparallelizeparallelizeqwen)               | Parallélise un modèle Qwen2ForCausalLM sur des dimensions de parallélisme de données et de tenseur.     |
| [`translate_parallel_style`](#nemorlmodelsdtensorparallelizetranslateparallelstyle) | Traduit un style de parallélisme en type de parallélisme.                                               |
| [`get_hf_tp_plan`](#nemorlmodelsdtensorparallelizegethftpplan)                      | Obtient le plan de parallélisme de tenseur Hugging Face à partir du modèle.                             |
| [`_parallelize_nm5_h`](#nemorlmodelsdtensorparallelizeparallelizenm5h)              | Parallélise un modèle NemotronHForCausalLM sur des dimensions de parallélisme de données et de tenseur. |
| [`_parallelize_model`](#nemorlmodelsdtensorparallelizeparallelizemodel)             | Parallélise un modèle à l'aide de DTensor.                                                              |
| [`to_local_if_dtensor`](#nemorlmodelsdtensorparallelizetolocalifdtensor)            | Renvoie le fragment local du tenseur donné s'il s'agit d'un DTensor.                                    |
| [`clip_grad_by_total_norm_`](#nemorlmodelsdtensorparallelizeclipgradbytotalnorm)    | Écrête le gradient d'un ensemble de paramètres par norme totale.                                        |
| [`get_grad_norm`](#nemorlmodelsdtensorparallelizegetgradnorm)                       | Calcule la norme des gradients.                                                                         |

### Données

`PARALLIZE_FUNCTIONS`

### API

(Le reste du document reste identique, seuls les commentaires et textes descriptifs ont été traduits)