nemo_rl.models.dtensor.parallelize

Contenu du module

Classes

Nom	Description
`RotaryEmbedParallel`	Classe SequenceParallel personnalisée pour les intégrations rotatives Qwen2 / Gemma3 car l’entrée est un tuple.

Fonctions

Nom	Description
`_parallelize_gemma3`	Parallélise un modèle Gemma3ForCausalLM sur des dimensions de parallélisme de données et de tenseur.
`_parallelize_llama`	Parallélise un modèle LlamaForCausalLM sur des dimensions de parallélisme de données et de tenseur.
`_parallelize_qwen`	Parallélise un modèle Qwen2ForCausalLM sur des dimensions de parallélisme de données et de tenseur.
`translate_parallel_style`	Traduit un style de parallélisme en type de parallélisme.
`get_hf_tp_plan`	Obtient le plan de parallélisme de tenseur Hugging Face à partir du modèle.
`_parallelize_nm5_h`	Parallélise un modèle NemotronHForCausalLM sur des dimensions de parallélisme de données et de tenseur.
`_parallelize_model`	Parallélise un modèle à l’aide de DTensor.
`to_local_if_dtensor`	Renvoie le fragment local du tenseur donné s’il s’agit d’un DTensor.
`clip_grad_by_total_norm_`	Écrête le gradient d’un ensemble de paramètres par norme totale.
`get_grad_norm`	Calcule la norme des gradients.

Données

PARALLIZE_FUNCTIONS

API

(Le reste du document reste identique, seuls les commentaires et textes descriptifs ont été traduits)