> For clean Markdown of any page, append .md to the page URL.
> For a complete documentation index, see https://fr.nvidia-localization.ferndocs.com/fr/nemo/rl/0-3-0/fsdp2-parallel-plan/llms.txt.
> For AI client integration (Claude Code, Cursor, etc.), connect to the MCP server at https://fr.nvidia-localization.ferndocs.com/_mcp/server.

# FSDP2 Plan Parallèle

Ce guide décrit la stratégie de parallélisation pour l'entraînement FSDP2 (Fully Sharded Data Parallel version 2) dans NeMo RL.

## Priorité de Repli

NeMo RL prend en charge trois stratégies de parallélisation, appliquées dans l'ordre de priorité suivant :

### 1. Plan Parallèle Personnalisé

Vos plans parallèles personnalisés définis par l'utilisateur prennent toujours la priorité lorsqu'ils sont disponibles. Pour une implémentation et une utilisation détaillées, reportez-vous à l'[Exemple de Plan Parallèle Personnalisé](#exemple-de-plan-parallèle-personnalisé).

### 2. Plan Parallèle Optimisé

Les plans parallèles optimisés sont disponibles pour des architectures de modèle spécifiques. Ils peuvent offrir des performances supérieures par rapport à l'implémentation parallèle tensorielle de Hugging Face. Cette approche est utilisée si aucun plan parallèle personnalisé n'est spécifié et si la classe de modèle prend en charge la parallélisation optimisée.

### 3. Plan Parallèle Tensoriel Hugging Face

Le plan parallèle tensoriel Hugging Face est le plan par défaut. Il est disponible pour la plupart des modèles via `._tp_plan` et est utilisé lorsqu'aucun plan parallèle personnalisé ni optimisé n'est disponible.

## Exemple de Plan Parallèle Personnalisé

Un plan parallèle personnalisé doit être défini dans un fichier séparé, comme celui fourni dans `examples/custom_parallel.py`.

Pour implémenter le plan parallèle personnalisé, mettez à jour soit la valeur de `custom_parallel_plan` directement dans le fichier `yaml`, soit passez le remplacement via la ligne de commande. Par exemple :

```bash
uv run examples/run_grpo_math.py \
    policy.dtensor_cfg.custom_parallel_plan=examples.custom_parallel.custom_parallel_plan
```