Exportation des Points de Contrôle au Format Hugging Face

NeMo RL fournit deux formats de points de contrôle pour les modèles Hugging Face : le format Torch distribué et le format Hugging Face. Le format Torch distribué est utilisé par défaut pour l’efficacité, et le format Hugging Face est fourni pour la compatibilité avec l’API AutoModel.from_pretrained de Hugging Face. Notez que les points de contrôle au format Hugging Face enregistrent uniquement les poids du modèle, en ignorant les états de l’optimiseur. Il est recommandé d’utiliser le format Torch distribué pour enregistrer les points de contrôle intermédiaires et de n’enregistrer un point de contrôle Hugging Face qu’à la fin de l’entraînement.

Conversion des Points de Contrôle Torch Distribués au Format Hugging Face

Un convertisseur de points de contrôle est fourni pour convertir un point de contrôle Torch distribué au format Hugging Face après l’entraînement :

uv run examples/converters/convert_dcp_to_hf.py --config=<YAML CONFIG UTILISÉ PENDANT L'ENTRAÎNEMENT> <TOUT REMPLACEMENT DE CONFIG UTILISÉ PENDANT L'ENTRAÎNEMENT> --dcp-ckpt-path=<CHEMIN VERS LE POINT DE CONTRÔLE DISTRIBUÉ À CONVERTIR> --hf-ckpt-path=<OÙ ENREGISTRER LE POINT DE CONTRÔLE HF>

Habituellement, les points de contrôle Hugging Face conservent les poids et le tokenizer ensemble (ce que nous recommandons également pour la traçabilité). Vous pouvez le copier par la suite. Voici un exemple de bout en bout :

# Changez pour votre répertoire de points de contrôle approprié
CKPT_DIR=results/sft/step_10
uv run examples/converters/convert_dcp_to_hf.py --config=$CKPT_DIR/config.yaml --dcp-ckpt-path=$CKPT_DIR/policy/weights --hf-ckpt-path=${CKPT_DIR}-hf
rsync -ahP $CKPT_DIR/policy/tokenizer ${CKPT_DIR}-hf/

Conversion des Points de Contrôle Megatron au Format Hugging Face

Pour les modèles initialement entraînés avec le backend Megatron-LM, un convertisseur distinct est disponible pour convertir les points de contrôle Megatron au format Hugging Face. Ce script nécessite Megatron-Core, assurez-vous donc de lancer la conversion avec l’extra mcore. Par exemple,

CKPT_DIR=results/sft/step_10
uv run --extra mcore examples/converters/convert_megatron_to_hf.py --config=$CKPT_DIR/config.yaml --megatron-ckpt-path=$CKPT_DIR/policy/weights/iter_0000000/ --hf-ckpt-path=<chemin_pour_enregistrer_ckpt_hf>