Ajouter de nouveaux modèles

Ce guide décrit comment intégrer et valider un nouveau modèle dans NeMo RL. Chaque nouveau modèle doit passer un ensemble standard de tests de compatibilité avant d’être considéré comme prêt à être utilisé dans des pipelines RL. Le guide détaille également des scripts de diagnostic pour aider à identifier et résoudre les problèmes courants lors de l’intégration d’un modèle.

Importance de la cohérence de la probabilité logarithmique pendant l’entraînement et l’inférence

Dans l’RL sur politique, nous échantillonnons des jetons (actions) à partir de la version la plus récente de la politique. Cela signifie que la distribution d’échantillonnage des probabilités de jetons produite par le framework d’inférence doit correspondre étroitement à celle du framework d’entraînement. Si le framework d’inférence produit des probabilités significativement différentes, nous échantillonnons efficacement à partir d’une distribution différente, ce qui conduit à des erreurs dans l’estimation de la perte.

[Le reste du document reste identique, seul le texte visible a été traduit]