nemo_rl.distributed.model_utils

Contenu du Module

Nom	Description
`DistributedLogprob`	Fonction autograd personnalisée pour calculer les log-probabilités dans un contexte distribué.
`ChunkedDistributedLogprob`	Fonction autograd personnalisée pour calculer les log-probabilités dans un contexte distribué.
`AllGatherCPTensor`	Aucune

Nom	Description
`_compute_distributed_log_softmax`	Calculer un log softmax distribué stable à travers les workers parallèles de tenseurs.
`dtensor_from_parallel_logits_to_logprobs`	Obtenir des log-probabilités à partir de logits de vocabulaire TP+CP partitionnés.
`from_parallel_logits_to_logprobs`	Obtenir des log-probabilités à partir de logits de vocabulaire TP+CP partitionnés.
`from_parallel_logits_to_logprobs_packed_sequences`	Obtenir des log-probabilités à partir de logits de vocabulaire TP partitionnés pour des séquences empaquetées.
`_get_tokens_on_this_cp_rank`	Obtenir les tokens sur ce rang de parallélisme contextuel.
`allgather_cp_sharded_tensor`	Aucune
`get_logprobs_from_vocab_parallel_logits`	Calcule les log-probabilités à partir de logits de vocabulaire parallèle.

[Le reste du document reste inchangé, seul le texte visible a été traduit]