nemo_rl.data.llm_message_utils

Contenu du Module

Nom	Description
`message_log_to_flat_messages`	Convertit un journal de messages (séquence de tours de messages) en une représentation aplatie.
`get_keys_from_message_log`	Renvoie un nouveau LLMMessageLogType contenant uniquement les clés spécifiées de chaque message.
`add_loss_mask_to_message_log`	Ajoute des masques de perte au niveau des tokens à chaque message dans un journal de messages.
`_pad_tensor`	Remplit un tenseur jusqu’à la longueur spécifiée.
`_validate_tensor_consistency`	Valide que tous les tenseurs ont des types de données et des appareils cohérents.
`batched_message_log_to_flat_message`	Traite et remplit un lot de journaux de messages pour l’entrée du modèle.
`message_log_shape`	Obtient la forme des tenseurs dans le journal de messages.
`get_first_index_that_differs`	Obtient le premier index qui diffère entre deux chaînes.
`get_images_from_message`	Obtient toutes les images d’un élément de journal de messages.
`get_formatted_message_log`	Formate et tokenise les messages de chat à l’aide du modèle spécifié.
`remap_dataset_keys`	Remappe les clés du jeu de données selon le mapping.

Tensor TokenizerType

[Le reste du document reste identique, seuls les commentaires et textes visibles sont traduits]

(Tous les exemples de code et blocs de code restent exactement les mêmes, seuls les commentaires et textes sont traduits en français)