nemo_rl.data.processors

Contient des processeurs de données pour l’évaluation.

Contenu du Module

Fonctions

Nom	Description
`math_data_processor`	Traite un dictionnaire de données (directement chargé à partir du jeu de données) en un DatumSpec pour l’Environnement Mathématique.
`_construct_multichoice_prompt`	Construit une invite à partir d’une question et d’options.
`multichoice_qa_processor`	Traite un dictionnaire de données (directement chargé à partir du jeu de données) en un DatumSpec pour des problèmes à choix multiples.

Données

TokenizerType

API

nemo_rl.data.processors.TokenizerType

Valeur: None

nemo_rl.data.processors.math_data_processor(
    datum_dict: dict[str, typing.Any],
    task_data_spec: nemo_rl.data.interfaces.TaskDataSpec,
    tokenizer: nemo_rl.data.processors.TokenizerType,
    max_seq_length: int,
    idx: int
) -> nemo_rl.data.interfaces.DatumSpec

Traite un dictionnaire de données (directement chargé à partir du jeu de données) en un DatumSpec pour l’Environnement Mathématique.

nemo_rl.data.processors._construct_multichoice_prompt(
    prompt: str,
    question: str,
    options: dict[str, str]
) -> str

Construit une invite à partir d’une question et d’options.

nemo_rl.data.processors.multichoice_qa_processor(
    datum_dict: dict[str, typing.Any],
    task_data_spec: nemo_rl.data.interfaces.TaskDataSpec,
    tokenizer: nemo_rl.data.processors.TokenizerType,
    max_seq_length: int,
    idx: int
) -> nemo_rl.data.interfaces.DatumSpec

Traite un dictionnaire de données (directement chargé à partir du jeu de données) en un DatumSpec pour des problèmes à choix multiples.