Passer à la navigation
DéveloppementAPI ReferenceNemo RlDataHf Datasets

nemo_rl.data.hf_datasets.openmathinstruct2

Afficher en Markdown

Contenu du Module

Classes

NomDescription
OpenMathInstruct2DatasetAucun

Fonctions

NomDescription
format_mathAucun
prepare_openinstructmath2_datasetCharger et diviser le jeu de données OpenMathInstruct-2 en ensembles d’entraînement et de validation en utilisant train_test_split de HF.

API

nemo_rl.data.hf_datasets.openmathinstruct2.format_math(
    data: dict[str, str | float | int], output_key: str = 'expected_answer'
) -> dict[str, list[typing.Any] | str]
nemo_rl.data.hf_datasets.openmathinstruct2.prepare_openinstructmath2_dataset(
    split: str = 'train_1M',
    seed: int = 42,
    test_size: float = 0.05,
    output_key: str = 'expected_answer'
) -> dict[str, datasets.Dataset | None]

Charger et diviser le jeu de données OpenMathInstruct-2 en ensembles d’entraînement et de validation en utilisant train_test_split de HF.

class nemo_rl.data.hf_datasets.openmathinstruct2.OpenMathInstruct2Dataset(split: str = 'train_1M', seed: int = 42, test_size: float = 0.05, output_key: str = 'expected_answer', prompt_file: typing.Optional[str] = None)