nemo_rl.data.hf_datasets.preference_dataset

Contenu du Module

Classes

API

class nemo_rl.data.hf_datasets.preference_dataset.PreferenceDataset(dataset_path: str, split: str)

Jeu de données de préférence.

Cette classe gère le chargement de données de préférence personnalisées. Le fichier JSONL d’entrée doit contenir des objets JSON valides formatés comme suit : { “context”: liste de dicts, # Le message de prompt (incluant les tours précédents, le cas échéant) “completions”: liste de dicts, # La liste des complétions { “rank”: int, # Le rang de la complétion (un rang inférieur est préféré) “completion”: liste de dicts, # Le(s) message(s) de complétion } }