nemo_rl.data.hf_datasets.oasst

Contenu du Module

Classes

Fonctions

Données

SYSTEM_PROMPT

API

nemo_rl.data.hf_datasets.oasst.SYSTEM_PROMPT

Valeur: `Une conversation entre un utilisateur curieux et un assistant d’intelligence artificielle. L’assistant donne des réponses utiles, détaillées et polies aux questions de l’utilisateur.

`

nemo_rl.data.hf_datasets.oasst.parse_conversations(
    tree_obj, first: bool = False
)

Fonction récursive qui renvoie toutes les sous-conversations dans une liste à partir de l’arborescence du nœud tree_obj.

Args: tree_obj (obj): nœud de conversation actuel

Returns: une liste de fils de conversation, y compris le nœud de conversation actuel

nemo_rl.data.hf_datasets.oasst.get_data_records(objs)

nemo_rl.data.hf_datasets.oasst.download_and_process_oasst(
    output_directory: str = '.',
    seed: int = 42,
    split_ratio: float = 0.95
) -> dict[str, list]

class nemo_rl.data.hf_datasets.oasst.OasstDataset(output_dir: str = '.', seed: int = 42)