Passer à la navigation

nemo_rl.evals.eval

Afficher en Markdown

Contenu du module

Classes

NomDescription
EvalConfigdict() -> nouveau dictionnaire vide dict(mapping) -> nouveau dictionnaire initialisé à partir des paires (clé, valeur) d’un objet de mappage dict(iterable) -> nouveau dictionnaire initialisé comme suit : d = {} for k, v in iterable: d[k] = v dict(**kwargs) -> nouveau dictionnaire initialisé avec les paires nom=valeur dans la liste des arguments de mot-clé. Par exemple : dict(one=1, two=2)
MasterConfigdict() -> nouveau dictionnaire vide dict(mapping) -> nouveau dictionnaire initialisé à partir des paires (clé, valeur) d’un objet de mappage dict(iterable) -> nouveau dictionnaire initialisé comme suit : d = {} for k, v in iterable: d[k] = v dict(**kwargs) -> nouveau dictionnaire initialisé avec les paires nom=valeur dans la liste des arguments de mot-clé. Par exemple : dict(one=1, two=2)

Fonctions

NomDescription
setupConfigurer les composants pour l’évaluation du modèle.
eval_pass_kÉvaluer le score pass@k en utilisant un estimateur non biaisé.
eval_cons_kÉvaluer le score cons@k en utilisant un estimateur non biaisé.
run_env_evalPoint d’entrée principal pour l’exécution de l’évaluation à l’aide de l’environnement.
_run_env_eval_implImplémentation unifiée pour l’évaluation synchrone et asynchrone.
_generate_textsGénérer des textes à l’aide d’une méthode synchrone ou asynchrone.
_save_evaluation_data_to_jsonEnregistrer les données d’évaluation dans un fichier JSON.
_print_resultsImprimer les résultats de l’évaluation.

API

[Le reste du document reste identique, seuls les commentaires et descriptions ont été traduits]