Contenu du module
Classes
| Nom | Description |
|---|---|
EvalConfig | dict() -> nouveau dictionnaire vide dict(mapping) -> nouveau dictionnaire initialisé à partir des paires (clé, valeur) d’un objet de mappage dict(iterable) -> nouveau dictionnaire initialisé comme suit : d = {} for k, v in iterable: d[k] = v dict(**kwargs) -> nouveau dictionnaire initialisé avec les paires nom=valeur dans la liste des arguments de mot-clé. Par exemple : dict(one=1, two=2) |
MasterConfig | dict() -> nouveau dictionnaire vide dict(mapping) -> nouveau dictionnaire initialisé à partir des paires (clé, valeur) d’un objet de mappage dict(iterable) -> nouveau dictionnaire initialisé comme suit : d = {} for k, v in iterable: d[k] = v dict(**kwargs) -> nouveau dictionnaire initialisé avec les paires nom=valeur dans la liste des arguments de mot-clé. Par exemple : dict(one=1, two=2) |
Fonctions
| Nom | Description |
|---|---|
setup | Configurer les composants pour l’évaluation du modèle. |
eval_pass_k | Évaluer le score pass@k en utilisant un estimateur non biaisé. |
eval_cons_k | Évaluer le score cons@k en utilisant un estimateur non biaisé. |
run_env_eval | Point d’entrée principal pour l’exécution de l’évaluation à l’aide de l’environnement. |
_run_env_eval_impl | Implémentation unifiée pour l’évaluation synchrone et asynchrone. |
_generate_texts | Générer des textes à l’aide d’une méthode synchrone ou asynchrone. |
_save_evaluation_data_to_json | Enregistrer les données d’évaluation dans un fichier JSON. |
_print_results | Imprimer les résultats de l’évaluation. |
API
[Le reste du document reste identique, seuls les commentaires et descriptions ont été traduits]