nemo_rl.evals.answer_parsing

Contient des fonctions utilitaires pour l’analyse des réponses.

Contenu du Module

Fonctions

Données

MULTILINGUAL_ANSWER_PATTERN_TEMPLATE MULTILINGUAL_ANSWER_REGEXES

API

nemo_rl.evals.answer_parsing.MULTILINGUAL_ANSWER_PATTERN_TEMPLATE

Valeur: (?i)\{\}[ ]*([A-D]|[أ-د]|[অ]|[ব]|[ড]|[ঢ]|[Ａ]|[Ｂ]|[Ｃ]|[Ｄ])

nemo_rl.evals.answer_parsing.MULTILINGUAL_ANSWER_REGEXES

Valeur: ['Answer\\s*:', 'Answer\\s*:\u200b\u200b\u200b\u200b\u200b\u200b', 'উত্তর\\s*:', 'उत्तर\\s*:', 'উত্তরঃ', 'উত্তর\\s*:', 'Antwort\\s*:', '답변\\s*:', '정답\\s*:', '답\\s*:', '答案\\s*：', '答案\\s*:', '答\\s*：', '答\\s*:', '答复\\s*：', '답曰\\s*：', 'الإجابة:', 'الجواب:', 'إجابة:', 'الإجابة النهائية:', 'الإجابة الصحيحة:', 'الإجابة الصحيحة هي:', 'الإجابة هي:', 'الجواب النهائي:', 'Respuesta\\s*:', 'Risposta\\s*:', '答え\\s*:', '答え\\s*：', '回答\\s*:', '回答\\s*：', '解答\\s*:', 'Jawaban\\s*:', 'Réponse\\s*:', 'Resposta\\s*:', 'Jibu\\s*:', 'Idahun\\s*:', 'Ìdáhùn\\s*:', 'Idáhùn\\s*:', 'Àmọ̀nà\\s*:', 'Àdáhùn\\s*:', 'Ànúgọ\\s*:', 'Àṣàyàn\\s*:']

nemo_rl.evals.answer_parsing.normalize_extracted_answer(extracted_answer: str) -> str

nemo_rl.evals.answer_parsing.normalize_response(response: str) -> str

Normalise la réponse en supprimant la mise en forme markdown et LaTeX qui pourrait empêcher une correspondance.