Passer à la navigation
DéveloppementAPI ReferenceNemo RlModelsGenerationVllm

nemo_rl.models.generation.vllm.utils

Afficher en Markdown

Contenu du Module

Fonctions

NomDescription
format_prompt_for_vllm_generationFormater une liste de prompts pour la génération vllm (qui nécessite un format spécifique pour sa propre méthode generate).

API

nemo_rl.models.generation.vllm.utils.format_prompt_for_vllm_generation(
    data: nemo_rl.distributed.batched_data_dict.BatchedDataDict[nemo_rl.models.generation.interfaces.GenerationDatumSpec],
    sample_idx: typing.Optional[int] = None
) -> list[dict[str, typing.Any]]

Formater une liste de prompts pour la génération vllm (qui nécessite un format spécifique pour sa propre méthode generate).

Voir https://docs.vllm.ai/en/v0.9.1/features/multimodal_inputs.html pour le format de prompt pour les entrées multimodales.