nemo_rl.models.generation.vllm.config

Contenu du Module

Nom	Description
`VllmSpecificArgs`	dict() -> nouveau dictionnaire vide dict(mapping) -> nouveau dictionnaire initialisé à partir des paires (clé, valeur) d’un objet de mappage dict(iterable) -> nouveau dictionnaire initialisé comme suit : d = for k, v in iterable: d[k] = v dict(**kwargs) -> nouveau dictionnaire initialisé avec les paires nom=valeur dans la liste des arguments de mots-clés. Par exemple : dict(one=1, two=2)
`VllmConfig`	Configuration pour la génération.

class nemo_rl.models.generation.vllm.config.VllmSpecificArgs

Bases: typing.TypedDict

tensor_parallel_size: int

Valeur: None

pipeline_parallel_size: int

Valeur: None

enable_expert_parallel: bool

Valeur: None

gpu_memory_utilization: float

Valeur: None

max_model_len: int

Valeur: None

skip_tokenizer_init: bool

Valeur: None

async_engine: bool

Valeur: None

load_format: typing.NotRequired[str]

Valeur: None

precision: typing.NotRequired[str]

Valeur: None

enforce_eager: typing.NotRequired[bool]

Valeur: None

class nemo_rl.models.generation.vllm.config.VllmConfig

Bases: nemo_rl.models.generation.interfaces.GenerationConfig

vllm_cfg: nemo_rl.models.generation.vllm.config.VllmSpecificArgs

Valeur: None

vllm_kwargs: typing.NotRequired[dict[str, typing.Any]]

Valeur: None