nemo_rl.models.generation.vllm.vllm_generation

Contenu du module

Classes

Données

TOP_K_THRESHOLD TOP_P_THRESHOLD

API

nemo_rl.models.generation.vllm.vllm_generation.TOP_K_THRESHOLD

Valeur: 8000

nemo_rl.models.generation.vllm.vllm_generation.TOP_P_THRESHOLD

Valeur: 0.99

class nemo_rl.models.generation.vllm.vllm_generation.VllmGeneration(cluster: nemo_rl.distributed.virtual_cluster.RayVirtualCluster, config: nemo_rl.models.generation.vllm.config.VllmConfig, name_prefix: str = 'vllm_policy', workers_per_node: typing.Optional[typing.Union[int, list[int]]] = None)

Bases: nemo_rl.models.generation.interfaces.GenerationInterface

_get_tied_worker_bundle_indices(cluster: nemo_rl.distributed.virtual_cluster.RayVirtualCluster) -> list[tuple[int, list[int]]]

Calculer les indices des groupes de workers pour les workers parallèles tensor et pipeline.

Gère les groupes de placement unifiés (pour le parallélisme de modèle inter-nœuds) et les groupes de placement par nœud (pour le parallélisme de modèle local au nœud).

_report_device_id() -> list[list[str]]

Rapporter l’ID du dispositif des workers vllm.

_post_init()

init_collective(
    ip: str,
    port: int,
    world_size: int
) -> list[ray.ObjectRef]

Initialiser la communication collective.

[… Rest of the document remains the same, only text translations have been applied …]