nemo_rl.utils.flops_formulas

Contenu du Module

Nom	Description
`FLOPSConfig`	Contient les hyperparamètres du modèle nécessaires pour les calculs de FLOPS.

Nom	Description
`gpt3`	FLOPS du modèle pour la famille GPT3.
`llama`	FLOPS du modèle pour la famille llama3.
`nemotron`	FLOPS du modèle pour la famille nemotron.
`mixtral`	FLOPS du modèle pour la famille mixtral.
`qwen2`	FLOPS du modèle pour la famille Qwen2.
`qwen3`	FLOPS du modèle pour la famille Qwen3.
`bert`	FLOPS du modèle pour la famille BERT.
`transformer`	Calcule les FLOPS pour un modèle Transformer standard.
`flux`	FLOPS du modèle pour FLUX.
`deepseekv3`	FLOPS du modèle pour DeepSeek V3.
`_mlp_layer_flops`	FLOPS du modèle pour la couche MLP.
`_non_mla_attn_layer_flops`	FLOPS du modèle pour la couche d’attention.
`_mamba_layer_flops`	FLOPS du modèle pour la couche Mamba. Nous ignorons une partie des flops de scan car la taille du chunk n’est pas connue à partir de la configuration du modèle.
`_hybrid_model_flops`	FLOPS du modèle pour un modèle hybride.
`nemotronh`	FLOPS du modèle pour NemotronH.

(Rest of the document remains the same, only the intro section and table have been translated)