accelerate

Uma biblioteca que habilita o mesmo código PyTorch a rodar em qualquer configuração distribuída. Mais informações: https://huggingface.co/docs/accelerate/index.

accelerate env

accelerate config

accelerate estimate-memory {{nome/modelo}}

accelerate test --config_file {{caminho/para/config.yaml}}

accelerate launch {{caminho/para/script.py}} {{--cpu}}

accelerate launch {{caminho/para/script.py}} --multi_gpu --num_machines 2