Skip to content
New issue

Have a question about this project? # for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “#”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? # to your account

feat: add a Dockerfile #6

Merged

Conversation

HarikrishnanBalagopal
Copy link
Contributor

@HarikrishnanBalagopal HarikrishnanBalagopal commented Aug 27, 2024

$ docker run --rm -it -v "$PWD/workdir/input.json:/app/input.json" icr.io/ftplatform/fm_training_estimator:latest
INFO:root:Hybrid Estimator: Initializing
config.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 662/662 [00:00<00:00, 1.59MB/s]
tokenizer_config.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.53k/4.53k [00:00<00:00, 10.8MB/s]
tokenizer.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.06M/2.06M [00:00<00:00, 25.4MB/s]
special_tokens_map.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.02k/1.02k [00:00<00:00, 2.83MB/s]
{
    "total_mem_estimate_og": 787623051264.0,
    "activation_memory_og": 596732018688.0,
    "gradient_memory_og": 47722758144.0,
    "model_memory_og": 47722758144.0,
    "optimizer_memory_og": 95445516288.0,
    "total_mem_estimate": "733.5 GiB",
    "activation_memory": "555.8 GiB",
    "gradient_memory": "44.4 GiB",
    "model_memory": "44.4 GiB",
    "optimizer_memory": "88.9 GiB",
    "tps": 2480.99560546875
}

Signed-off-by: Harikrishnan Balagopal <harikrishmenon@gmail.com>
@kmehant kmehant merged commit 6204520 into foundation-model-stack:main Aug 27, 2024
1 check passed
@HarikrishnanBalagopal HarikrishnanBalagopal deleted the feat/docker branch August 28, 2024 04:37
# for free to join this conversation on GitHub. Already have an account? # to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants