Skip to content
New issue

Have a question about this project? # for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “#”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? # to your account

Настройки finetuning #2

Open
seregadgl20-oss opened this issue Mar 13, 2021 · 1 comment
Open

Настройки finetuning #2

seregadgl20-oss opened this issue Mar 13, 2021 · 1 comment

Comments

@seregadgl20-oss
Copy link

Здравствуйте, подскажите если не секрет, какие вы использовали настройки в rugpt3 модели для перефразирования?

@Alenush
Copy link
Member

Alenush commented Mar 24, 2021

Добрый день!
Для обучения какие-то конкретные параметры интересуют? или для генерации какой-то более стабильный вариант?
При обучении ничего не мудрила как в репе обучала https://github.com/sberbank-ai/ru-gpts/blob/deepspeed_full/examples/Finetune_RuGPTs_with_HF.ipynb по дефолту.
Для генерации можно пробовать разные параметры, лучше подбирать под свою задачу и свои тексты.

# for free to join this conversation on GitHub. Already have an account? # to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants