Fine-tuning, итоги!

Это было весело! В первых двух главах вы узнали о моделях и токенизаторах, и теперь вы знаете как применить fine-tuning на собственных данных. Напомним, в этой главе вы:

• Узнали о датасетах из Hub
• Узнали как загрузить и предобработать данные (включая динамический padding и collator)
• Реализовали свой fine-tuning и валидировали модель
• Реализовали низко-уровневый обучающий цикл
• Использовали 🤗 Accelerate для легкой адаптации обучающего цикла к нескольким GPU или TPU

Update on GitHub