LLM Course documentation
🤗 Datasets, verificare!
0. Configurare
1. Modele Transformer
2. Folosirea 🤗 Transformers
3. Fine-tuning unui model preantrenat
4. Partajarea modelelor și a tokenizatoarelor
5. Biblioteca 🤗 Datasets
IntroducereCe fac dacă dataset-ul meu nu este pe Hub?E timpul să tăiem și să analizăm dateleBig data? 🤗 Datasets vine în ajutor!Creează propriul tău datasetCăutare semantică cu FAISS🤗 Datasets, verificare!Quiz de final de capitol
6. Biblioteca 🤗 Tokenizers
7. Sarcini clasice NLP
8. Cum să ceri ajutor
9. Construirea și partajarea demo-urilor
10. Curățați seturi de date de înaltă calitate
11. Fine-tuning pentru modele mari de limbaj
12. Construiește Modele de Raționament new
Evenimente Curs
🤗 Datasets, verificare!
Ei bine, a fost un tur palpitant prin biblioteca 🤗 Datasets — felicitări pentru că ai ajuns până aici! Cu cunoștințele pe care le-ai dobândit din acest capitol, ar trebui să fii capabil să:
- Încarci dataseturi de oriunde, fie Hugging Face Hub, laptopul tău sau un server remote de la compania ta.
- Modelezi datele tale folosind o combinație a funcțiilor
Dataset.map()șiDataset.filter(). - Schimbi rapid între data formats precum Pandas și NumPy folosind
Dataset.set_format(). - Creezi propriul tău dataset și să îl publici pe Hugging Face Hub.
- Încorporezi documentele tale folosind un model Transformer și construiești un motor de căutare semantică folosind FAISS.
În Capitolul 7, vom pune toate acestea în practică, făcând o examinare amănunțită a principalelor sarcini NLP pentru care modelele Transformer sunt excelente. Înainte de a trece mai departe, puneți-vă cunoștințele despre 🤗 Datasets la încercare cu un quiz rapid!
Update on GitHub