LLM Course documentation
🤗 Datasets, check!
0. Installazione
1. Modelli Transformer
2. Usare i 🤗 Transformers
3. Affinamento di un modello pre-addestrato
4. Condividere modelli e tokenizers
5. La libreria 🤗 Datasets
IntroduzioneE se il mio dataset non è sull'Hub?È arrivato il momento di tagliuzzareBig data? Ci pensa 🤗 Datasets!Creare il proprio datasetRicerca semantica con FAISS🤗 Datasets, check!Quiz di fine capitolo
8. Come chiedere un aiuto
9. Creare e condividere demo
🤗 Datasets, check!
Beh, abbiamo fatto un bel giro nella libreria 🤗 Datasets: complimenti per aver raggiunto quest’obiettivo! Con le conoscenze che hai ottenuto da questo capitolo, sei in grado di:
- Caricare dataset da ogni luogo, sia esso l’Hub di Hugging Face, il tuo portatile, o un server in remoto della tua compagnia.
- Fare data-wrangling usando un mix delle funzioni
Dataset.map()eDataset.filter(). - Passare velocemente tra diversi formati di dati domce Pandas e NumPy usando
Dataset.set_format(). - Creare il tuo dataset e condividerlo sull’Hub Hugging Face.
- Creare embedding dei tuoi documenti usando un modello Transformer, e costruire un motore di ricerca semantico usando FAISS.
Nel Capitolo 7, faremo buon uso di tutto questo mentre ci avventureremo nei task principali NLP, per i quali i modelli Transformer sono un’ottima soluzione. Prima di andare oltre, però, metti alla prova la tua conoscenza di 🤗 Datasets con un quiz!
Update on GitHub