LLM Course documentation
🤗 Datasets, ¡listo!
0. Setup
1. Modelos de Transformadores
2. Usando Transformers 🤗
3. Ajuste (fine-tuning) de un modelo preentrenado
5. La librería 🤗 Datasets
Introducción¿Y si mi dataset no está en el Hub?Es momento de subdividir¿Big data? 🤗 ¡Datasets al rescate!Crea tu propio datasetBúsqueda semántica con FAISS🤗 Datasets, ¡listo!Quiz de final de capítulo
6. La librería 🤗 Tokenizers
8. ¿Cómo solicitar ayuda?
Glosario
🤗 Datasets, ¡listo!
Bueno, ese fue un gran tour de la librería 🤗 Datasets. ¡Felicitaciones por llegar hasta aquí! Con el conocimiento que adquiriste en este capítulo, deberías ser capaz de:
- Cargar datasets de cualquier parte, sea del Hub de Hugging Face, tu computador o un servidor remoto en tu compañía.
- Preparar tus datos usando una combinación de las funciones
Dataset.map()yDataset.filter(). - Cambiar rápidamente entre formatos de datos como Pandas y NumPy usando
Dataset.set_format(). - Crear tu propio dataset y subirlo al Hub de Hugging Face.
- Procesar tus documentos usando un modelo de Transformer y construir un motor de búsqueda semántica usando FAISS.
En el Capítulo 7 pondremos todo esto en práctica cuando veamos a profundidad las tareas de PLN en las que son buenos los modelos de Transformers. Antes de seguir, ¡es hora de poner a prueba tu conocimiento de 🤗 Datasets con un quiz!
Update on GitHub