LLM Course

0. ติดตั้งโปรแกรม

1. โมเดล Transformer

2. การใช้งาน 🤗 Transformers

3. การ fine-tune โมเดลที่ผ่านการเทรนมาแล้ว (pretrained model)

บทนำ การประมวลผลข้อมูล การ Fine-tune โมเดลด้วย Trainer API หรือ Keras การเทรนโมเดลฉบับสมบูรณ์Fine-tune โมเดลสำเร็จแล้ว!คำถามท้ายบท

4. การแบ่งปันโมเดลและ tokenizers

6. ตัวตัดคำจาก 🤗 Tokenizers library

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

คำถามท้ายบท

ทดสอบความรู้ที่คุณได้เรียนมาจากบทนี้กัน!

1. ใน emotion dataset ซึ่งได้รวบรวมข้อความ Twitter ที่มีการ labeled ว่าแต่ละข้อความนั้นเป็นข้อความที่มีอารมณ์แบบใด ลองค้นข้อมูลดูจาก Hub และอ่าน dataset card ดูแล้วตอบว่า ข้อใดไม่ใช่หนึ่งในอารมณ์พื้นฐานของ dataset นี้?

Joy Love Confusion Surprise

2. ลองหาข้อมูล ar_sarcasm dataset ใน Hub ดูว่ามันสามารถทำ Task อะไรได้บ้าง?

Sentiment classification (การจำแนกอารมณ์ของข้อความ) Machine translation (การแปลภาษา) Named entity recognition (การจำแนกหน่วยย่อยของประโยค) Question answering (การตอบคำถาม)

3. โมเดล BERT ต้องการข้อมูลนำเข้า เป็นคู่ประโยคในลักษณะใด?

Tokens_of_sentence_1 [SEP] Tokens_of_sentence_2 [CLS] Tokens_of_sentence_1 Tokens_of_sentence_2 [CLS] Tokens_of_sentence_1 [SEP] Tokens_of_sentence_2 [SEP] [CLS] Tokens_of_sentence_1 [SEP] Tokens_of_sentence_2

4. ข้อใดเป็นประโยชน์ที่ได้จากการใช้เมธอด Dataset.map() ?

มีการเก็บผลลัพธ์ของฟังก์ชั่นไว้ใน cache ทำให้คุณไม่ต้องเสียเวลาเพิ่มเติมหากมีการรันโค้ดใหม่ มันสามารถใช้ multiprocessing ทำให้ประมวลผลได้เร็วกว่าการใช้ฟังก์ชั่นกับ element แต่ละตัวใน dataset มันไม่ได้โหลดเอา dataset ทั้งหมดเข้าไปใน memory แต่จะบันทึกผลลัพธ์เมื่อประมวลผล element แต่ละตัวเสร็จ

5. dynamic padding หมายถึงอะไร?

หมายถึงการเติมข้อมูลในแต่ละ batch ให้เท่ากับข้อมูลที่ยาวที่สุดใน dataset หมายถึงการเติมข้อมูลในแต่ละ batch ให้เท่ากับข้อมูลที่ยาวที่สุดใน batch นั้น หมายถึงการเติมข้อมูลเพื่อให้แต่ละประโยคมีจำนวน token เท่ากับประโยคก่อนหน้าใน dataset.

6. ข้อใดคือหน้าที่ของฟังก์ชั่น collate?

เพื่อทำให้มั่นใจว่าทุก sequences ใน dataset มีความยาวเท่ากัน เพื่อเก็บข้อมูลเข้ามาทำเป็น batch อย่างเหมาะสม เพื่อประมวลผลข้อมูลทั้ง dataset. เพื่อตัด sequences ทุกตัวใน dataset.

7. จะเกิดอะไรขึ้นถ้าคุณสร้างออพเจ็กต์ของคลาส AutoModelForXxx ตัวหนึ่งซึ่งมี pretrained language model (เช่น bert-base-uncased ) เพื่อนำไปทำ task ที่แตกต่างไปจาก task ที่เคยเทรนไว้?

ไม่มีอะไรเกิดขึ้น แต่คุณจะได้รับข้อความ warning head ของ pretrained model จะถูกตัดทิ้งไป และจะมีการสร้าง head ใหม่ให้เหมาะสมกับ task นั้นขึ้นมาแทนที่ head ของ pretrained model จะถูกตัดทิ้งไป ไม่มีอะไรเกิดขึ้น เนื่องจากเราสามารถ fine tune โมเดลให้ทำ task ที่ต่างออกไปได้

8. ข้อใดคือหน้าที่ของ TrainingArguments ?

เพื่อเก็บ hyperparameters ทุกตัวที่ใช้ในการเทรนและประเมินผลโมเดลด้วย Trainer เพื่อกำหนดขนาดของโมเดล เพื่อเก็บ hyperparameters ที่ใช้ในการประเมินผลโมเดล เพื่อเก็บ hyperparameters ที่ใช้ในการเทรนโมเดล

9. ทำไมคุณจึงควรใช้ไลบรารี่ 🤗 Accelerate?

เพื่อเรียกใช้โมเดลที่ทำงานได้เร็วกว่า มันมี high-level API ให้ใช้ ฉันจึงไม่ต้องเขียนลูปในการเทรนเอง ช่วยให้ลูปในการเทรนของคุณใช้การได้กับ distributed setup มันมีฟังก์ชั่น optimization ให้เลือกใช้มากกว่า

Update on GitHub

←Fine-tune โมเดลสำเร็จแล้ว!

Next chapter

คำถามท้ายบท 1. ใน emotion dataset ซึ่งได้รวบรวมข้อความ Twitter ที่มีการ labeled ว่าแต่ละข้อความนั้นเป็นข้อความที่มีอารมณ์แบบใด ลองค้นข้อมูลดูจาก Hub และอ่าน dataset card ดูแล้วตอบว่า ข้อใดไม่ใช่หนึ่งในอารมณ์พื้นฐานของ dataset นี้?2. ลองหาข้อมูล ar_sarcasm dataset ใน Hub ดูว่ามันสามารถทำ Task อะไรได้บ้าง?3. โมเดล BERT ต้องการข้อมูลนำเข้า เป็นคู่ประโยคในลักษณะใด?4. ข้อใดเป็นประโยชน์ที่ได้จากการใช้เมธอด Dataset.map() ?5. dynamic padding หมายถึงอะไร?6. ข้อใดคือหน้าที่ของฟังก์ชั่น collate?7. จะเกิดอะไรขึ้นถ้าคุณสร้างออพเจ็กต์ของคลาส AutoModelForXxx ตัวหนึ่งซึ่งมี pretrained language model (เช่น bert-base-uncased ) เพื่อนำไปทำ task ที่แตกต่างไปจาก task ที่เคยเทรนไว้?8. ข้อใดคือหน้าที่ของ TrainingArguments ?9. ทำไมคุณจึงควรใช้ไลบรารี่ 🤗 Accelerate?4. จะเกิดอะไรขึ้นถ้าคุณสร้างออพเจ็กต์ของคลาส AutoModelForXxx ตัวหนึ่งซึ่งมี pretrained language model (เช่น bert-base-uncased ) เพื่อนำไปทำ task ที่แตกต่างไปจาก task ที่เคยเทรนไว้?5. โมเดล TensorFlow จาก transformers นั้นเป็นโมเดล Keras อยู่แล้ว การที่เป็นแบบนี้นั้นมีประโยชน์อะไรบ้าง?6. คุณสามารถสร้าง metric ของคุณเองได้อย่างไร?