Tokenizeri, verificare!

Bună treabă la finalizarea acestui capitol!

După această scufundare adâncă în tokenizers, ar trebui să:

• Să fii capabil să antrenezi un nou tokenizer folosind unul vechi ca model
• Să înțelegi modului de utilizare a offseturilor pentru a face map tokenilor în intervalul lor original de text
• Cunoști diferențele dintre BPE, WordPiece și Unigram
• Fii capabil să combini blocurile furnizate de biblioteca 🤗 Tokenizers pentru a vă construi propriul tokenizer
• Să poți folosi acest tokenizer în cadrul bibliotecii 🤗 Transformers

Update on GitHub