Instructions to use Finisha-F-scratch/Nano-Charlotte-v1-2.72M with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Finisha-F-scratch/Nano-Charlotte-v1-2.72M with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Finisha-F-scratch/Nano-Charlotte-v1-2.72M")# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Finisha-F-scratch/Nano-Charlotte-v1-2.72M") model = AutoModelForCausalLM.from_pretrained("Finisha-F-scratch/Nano-Charlotte-v1-2.72M") - Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use Finisha-F-scratch/Nano-Charlotte-v1-2.72M with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Finisha-F-scratch/Nano-Charlotte-v1-2.72M" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Nano-Charlotte-v1-2.72M", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/Finisha-F-scratch/Nano-Charlotte-v1-2.72M
- SGLang
How to use Finisha-F-scratch/Nano-Charlotte-v1-2.72M with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Nano-Charlotte-v1-2.72M" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Nano-Charlotte-v1-2.72M", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Nano-Charlotte-v1-2.72M" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Nano-Charlotte-v1-2.72M", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use Finisha-F-scratch/Nano-Charlotte-v1-2.72M with Docker Model Runner:
docker model run hf.co/Finisha-F-scratch/Nano-Charlotte-v1-2.72M
♥️ Nano-charlotte (v1)
Nano-charlotte est un petit modèle de langage (seulement 2,72 millions de paramètres !), Entraîné entièrement from scratch (comme la majorité de nos autres modèles), Avec un tokeniseur original, entraîné sur une petite dataset de 2k de rows de données (environ 200 fois plus petite que celle utilisée pour les versions Charlotte-Amity et nos modèles pre-entraîné beaucoup plus grand) autour de l'éthique, l'amitié et l'espoir.
dans le but de miniaturisé au maximum nos modèles, a des fins de démonstration, de test , de conlangs et d'haiku de poème des tokens.
👣🌸 Philosophie 🌸👣
Nano-charlotte, v1 est une version qui ne générera pas de phrases complètes, avec une syntaxe tenant la route (elle est trop petite pour vous parler avec la fluidité des versions Charlottes plus grandes), Attendez vous a de la soupe de token thématique autour de ses sujets philosophique d'entraînement.
Exemple :
E t je suis à ' un dans vous de l sur à dans la ? espoir dans un - il et l ' est . , ' ' et **. de ' la espoir éthique la ? ' L ' C ' les ' Il de qui ' en ' est des la t pour . est le est - la ? - ou la un '** est des la ** ami ( le et de le des dans la Il L ne ' espoir est ' et ** à m en d ' la ( en à espoir ce à devoir d ' de et un dans . IA ** ' et , ( amitié un ' l ' C ' , un la ** ** l ' les se la et . L ' amitié IA de l . de dans . , . et que ? qu ' . ** à nous de l avec et en l ' éthique L '** et la ** une les ) ) - ne ' ** de ' des ** ' ** les un ** et et éthique vous à d ' dans et que ? qu ' . ** à nous de l avec et en l ' éthique L '** et la ** une les ) ) - ne ' ** de ' des ** ' ** les un ** et et éthique vous à d ' dans amitié amitié de ( éthique les sur ** , éthique
cela ressemble à un poème de token! C'est totalement normal! Son but n'est pas de dire
L'éthique de la bienveillance, mais l'autonomie. Elle est le respect dans les valeurs et non éthiques pour un devoir de l'amitié, sans être un ami. C'est une source de l'ami.
Comme les grosses versions, Le but de Nano-charlotte est de générer des poèmes de tokens thématique, Pour que vous écrivez vos textes vous même en vous inspirant, a trouvez vos idées dans le chao!
- Downloads last month
- 2
