Instructions to use Dorian2B/Vera-1.0-Preview-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Dorian2B/Vera-1.0-Preview-GGUF with llama-cpp-python:

# !pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
	repo_id="Dorian2B/Vera-1.0-Preview-GGUF",
	filename="vera-1.0-preview-q4_k_m.gguf",
)

llm.create_chat_completion(
	messages = [
		{
			"role": "user",
			"content": "What is the capital of France?"
		}
	]
)

Notebooks
Google Colab
Kaggle
Local Apps

llama.cpp

How to use Dorian2B/Vera-1.0-Preview-GGUF with llama.cpp:

Install from brew

brew install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama-cli -hf Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama-cli -hf Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M

Use Docker

docker model run hf.co/Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M

LM Studio
Jan

vLLM

How to use Dorian2B/Vera-1.0-Preview-GGUF with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Dorian2B/Vera-1.0-Preview-GGUF"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Dorian2B/Vera-1.0-Preview-GGUF",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M

Ollama
How to use Dorian2B/Vera-1.0-Preview-GGUF with Ollama:
```
ollama run hf.co/Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M
```

Unsloth Studio new

How to use Dorian2B/Vera-1.0-Preview-GGUF with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Dorian2B/Vera-1.0-Preview-GGUF to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Dorian2B/Vera-1.0-Preview-GGUF to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for Dorian2B/Vera-1.0-Preview-GGUF to start chatting

Docker Model Runner
How to use Dorian2B/Vera-1.0-Preview-GGUF with Docker Model Runner:
```
docker model run hf.co/Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M
```

Lemonade

How to use Dorian2B/Vera-1.0-Preview-GGUF with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull Dorian2B/Vera-1.0-Preview-GGUF:Q4_K_M

Run and chat with the model

lemonade run user.Vera-1.0-Preview-GGUF-Q4_K_M

List all available models

lemonade list

🤖 Introduction

Vera 1.0 est un assistant IA personnel de nouvelle génération, équipé de 11 milliards de paramètres et optimisé pour vous accompagner dans vos tâches quotidiennes. Contrairement aux modèles généralistes, Vera a été spécialement conçue pour être votre compagnon numérique, capable de s'adapter à vos besoins personnels et de maintenir des conversations naturelles et engageantes.

Ce qui rend Vera unique, c'est sa capacité à comprendre le contexte de vos demandes et à fournir des réponses personnalisées et pertinentes. Que vous ayez besoin d'aide pour rédiger un email, comprendre un concept complexe, ou simplement discuter de sujets variés, Vera s'adapte naturellement à votre style de communication et à vos préférences.

Basée sur l'architecture Llama mais enrichie d'optimisations spécifiques, Vera excelle dans la conversation en français et en anglais, avec un support étendu pour l'italien, l'espagnol et le polonais. Cette polyglottie naturelle fait de Vera un assistant précieux pour une utilisation internationale.

🚀 Caractéristiques techniques

Paramètres : 11 milliards (équilibre intelligence/efficacité)
Architecture : Llama optimisée (stabilité et compatibilité)
Contexte : 32 768 tokens (conversations longues et suivi contextuel)
Langues principales : Français, Anglais (expression naturelle et nuancée)
Langues secondaires : Italien, Espagnol, Polonais (support international étendu)
Formats : SafeTensors, GGUF (flexibilité de déploiement)

La capacité de Vera à traiter 32 768 tokens permet de maintenir des conversations longues et complexes sans perdre le fil. Cette fonctionnalité est particulièrement utile pour l'analyse de documents, les projets étendus ou les discussions approfondies sur des sujets complexes.

💻 Installation et déploiement

L'intégration de Vera dans votre environnement est conçue pour être rapide et efficace. Le modèle est fait pour tournez de manière entièrement en hors ligne.

Options de quantization GGUF

Quantization	Usage recommandé	Mémoire requise	Qualité	Télécharger
Q8_0	Utilisation optimale	12-16 GB	Maximale	Télécharger
Q6_K	Usage quotidien	10-12 GB	Excellente	Télécharger
Q4_K_M	Configuration limitée	8-10 GB	Très bonne	Télécharger

⚙️ Configuration recommandée

Pour une expérience optimale avec Vera, nous recommandons une configuration matérielle adaptée aux modèles de 11 milliards de paramètres :

Matériel optimal

RAM système : 32 GB pour une fluidité maximale, 16 GB minimum
VRAM GPU : 12-16 GB (RTX 4070/4080, RTX 3080/3090, ou équivalent AMD)
Processeur : CPU moderne multi-cœurs (Intel i7/i9 ou AMD Ryzen 7/9)
Stockage : 25+ GB d'espace libre sur SSD pour les performances optimales

Paramètres recommandés

Température : 0.7 (équilibre optimal entre créativité et cohérence)
Top-p : 0.9 pour maintenir la diversité des réponses

⚠️ Limitations actuelles

Points d'amélioration (Version Preview)

Programmation avancée : Vera excelle dans l'assistance de base en programmation mais reste limitée sur les algorithmes très complexes, l'architecture logicielle avancée et les optimisations de performance poussées.

Domaines ultra-spécialisés : Certains domaines très techniques (recherche médicale avancée, finance quantitative, ingénierie aérospatiale) peuvent nécessiter une expertise que cette version Preview ne peut pas encore fournir optimalement.

Évolutions récentes : Comme tous les modèles IA, Vera a une limite temporelle dans ses connaissances des événements les plus récents et des développements technologiques de dernière minute.

Raisonnement mathématique complexe : Bien que capable de résoudre des problèmes mathématiques standards, Vera peut montrer des limites sur des démonstrations mathématiques très avancées ou des calculs nécessitant une précision absolue.

🚀 Découvrir Vera sur HuggingFace