Instructions to use deepseek-ai/DeepSeek-R1-0528-Qwen3-8B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use deepseek-ai/DeepSeek-R1-0528-Qwen3-8B with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="deepseek-ai/DeepSeek-R1-0528-Qwen3-8B")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-R1-0528-Qwen3-8B")
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-R1-0528-Qwen3-8B")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Inference
Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use deepseek-ai/DeepSeek-R1-0528-Qwen3-8B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "deepseek-ai/DeepSeek-R1-0528-Qwen3-8B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "deepseek-ai/DeepSeek-R1-0528-Qwen3-8B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B

SGLang

How to use deepseek-ai/DeepSeek-R1-0528-Qwen3-8B with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "deepseek-ai/DeepSeek-R1-0528-Qwen3-8B" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "deepseek-ai/DeepSeek-R1-0528-Qwen3-8B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "deepseek-ai/DeepSeek-R1-0528-Qwen3-8B" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "deepseek-ai/DeepSeek-R1-0528-Qwen3-8B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use deepseek-ai/DeepSeek-R1-0528-Qwen3-8B with Docker Model Runner:
```
docker model run hf.co/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B
```

该模型Q4_K_M量化，在ollama部署该模型后不知所云

#24

by laaok - opened Nov 5, 2025

Discussion

laaok

Nov 5, 2025

ollama run deepseek-r1:8b

简述人工智能发展史
Thinking...
嗯，用户问的是"简述人工智能发展史"，首先得先想想用户是想要一个概述时间线性脉络清晰的结构，从起源到现代分阶段关键转折
点。用户可能是学生或研究者或爱好者要基础框架所以得简洁但全面不能太学术化得有人工科背景用户可能学生也能懂。

先从1930年代图灵年开始分起190AI两派符号主义和连接主义和统计学派关键人物比如明和现代AI概念1950sDARPAI定义L提出
DARPAI成立5667s专家系统黄金期知识工程MYCyc等。20s89危机7s后AI转向机器学习20000s深度学习20大数据AlphaGoAlphaGoGPT这些
点需要覆盖重点转折。

结构得连贯用户没逻辑连贯但简要流畅每个段落自然过渡像时间轴用户可能要短段别太长段标题分章节用年份。用户可能有逻辑但整
体性但得有分段落。

注意时间点用户没写法平衡每个阶段字数别太平均早期多重点突出转折如专家系统和深度学习等关键转折但AI转折点。用户没太细节
深度学习崛起近年进展少但基础。用户要平衡。

用户可能兴趣AI史发展脉络趋势用户可能对用户AI未来趋势但不用预测不问没说太多除非结尾。

用户没问。用户语言平实中性专业术语解释如"符号主义连接主义感知计算可解释但不用术语用自然避免用户可能不懂术语混。用户
理解。用户用例子如DARPAIARPA国防高级研究项目DARPA等缩写。用户可能懂但AI用户可能不解释缩写全但写但用首次用完整。

用户解释。

检查时间线错AI正式性时间点如19566DARPAI成立577s专家系统7-90s8s危机时间对。用户年份用户。关键事件连贯。用户。没遗漏重
要人物如吴恩达特明等用户但用户用户可能现代但用户。

用户现代部分用户简用户。用户。用户用户用户。

最后检查语言自然流畅转自然段落间过渡用户。
...done thinking.

好的，我们来简述述人工智能的发展历史：

人工智能（AI）：

人工智能的发展大致可以分为以下几个主要阶段：

1. **起步阶段：

(190s)：**：1940s末期，AI概念萌芽：
195450sAI概念形成 0sPAI 95DARPA成立

**知系统（6s）70s：黄金期：
60s知识工程专家 7sCyc0危机 3AI3转向
学习

20s：9s-0s机深 0学 000s AI崛起

0 深度深0学习

20：2020s 大数 0 AI

人工智能

1. **起步阶段 (19：
(1940s-50s)：萌芽：

194s 5 1s初AI 人机算计算机 9 5 19 0s研 AI 人 9 50 19 5 Drey 9 9 5 9 0 0 AI 9 研究 5 2 9 9 9 0 9 0 D 9
AI 9 9 9

2 1 95 9 9 9 9 9 0 9 9 9 0 5 0 5 0 0 0 00 90 0 9 0 9 0 9 0 00 0 9 9 9 0 9 9 9 0 000 900 0 0 0 90 00 0000 0 0 0
9 0 0 00 0000 00 0 0 0 0 00000 0 00 0000 000 0 000000 00000000 0000000000000000000000000000000

laaok

Nov 16, 2025

卸载模型重装无法解决该问题，升级ollama后问题解决

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment