支持的模型列表

lightllm 支持大多数的主流的开源大语言模型以及多模态模型，并且会不断扩充支持的模型列表。在后面的版本中，lightllm将会支持更多类型的模型（例如reward模型）。

Note

由于lightllm 的轻量级设计，lightllm具有非常高的可扩展性，这意味着添加新的模型支持非常简单，具体方法请参考 添加新模型 一节`

---

大语言模型

模型	备注
BLOOM
LLaMA
LLaMA V2
StarCoder
Qwen-7b	--eos_id 151643 --trust_remote_code
ChatGLM2-6b	--trust_remote_code
InternLM-7b	--trust_remote_code
Yi-34b
Mixtral
Stablelm	--trust_remote_code
MiniCPM
Phi-3	only supports Mini and Small.
CohereForAI	--data_type bfloat16
DeepSeek-V2-Lite	--data_type bfloat16
DeepSeek-V2	--data_type bfloat16
DeepSeek-V3
Qwen3
Qwen3-Moe

多模态模型

模型	备注
Qwen-VL	--trust_remote_code --enable_multimodal
Qwen-VL-Chat	--trust_remote_code --enable_multimodal
Llava-7b	--enable_multimodal
Llava-13b	--enable_multimodal
Qwen2-VL	--enable_multimodal
Google Gemma3	--enable_multimodal

Reward模型

模型	备注
internLM-reward	--use_reward_model
Qwen2-Reward	--use_reward_model