gpt_server v0.6.5

What's Changed

• 更新 vllm==0.11.0 sglang==0.5.3.post1

gpt_server v0.6.4

What's Changed

• 更新lmdeoploy == 0.10.0 vllm==0.10.2 sglang==0.5.2

gpt_server v0.6.3

What's Changed

1. vllm 多模态 支持 enable_thinking
2. 优化lmdepoly 后端 logger prompt
3. 更新lmdeoploy == 0.10.0
4. 优化项目架构
5. 添加 autoawq
6. 优化项目冗余代码
7. 删除遗留代码

gpt_server v0.6.2

What's Changed

1. 升级SGLang、vLLM、LMDepoy 到最新版本
2. 支持图片编辑模型、兼容open AI 图片编辑接口
3. 修复 vllm guided decoding
4. 修复 lmdeploy backend 模板bug
5. 优化项目架构，使用pydantic BaseSettings统一模型配置获取
6. 移除 muti fuction call，保证 function calling 的稳定性
7. 添加 enable_thinking 参数

gpt_server v0.6.1

gpt_server v0.6.0

What's Changed

1. 初步支持了 embedding 的 vllm 加速
2. 修复一些 bug
3. config.yaml 文件做了一些改动，请查看 https://github.com/shell-nlp/gpt_server/blob/main/gpt_server/script/config_example.yaml
4. 升级 lmdeploy==0.9.1 sglang[all]==0.4.10

gpt_server v0.5.0

What's Changed

1. 升级部分库的版本
2. 支持embedding-vl模型 #36
3. 支持文生图模型
4. 提高系统的吞吐量