环境准备 首先，我们需要准备Python环境和必要的依赖： 创建并激活conda环境： conda create -n vllm python=3.10 conda activate vllm 安装CUDA工具包（autodl容器中已经有了） 安装vLLM和ModelScope： pip