使用vLLM部署DeepSeek R1-Distill-Qwen-32B (Linux)
环境准备 首先,我们需要准备Python环境和必要的依赖: 创建并激活conda环境:
conda create -n vllm python=3.10
conda activate vllm
安装CUDA工具包(autodl容器中已经有了) 安装vLLM和ModelScope:
pip
解决更改系统环境变量后在vs code不生效的问题
强化学习的数学基础学习笔记
ACM竞赛C++模板
linux杂项
linux杂项 我一直都有一个疑惑,windows电脑几乎装很多东西都要求重启生效,为什么linux就不用 这是因为 Windows 和 Linux 在设计理念和实现方式上有很大不同,导致对待运行中程序的处理方式不同。 Windows:
docker flarum搭建方法,实现轻松备份和迁移,包括插件
这一种docker部署方法,方便迁移备份,可以比较有效解决后期维护成本
mysql常用指令(简洁版)
mysql命令之登录,导入,导出,简单查看