环境上一篇把双 P40 直通到了虚拟机(aiserver),这篇在虚拟机里部署 Ollama + OpenWebUI,让两张显卡都参与大模型推理。系统:Ubuntu 26.04GPU:Tesla P40 × 2(各 24GB,直通)运行时:Docker服务:Ollama(模型推理)+ OpenWebUI(前端界面)1. 开启 Docker GPU 支持Docker 默认看不到 GPU,需要装...
环境上一篇把双 P40 直通到了虚拟机(aiserver),这篇在虚拟机里部署 Ollama + OpenWebUI,让两张显卡都参与大模型推理。系统:Ubuntu 26.04GPU:Tesla P40 × 2(各 24GB,直通)运行时:Docker服务:Ollama(模型推理)+ OpenWebUI(前端界面)1. 开启 Docker GPU 支持Docker 默认看不到 GPU,需要装...
背景家里机房有台 Dell R730,想利用起来跑本地大模型和视频生成。显卡选了两张 Tesla P40(24GB 显存一张,二手便宜量大),通过 PCIe 直通(VFIO)给虚拟机里的 AI 环境专用,不和宿主机抢资源。硬件清单主机:Dell R730(双路 E5,内存足够)显卡:Tesla P40 × 2(24GB GDDR5,Pascal 架构)配件:PCIe 4.0 riser 延长...