项目 003 / 2025 —
GPU与LLM运行环境搭建
INFRASTRUCTURE / GPU
搭建支撑AI实验和应用开发的GPU运行环境,并观察性能瓶颈。
- 职责
- 环境搭建、容器运维、性能观察
- 状态
- 持续中
- 技术
- DOCKER / LINUX / CUDA / NVIDIA GPU / OLLAMA / NEMOCLAW / NEMOHERMES
实现
- 01通过Docker隔离运行环境
- 02观察GPU使用日志与资源
- 03使用Ollama、NemoClaw、NemoHermes整理LLM运行条件
成果与收获
- — 区分实现与运行环境的视角
- — 以计算资源为前提的设计基础