训练速度慢，不一定是算力不足。自动驾驶模型训练基础设施需求还包括数据能否持续供给、任务能否按优先级运行，以及资源能否随负载伸缩。若摄像头、激光雷达等数据预处理跟不上训练，增加计算节点也可能只会扩大排队和闲置。
先把数据流水线拆成可测量的环节
以 nuScenes 这类包含摄像头、激光雷达和雷达数据的公开数据集为例，训练前通常要完成解包、格式解析、标注检查、场景筛选和样本转换。内部车队数据还可能来自 ROS 2 bag 或 MCAP 记录。不同来源的时间戳、传感器标定和标注结构不完全相同，应先统一读取接口，再进入训练样本构建。
将数据流程拆为“读取—校验—转换—采样—训练读取”后，逐段记录吞吐、等待时间和失败比例。可以先选一段具有代表性的连续场景，跑完完整流程；若训练进程经常等待数据，优先检查解码耗时、随机读取和存储并发，而非直接扩充计算节点。对重复使用的转换结果，可按数据内容和处理参数生成可复用的分片，避免每次训练都从原始文件重新计算。
按吞吐而不是容量规划存储
自动驾驶训练基础设施需求不能只看数据占用多少 TB，还要估算并发读取能力。顺序读取大文件与大量小文件随机读取，对存储系统的压力不同；多机训练时，单个数据集的读取负载还会随并发任务叠加。
规划时先测出一个训练任务稳定运行时的实际读取速率，再乘以计划并发任务数，作为存储吞吐的初步目标，并预留转换、验证等作业的余量。对象存储适合保存大规模原始数据，成本和扩容通常较灵活，但随机小文件读取可能需要额外优化；本地 NVMe 读取延迟低，适合临时缓存热数据，却需要处理节点更换后的缓存重建。二者可以分层使用，而不是强行选择单一存储。
让调度策略匹配任务类型
训练任务并不都需要同样的优先级。正式训练、数据预处理、参数试验和短时评估可以分设队列，并为每类任务配置并发上限。Slurm 适合以批处理作业、队列和资源配额管理集群；Ray 更适合将分布式 Python 工作拆成任务或 actor，并按需求调度集群资源。选择时要看团队已有的作业形态和运维能力，不宜仅按功能清单决定。
弹性调度的关键是有界扩缩：积压任务增加时申请节点，队列变空或负载下降时释放节点，同时设置最大并发和扩容冷却时间。云端可按需增加实例，但启动耗时、实例供应情况和数据跨区传输都会影响实际收益；自有集群则可将低优先级实验放入空闲时段，避免挤占关键训练。自动驾驶模型训练基础设施需求越不稳定，越需要明确任务优先级和资源上限。
按步骤验证并逐步扩容
- 选定代表任务：选取包含多传感器输入、实际预处理步骤和典型训练长度的任务，避免用过于简单的微型作业估算全局负载。
- 测量瓶颈：分别观察数据等待、计算利用率、存储读速和队列等待时间，区分“节点不足”和“数据供给不足”。
- 设置调度边界：为正式训练、预处理和探索性实验设定优先级、并发上限与最长等待策略。
- 小步增加并发：每次只提高一档任务并发，比较吞吐是否同步增长；若存储等待或失败明显上升，先优化数据分片或缓存，再继续扩容。
容量规划可用实际测得的单任务资源消耗乘以目标并发数，再加上系统服务和突发作业的余量。常见的初始规划会留出约一至两成缓冲，但这只是估算起点，数据规模、模型结构、节点启动时间和工作时段都会改变合适比例。持续记录队列等待与资源闲置，比一次性追求高利用率更有用。
常见问题
数据管道应放在训练节点上吗？
轻量解码可放在训练节点；耗时转换适合独立作业，避免占用训练资源。应以实测等待时间判断。
弹性扩容是否一定降低成本？
不一定。若扩容节点等待数据、作业太短或数据传输成本高，节省的空闲资源可能被抵消。
自动驾驶模型训练基础设施需求应先投在哪一项？
先定位最常见的瓶颈：训练等数据就优化流水线和存储；队列积压且节点持续繁忙，再考虑增加算力或调整调度。
归根结底，自动驾驶模型训练基础设施需求要由真实任务负载决定。让数据流水线提供稳定输入，再用有边界的弹性调度匹配并发，通常比单纯堆叠设备更能改善整体训练效率。
