训练网络时是单卡用小的batchsize还是多卡用大的batchsize？

训练网络时，可以根据具体情况选择单卡用小的batchsize还是多卡用大的batchsize。下面是两种情况的建议：

单卡用小的batchsize：如果你只有一张GPU卡可用，通常建议使用较小的batchsize。这是因为较小的batchsize可能会导致更快的收敛速度，因为每个样本的梯度更新更频繁。而且，较小的batchsize还可以减少GPU显存的使用，使得更大的模型可以适应GPU的显存限制。
多卡用大的batchsize：如果你有多张GPU卡可用，通常可以选择更大的batchsize。多卡训练可以通过将不同的batch拆分到不同的卡上进行并行处理，从而加速训练过程。使用更大的batchsize可以利用更多的计算资源，提高训练效率。但需要注意的是，较大的batchsize可能会导致模型的收敛速度变慢，并且在某些情况下可能会导致性能下降。

总的来说，选择单卡用小的batchsize还是多卡用大的batchsize取决于你的计算资源和训练需求。你可以尝试不同的配置，并通过实验来确定最佳的选择。