在小子集上训练 CNN 以选择体系结构

Question

您是否知道是否可以使用我的训练数据的一个非常小的子集（例如仅100或500个实例）来快速训练非常粗糙的CNN网络，以便比较不同的架构，然后选择性能最佳的一个？当我说“可能”时，我的意思是是否有证据表明应用这种选择策略是有效的，并且所选网络将始终优于其他网络来完成此特定任务。谢谢有关信息，该项目将构成两个阶段的CNN，以对多通道时间序列进行分类。第一个CNN将预测下一段时间内的输入数据，然后第二个CNN将使用此预测并将结果分为两类。

Answer 1

您正在谈论的程序实际上在实践中使用。在优化超参数时，很多人选择整个数据集的子集来执行此操作。

子集上的最佳体系结构是否一定是完整数据集上的最佳体系结构？不！但是，这是您拥有的最好的猜测，这就是为什么它很有用。

---

关于您的问题需要注意的几件事：

1. 100-500 个实例非常低！CNN仍然需要接受培训。当我们说子集时，我们通常是指数以万计的图像（在数百万个数据集中）。如果您的数据集少于 50000 张图像，那么为什么需要一个子集？在整个数据集上训练。

2. 与许多人所认为的相反，体系结构的细节对分类性能并不重要。您提到的一些超参数（例如内核大小）是次要的。您应该关注的关键事项是深度，层的大小，池化/跳过连接/批处理规范/丢弃等的使用。