Bootstrap 与 Cross-Validation 两种统计方法有何区别?

Question

Bootstrap 与 Cross-Validation 两种统计方法有何区别

Answer 1

　相同之处，两者都是resampling的方法，都是在数据集较小的时候常用的方法。

　　不同之处，我觉得主要存在于亮点：
　　其一，两者的目的不同。CV主要用于model selection，例如KNN中选多大的K，使得估计的test error比较小。而Bootstrap主要用来看选定的model的uncertainty，例如参数的标准差多大。
　　其二，两者的resample方法不同。在k fold CV中，把原始数据集分成k等分（各等分之间没交集），每一次validation中，把其中一份作为validation set，剩余的作为training set。而在Bootstrap中，并不区分training和validation set，并且在resample中，是允许replacement的，即同一个sample可以重复出现。

　　作者：Yan Jin