定义:一个模型类可以打散成一歌数据点击x^1, x^2,...,x^n
,如果对于这些点上可能存在的每一个标签,在该类中存在获得零训练误差的模型
可打散的X子集越大,假设空间越具有表达性,即偏差越小
在实例空间X上定义的假设空间H的Vapnik-Chervonenkis维数——VC维,是由H能打散的X的最大有限自己的大小
- 如果任意大的有限自己可以被打散,VC(H)=INF
- 如果存在至少一个大小为d的X的子集可以被打散,那么VC(H)>=d
- ...
使用VC维为表达性的度量,有例子已经被证明足以用于PAC学习(Bulumer et al., 1989)
d维超平面的VC维是d+1,超平面的VC维巧合地与定义超平面所需的参数数几乎相同
正弦波具有无限的VC维,通过仔细选择相位和周期,可以打碎任意一组一位数据点
具有某些类型计划函数的神经网络也具有无限的VC维