Skip to content

Latest commit

 

History

History
31 lines (16 loc) · 1.08 KB

77_VC维_课程笔记.md

File metadata and controls

31 lines (16 loc) · 1.08 KB

VC维

打散shattering

定义:一个模型类可以打散成一歌数据点击x^1, x^2,...,x^n,如果对于这些点上可能存在的每一个标签,在该类中存在获得零训练误差的模型

VC维

可打散的X子集越大,假设空间越具有表达性,即偏差越小

在实例空间X上定义的假设空间H的Vapnik-Chervonenkis维数——VC维,是由H能打散的X的最大有限自己的大小

  • 如果任意大的有限自己可以被打散,VC(H)=INF
  • 如果存在至少一个大小为d的X的子集可以被打散,那么VC(H)>=d
  • ...

VC维示例

使用VC求得样本复杂度上界

使用VC维为表达性的度量,有例子已经被证明足以用于PAC学习(Bulumer et al., 1989)

一些VC维的例子

d维超平面的VC维是d+1,超平面的VC维巧合地与定义超平面所需的参数数几乎相同

正弦波具有无限的VC维,通过仔细选择相位和周期,可以打碎任意一组一位数据点

具有某些类型计划函数的神经网络也具有无限的VC维