なぜSVMモデルは、分離する超平面だけでなく、サポートベクトルを保存するのですか?

SVMのすべての説明では、データを最適に分離する超平面を訓練がどのように見つけるのかが示されています。おそらく推論のために、飛行機のどの面にポイントがあるかをチェックするだけです。

しかし、「SVMの短所」はすべて、[ 1 2 ]は、SVMモデルが大きくて遅いため、ほとんどのデータがサポートベクターとして保存されるため悲しいです。

なぜSVMは超平面を分離する(係数)だけではなく、データのいずれかを保存するのだろうか? (とにかく、両方のクラスのポイントが超平面の両側に散在している場合、ソフトマージンのケースでは "サポートベクトル"は何ですか?)

1

1 答え

超平面は、サポートベクトルの線形結合です。ソフトマージンの場合、たるみの量は限られています。すべての入力はサポートベクトルになることはありません。非線形の場合、分離する超曲面無限次元空間に埋め込まれて格納できなくなる可能性があります。 ウィキペディアの記事から借用すると、法線ベクトル$ w $は

$$ w = \ sum_i c_i y_i \ phi(x_i)$$

where $\phi$ is the feature embedding function, and $c_i$ is a Lagrangian dual variable that is zero for points on the correct side of the margin. Instead, test points are classified through a kernel function $k(x_i,x_j) = \left< \phi(x_i), \phi(x_j) \right>$ like so:

$$x \to \mathrm{sgn}(\left + b) \equiv \mathrm{sgn} \left( b+\sum_i c_i y_i k(x_i, x)\right)$$

$ w $を明示的に計算することを避けたことに注目してください。

1
追加された
はいそうです。
追加された 著者 David,
ですから、もし私がそれを言えば、線形(カーネルではない)ケースに係数を格納することは可能です。カーネルの場合、カーネル空間に到達する唯一の方法はカーネル経由です。カーネルはベクトルを操作する必要があります。超曲面は支持ベクトルの線形結合である。
追加された 著者 Doctor J,