データサイエンスの基礎 – 5. 最小二乗法と最尤法の比較

データサイエンティストとして、私たちは統計学者によって開発されたモデルに遭遇することがあります。これらのモデルの中には「最小二乗モデル」として開発されたものもあれば、「最尤モデル」として開発されたものもあります。では、この2つの手法にはどのような違いがあるのでしょうか？また、両者の間に関係はあるのでしょうか？

MLは最尤法（Maximum Likelihood）の略語としてよく使われますが、現在はデータサイエンスの文献で、MLは “Machine Learning（機械学習） “として記載されることが多いので、私はこの表記を使いません。

最小二乗法

モデルのフィッティングに使われる最小二乗法は、データを使って数式やモデルをフィッティングするための、より実用的なアプローチです。モデルの予測値と実際の値との差である誤差関数を定式化し、フィッティングデータから計算された誤差の二乗和を最小化するモデルパラメータを見つけます。

例えば、高校生の体重（Weight）を年齢（Age）から計算する一次方程式を求めたいとします。これは、任意の生徒の体重を次のように推定できるようなパラメータa,bの最適値を求めたいことを意味します。

“Weight”の上の帽子(ハット記号)は、それが推定値であって、観測された値ではないことを意味します。回帰モデルの適合は、”Weight”の推定値が既知の観測での実際の値にできるだけ近くなるようなパラメータ a と b の値を見つけようとすることを意味します。そのどれについても、我々は誤差を実際の”Weight”とモデル推定値の差として定義します。

誤差は、推定値が実際の値より大きいか小さいかによって、正にも負にもなり得るので、誤差のより客観的な尺度として誤差の2乗を使用します。すべての検証について誤差のこれらの2乗を合計すると、合計2乗誤差（SSE）として知られるものが得られます。

最小二乗法では、誤差の二乗和の合計が最小になるようなモデルパラメータ(a,b)を求めます。この基準が「最良」のモデルを導くと仮定した理由は特にありません。例えば、誤差の客観的な尺度として、実際の値と推定値の差の絶対値を選択することもできました。

この場合、パラメータ(a,b)を見つけるために最小化する関数を定式化するために、それらを合計する前に誤差を2乗する必要はありません。実際、モデル基準を定義するこの方法は、L1 回帰と呼ばれます。

重要なのは、誤差の二乗和を最小化することによってモデルのパラメータを求めるというのは、理論的な正当性がない、発見的で実用的なアプローチだということです。

しかし、最小2乗法は外れ値の影響を受けやすいことが実証できます。例えば、体重と年齢を検証した下の図1のデータを考えてみましょう。

図1：最小二乗モデルにおける外れ値の影響

左の図1(a)は、データに外れ値（赤で囲んだ部分）が含まれている場合の最小二乗モデルを示しています。図 1(b) は、これらのはずれ値を除去したときの最小2乗モデルです。これらの観測をはずれ値と呼ぶ理由は、これらの個体の”Weight”が、標本の残りの個体の”Weight”よりも非常に高いことが図からわかるからです。これは最小2乗回帰モデルでよくある問題です。

しかしながら、この問題を克服する方法はたくさんあり、たとえば、モデルの適合中に検証に異なる”Weight”（標本重み）を割り当てたり、はずれ値を除去したりすることができます。

最尤法

最尤法は一種の一般的な論理原理に基づいています。それは次のようなものです。「あるデータから始めて、このデータの振る舞いを表すモデルを当てはめたい場合、最良のモデルが得られるのは、このデータがこのモデルによって生成される可能性が最も高いデータであるときです。つまり、フィッティングしたデータがモデルによって生成される可能性が最も高いということです」

必要なのは、意味のある尤度関数を定義し、それを使ってモデルがデータを生成する確率を計算することだけです。そして、この関数は、フィッティングしたデータで最大値になります。最小2乗法で行ったように、”Weight”と”Age”の単純な線形回帰でそれを実証してみましょう。

まず、高校生の「体重」の推定値が「年齢」と関係式で結ばれていると仮定します。