ディープラーニングは回帰分析の進化形？モデルの本質を徹底解説

現在のAIに対する過熱した関心の多くは、ニューラルネットワークに対する魅力、その専門用語、そして「人間の脳のように機能する」という根強い神話によるものです。本記事の目的は、こうしたニューラルネットワークの神秘性を取り除き、実際にはそれらが複雑な形の回帰モデルに過ぎないことを明らかにすることです。

図1：ニューラルネットワークは（複雑な）回帰モデルである

歴史的に、ニューラルネットワークは回帰モデル（または統計学）とは別に開発されてきました。今日、ニューラルネットワークは機械学習とAIの中核をなす技術とされています。しかし、「ニューロン」「層」「学習」「活性化関数」「過学習」「記憶」といった特有の専門用語により、データサイエンティストがニューラルネットワークについて語るときには、どこか神秘的な雰囲気すら漂います。

この記事では、そうしたニューラルネットワークの神秘性を解きほぐし、その厚い用語の層の下にある基本的な構造が、実は私たちがよく知っている回帰モデルであることを明らかにしていきたいと思います。

1.すべてのモデルの母：線形回帰

線形回帰は最も古い分析モデルです。19世紀初頭にLegendreとGauss（そう、あのガウス）によって定式化されました。その後、厳密な数学的推論を用いて再定式化され、最小2乗法と最尤法の原理との関係が確立されました。

読者の多くは、線形回帰にすでに馴染みがあると思いますが、いくつかの特徴を強調するために、ここで簡単に振り返っておきます。

線形回帰では、観測データに基づいて線形の関係を当てはめ、予測値と実測値との誤差の2乗和が最小になるように回帰直線を求めます（最小2乗法）。図2に示されているように、最小2乗法を用いて、従属変数 y と独立変数 x の間に最も適した線形関係を導き出します。

図2：線形回帰

推定誤差が正規分布（ガウス分布とも呼ばれる）に従うとき、最小2乗フィットは最尤法（ML法）で与えられるものと同じになります。ML適合は、適合モデルがデータを生成する確率が最大になるようにモデルパラメータを推定します。

図2に示す単純なケースの線形回帰モデルは次の通りです。

多くの独立変数、例えば x1、…xn があるとき、モデル式は次のようになります。

線形回帰では，従属変数 (y) は連続でなければなりません。

2.ロジスティック回帰と一般化線形モデル（GLM）

バイナリの従属変数を持つデータをモデル化するために線形回帰を適用しようとするとき、変数yをあるイベント（たとえば、マーケティングキャンペーンに対する反応）の確率と解釈すると、次の式で与えられる予測は、すぐに発見できます。

は，(0,1)の範囲外の予測を与えます。これを改善するために，独立変数の線形結合（右辺）を保持し，yをLog(Odds)に置き換えることによって，ロジスティック回帰を導入します。pの確率を持つイベントがある場合，つまりProb(y=1)がpである場合，Odds(y=1/y=0)は次式で定義します。

この定義はゲームから借用したものです。例えば、ゲームの勝率が1対5であるとき、勝つ確率（p）と負ける確率（1-p）が1/5であることを意味します。

したがって、ロジスティック回帰モデルの式は

簡単な代数操作で、ロジスティック回帰式を次のように書き換えることができます。

ここでzは一次式です。

一般化線形モデル（GLM）は、線形回帰とロジスティック回帰のより一般的な形式です。モデル式の左側のLog(Odds)の代わりに、GLMはリンク関数(g)を使用し、モデル式は次のようになります。

3.GLMからMLPへ

これからGLMを使って、おなじみの多層パーセプトロン（MLP）ニューラルネットワークを作成します。

GLMでは、モデル式を次のように書きました。

この方程式を右辺が出力（yとする）となるように書き直すと、gの逆数を表すロジスティック回帰に似た関数形式を使うことになります。

ここでzは一次式で定義されます

上の2つの式は、入力x1、…、xnを得、これらに定数a1、…、anを掛け、これらの項を足し、定数項a0を加えた後、関数fで変換すると、出力yが得られることを示しています。

図3に示すように、このプロセスをニューラルネットワークの用語を使って模式的に表してみます。

図3：1つのニューロンを持つニューラルネットワークとしてのGLM

図3のニューラルネットワークの出力は、修正GLMモデルの左辺の値と同じです。さらに、線形式の重みの係数、定数項a0オフセット、活性化関数(f)を「ニューロン」と呼ぶ新しい人工オブジェクトの名前に変更しました。この新しい構造への入力は、ニューラルネットワークと呼ぶことができ、独立変数で、値を通過させる以外には何もしない「入力ニューロン」を通過します。

GLMの新しい形はニューラルネットワークであり、それを”訓練”する、つまり学習（サンプル）データを使って係数（重み）を適合させる必要があります。

これまでのところ、GLMでは異なる用語を使っただけで、何も変えていません。この用語は深層学習カルトの一部であるため、他のすべての量的科学（経済学、工学、物理学など）で使われる同等の統計用語とともに、以下の表1に列挙しました。

ニューラルネットワーク用語	意味が同等の用語
重み	モデルパラメータ -線形項における乗数
オフセット	線形式の定数
活性化関数	リンク関数(の逆数）
入力信号	独立変数
出力	従属変数
学習データ	モデルの適合に使用したサンプル
隠れ層	ニューロンの中間アレイ（モデル）

表1：一般的なニューラルネットワークの用語

隠れ層を持つ完全なMLPを作成するには、このプロセスを繰り返して、それぞれがGLM（ニューロン方程式）を持つ5つのニューロンを作成し、図4に示すように、おなじみのMLPアーキテクチャでそれらを編成するだけです。

図4：MLPニューラルネットワーク

つまり、ニューラルネットワークは相互に接続されたGLMの集合体であり、GLMは線形回帰を基礎としています。これにより、ニューラルネットワークが複雑な形態の回帰モデルであることが示されます。

最後に、特別なケースとして、MLPでニューロンが1つだけの単一層の場合を見てみましょう。この場合、ニューラルネットワークは以下の表2に示すような馴染み深い統計モデルへと単純化されます。

リンク関数	同等モデル
恒等式（特に何もしない関数）	線形回帰
ロジスティック関数	ロジスティック回帰
f(.) （gの逆数）	GLM

表2：1つの層に1つのニューロンを持つMLPと同等の統計モデル

4.ディープラーニングでは？

ディープラーニングモデルとは、多数の隠れ層、多様な活性化関数、さまざまなアーキテクチャ（層やニューロン間の接続構造）、そして異なる学習アルゴリズムのバリエーションを持つニューラルネットワークモデルのことです。しかし、これらはすべてニューラルネットワークの基本的な概念に基づいています。さらに興味深いのは、ほぼすべてのモデルが各ニューロンへの入力の線形結合という概念を採用しており、学習とはその入力に対する重み（各入力に掛ける係数）を見つけることを意味している点です。これこそが、すべての回帰モデルの本質でもあります。

まとめ

線形回帰は、最も古く、最も広く使われているモデルであるだけでなく、現代のニューラルネットワーク、ひいてはディープラーニングや大規模言語モデル（LLM）などの多くのAIアプリケーションの基盤にも大きな影響を与えています。

独立変数を線形結合し、サンプルデータを用いてその係数（重み）を最適化するという回帰の基本的な考え方は、ニューラルネットワークが誕生し、現在の形に発展するまで一貫して変わっていません。

ニューラルネットワークの各ニューロンは、数学的には1つのGLMと等価であり、これらのニューロンをさまざまなアーキテクチャで組み合わせることで、複雑な問題を高精度に表現することが可能になります。ただし、ニューラルネットワークを説明する際に用いられる特殊な用語が、その本質がGLM（すなわち回帰モデル）のネットワークであることを覆い隠してしまっているのです。

したがって、データサイエンティストが魅力的なニューラルネットワークやディープラーニングモデルについて語るとき、それはすなわち「複雑な形の回帰モデル」について話しているということなのです。

＊本ブログ記事は、アルテアのチーフデータサイエンティストMamdouh Refaatの執筆した「Deep Learning is Regression」を翻訳したものです。

データ分析・AIプラットフォームAltair® RapidMiner®

0 0 votes

Article Rating