回帰分析とは

回帰分析は、目的変数を説明変数の関数として定義して、従属変数と説明変数の関係を定量的に分析する手法です。目的変数は、分析したい数値です。説明変数は、目的変数を表現する関数を決定するときに用いる変数です。回帰分析でできる事は例えば、目的変数の将来の値を予測することです。

説明変数が 1 つだけの場合は、単回帰回帰分析あるいは (単純に) 回帰分析と呼んで、説明変数が 2 つ以上の場合を重回帰分析といいます。

単回帰分析において、説明変数を $x$ 、目的変数を $y$ とすると、関数 $f$ を用いて、次のような式を記述できます。

$\displaystyle y = f(x)$

重回帰分析では、説明変数は複数あるので、 $x_1, x_2, x_3, \cdots, x_N$ となります。目的変数を $y$ とし、関数 $g$ で表すと、

$\displaystyle y = g (x_1, x_2, x_3, \cdots, x_N)$

になります。

目的変数を説明変数の線形結合で表現する場合を線形回帰分析といいます。目的変数 $y$ を説明変数 $x$ の線形回帰式で表現する場合、次のようになります。

$\displaystyle y = f(x) ≡ a_0 + a_{1}x$

$a_0$ , $a_1$ は未知係数です。

目的変数 $y$ を説明変数 $x$ の多項式関数で表現する場合は、高次項を別変数におくことによって、線形回帰式になります。どういうことかというと、目的変数 $y$ を説明変数 $x$ の 3 次式で表現する場合、次のようになります。

$\displaystyle y=f(x) \equiv a_0 + a_{1}x + a_{1}x^{2} + a_{3}x^{3}$

$a_0 + a_{1}x, a_{1}x^{2}, a_{3}x^{3}$ は未知係数です。 $x \equiv x_1, x^2 \equiv x_2, x^3 \equiv x_3$ とおけば、

$\displaystyle y = a_0 +a_{1}x_{1}+a_{2}x_{2}+a_{3}x_{3}$

とります。これで、目的変数 $y$ が 3 つの説明変数 $x_1, x_2, x_3$ の線形重回帰式で与えられるといえます。

線形回帰式は多くの問題で用いられますが、非線形な関数を用いることもしばしばあります。例としてロジスティック関数があります。

$\displaystyle y = \dfrac{1}{1+e^{-x}}$