다음은 독립변수가 k개인 경우의 중회귀모형이다. 최소제곱법에 의한 회귀… | [사회조사분석사 2급 필기] 21년 1회차 기출문제 상세 페이지

다음은 독립변수가 k개인 경우의 중회귀모형이다. 최소제곱법에 의한 회귀계수 벡터 β의 추정식 b는? (단, X′은 X의 치환행렬이다.)
$y = X\beta + \epsilon$
$y=\begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix},\quad X=\begin{bmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1k} \\ 1 & x_{21} & x_{22} & \cdots & x_{2k} \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ 1 & x_{n1} & x_{n2} & \cdots & x_{nk} \end{bmatrix}$
$\beta=\begin{bmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \\ \vdots \\ \beta_k \end{bmatrix},\quad \epsilon=\begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_n \end{bmatrix}$

b=X′y

b=(X′X)-1y

b=X-1y

b=(X′X)-1X′y

중회귀모형 $y=X\beta+\epsilon$의 최소제곱추정량은 $b=(X'X)^{-1}X'y$이다.
잔차제곱합 $S(\beta)=(y-X\beta)'(y-X\beta)$를 β로 미분해 0으로 놓으면 정규방정식 $X'Xb=X'y$가 얻어진다.
양변 왼쪽에 $(X'X)^{-1}$을 곱하면 $b=(X'X)^{-1}X'y$가 된다.
제시된 X는 첫 열이 모두 1인 n×(k+1) 행렬이라 정사각행렬이 아니므로 $X^{-1}$은 아예 존재하지 않는다. 또 $X'y$만 쓰면 설명변수들 사이의 상관을 보정하지 못하고, $(X'X)^{-1}y$는 차원이 맞지 않는다.
즉 $X'X$의 역행렬과 $X'y$가 모두 들어간 형태만이 정규방정식의 해가 된다.