다음은 독립변수가 k 인 경우의 중회귀모형이다.y = X\beta + … | [사회조사분석사 2급 필기] 16년 1회차 기출문제 상세 페이지

다음은 독립변수가 k 인 경우의 중회귀모형이다.
$y = X\beta + \varepsilon$
최소제곱법메 의한 회귀계수 벡터 β의 추정식 b는? (단, $y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix},\; X = \begin{bmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1k} \\ 1 & x_{21} & x_{22} & \cdots & x_{2k} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n1} & x_{n2} & \cdots & x_{nk} \end{bmatrix},\; \beta = \begin{bmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \\ \vdots \\ \beta_k \end{bmatrix},\; \varepsilon = \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{bmatrix}$ 이며, $X'$은 X의 변환행렬)

b=X-1y

중회귀모형 $y = X\beta + \varepsilon$에서 최소제곱 추정량은 $b = (X'X)^{-1}X'y$이다.
잔차제곱합 $(y - Xb)'(y - Xb)$를 b에 대해 미분해 0으로 놓으면 정규방정식 $X'Xb = X'y$가 나온다.
여기서 $X'X$는 $(k+1)\times(k+1)$ 정방행렬이므로 역행렬을 양변 왼쪽에 곱해 $b = (X'X)^{-1}X'y$를 얻는다.
$b = X^{-1}y$ 형태: X는 관측치 n행, 계수 (k+1)열의 직사각행렬이라 역행렬 자체가 정의되지 않는다.
$b = X'y$ 형태: 정규방정식의 우변일 뿐, $(X'X)^{-1}$를 곱하지 않은 미완성 식이다.
$b = (X'X)^{-1}y$ 형태: $(k+1)\times(k+1)$ 행렬에 $n\times 1$ 벡터를 곱하는 꼴이라 차원이 맞지 않는다.