단순회귀모형 Yi = α + β xi + εi (i=1, 2, …, n… | [사회조사분석사 2급 필기] 13년 3회차 기출문제 상세 페이지

최소제곱법의 정규방정식이 보장하는 것은 잔차의 합이 0이라는 성질과 잔차가 설명변수와 직교한다는 성질 두 가지다.
절편을 미분해 0으로 놓으면 $\sum_{i=1}^{n} e_i = 0$, 기울기를 미분해 0으로 놓으면 $\sum_{i=1}^{n} x_i e_i = 0$ 이 나온다. 이 둘은 자료가 어떻든 항상 성립한다.
반면 관측값 $y_i$ 와 잔차의 곱의 합은 $\sum y_i e_i=\sum(\hat{y}_i+e_i)e_i=\sum \hat{y}_i e_i+\sum e_i^{2}=0+SSE$ 가 되어, 잔차제곱합만큼 남으므로 0이 아니다. 여기서 $\sum \hat{y}_i e_i=0$ 인 것은 $\hat{y}_i$ 가 $x_i$ 의 일차식이라 앞의 두 성질에서 따라 나온다.