단순회귀모형 yi=β0+β1xi+ϵi (i=1, 2,ㆍㆍㆍ,n)의 적합… | [사회조사분석사 2급 필기] 19년 2회차 기출문제 상세 페이지

잔차와 관측값 yi 의 곱의 합이 0이라는 관계, 즉 $\sum e_i y_i = 0$ 은 성립하지 않는다.
최소제곱법의 정규방정식으로부터 $\sum_{i=1}^{n} e_i = 0$ 과 $\sum_{i=1}^{n} e_i x_i = 0$ 이 항상 성립한다. 이 둘을 결합하면 $\sum e_i \hat{y}_i = \sum e_i (b_0 + b_1 x_i) = b_0\sum e_i + b_1 \sum e_i x_i = 0$ 이므로 예측값과 잔차의 곱의 합도 0이다.
그런데 $y_i = \hat{y}_i + e_i$ 이므로 $\sum e_i y_i = \sum e_i \hat{y}_i + \sum e_i^2 = 0 + \sum e_i^2$ 가 된다.
잔차제곱합은 모든 점이 회귀직선 위에 정확히 놓이지 않는 한 양수이므로 $\sum e_i y_i \neq 0$ 이다. 잔차는 설명변수와 예측값에는 직교하지만 관측값 자체와는 직교하지 않는다는 것이 요점이다.