변수 x와 y에 대한 n개의 자료 (x1, y1),…,(xn, yn)에… | [사회조사분석사 2급 필기] 20년 2회차 기출문제 상세 페이지

최소제곱법으로 적합한 단순회귀에서 잔차는 상수항·설명변수·추정값과 각각 직교하지만, 관측값 $y_i$와 잔차를 곱해 더한 값은 0이 되지 않는다.
정규방정식에서 $\sum e_i = 0$과 $\sum e_i x_i = 0$이 바로 따라 나오고, $\hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_i$이므로 $\sum \hat{y}_i e_i = \hat{\beta}_0\sum e_i + \hat{\beta}_1 \sum x_i e_i = 0$도 성립한다.
그러나 $y_i = \hat{y}_i + e_i$를 대입하면 $\sum y_i e_i = \sum \hat{y}_i e_i + \sum e_i^2 = \sum e_i^2$이 되어 잔차제곱합(SSE)만큼 남는다. 모든 점이 회귀직선 위에 놓이지 않는 한 SSE는 0보다 크므로 이 등식은 일반적으로 성립하지 않는다.