1.3 회귀선의 추정

1.3.1 최소제곱법

n개의 관찰점(X1,Y1), (X2,Y2).... 있을 때, 이 데이터를 이용하여 회귀직선을 구하는 방법으로 가장 널리 이용되는 방법이 최소제곱법이다.

최소제곱법은 회귀식에서 오차제곱들의 합을 최소로 하는 값들을 추정값으로 하는 방법이다. 

표본 상점의 인테리어비와 총 판매액 자료에 대하여 회귀직선을 구하고, 산점도 위에 회귀직선을 그려보다

> summary(market_lm)

Call:
lm(formula = Y ~ X, data = market)

Residuals:
     Min       1Q   Median       3Q      Max 
-2.02908 -1.35349 -0.05685  0.98903  2.51517 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   0.3282     1.4302   0.229    0.822    
X             2.1497     0.1548  13.889 3.55e-09 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.587 on 13 degrees of freedom
Multiple R-squared:  0.9369,	Adjusted R-squared:  0.932 
F-statistic: 192.9 on 1 and 13 DF,  p-value: 3.554e-09

이 결과에서 회귀계수의 추정값은 Coefficients : Estimate에서 보인다.

추정된 회귀식은 Y^ = 0.3282+2.1497X

1.3.2 잔차

적합된 회귀직선 Y^ = ^b0 + ^b1X 에서 X대신에 i번째 X값 Xi 사용하면,

^Yi = ^b0+^b1Xi 가 된다. 이때 ^Yi는 Xi에서의 기댓값 E(Yi)의 추정값이다.

ei=Yi - Y^i를 잔차라고 부르며, 추정된 모형의 적합성 등에 널리 이용된다.

1)성질은 잔차들의 합은 0이다.

2) 관찰값 Yi의 합과 추정값 ^Yi의 합은 같다.

3) 잔차들의 Xi에 의한 가중합은 0이다. 

4) 잔차들의 ^Y에 의한 가중합은 0이다.

5) 점(X바, Y바)는 적합된 회귀선상에 있다