Statistika

Regresi Linear Sederhana

Di dalam bidang ilmu pengetahuan dan teknologi, sering dijumpai hubungan antara dua variabel.

Sebagai contoh, "hubungan antara besarnya penghasilan dengan besarnya pengeluaran".

Dalam contoh ini hal ini, variabel pengeluaran tergantung pada variabel penghasilan. Oleh karena itu

• penghasilan dinamakan variabel bebas atau variabel penjelas
• pengeluaran dinamakan variabel tak bebas atau variabel respon

Untuk selanjutnya,

• $X$ notasi untuk variabel bebas dan
• $Y$ notasi untuk variabel tak bebas.

Estimasi $\alpha$ dan $\beta$

Untuk memprediksi nilai $\alpha$ dan $\beta$ pada persamaan regresi tersebut, perlu dilakukan observasi sehingga diperoleh data berpasangan \[ (X_1,Y_1), (X_2, Y_2), \cdots, (X_n,Y_n).\] Tentu kita menghendaki agar suku kesalahan $\epsilon_i$ pada persaman regresi dibuat sekecil mungkin. Ada suatu metoda di dalam matematika untuk mencari parameter ini sehingga jumlah kuadrat kesalan randomnya adalah minimal, yaitu least square method (metode kuadrat terkecil). Dengan menggunakan metode ini, dapat ditunjukkan bahwa nilai parameter $\alpha$ dan $\beta$ dapat diestimasi dengan menggunakan rumus:

Nilai $\hat{Y}_i = \hat{\alpha} + \hat{\beta} X_i$, dinamakan fitted value, menyatakan nilai prediksi $Y$ untuk setiap nilai variabel bebas $X_i$. Selisih antara $\hat{Y}_i$ dan nilai observasi $Y_i$ dinamakan residual $e_i$, yakni \[ e_i = Y_i - \hat{Y}_i.\] Dengan demikian $e_i$ merupakan besarnya deviasi (penyimpangan) nilai observasi terhadap nilai prediksi. Jumlah kuadrat dari $Y_i - \hat{Y}_i$ dinamakan jumlah kuadrat kesalahan (SSE = sum square of error), yaitu \[ SSE = \sum_{i=1}^n (Y_i - \hat{Y}_i)^2.\] Jika semua nilai observasi berada pada garis regresi maka $Y_i = \hat{Y}_i$ sehingga $SEE=0$. Besarnya nilai $SSE$ menggambarkan seberapa jauh nilai observasi terhadap garis regresi. Untuk contoh di atas residual setiap observasi secara visual disajukan pada gambar residual. Dengan menggunakan rumus $e_i$, nilai residual untuk contoh tersebut disajikan pada tabel.

Deviasi nilai obvervasi terhadap rata-rata observasi adalah \[Y_i - \bar{Y}\] Jumlah kuadrat dari deviasi ini dinamakan jumlah kuadrat total (SST=total sum of square), yakni \[ SST = \sum_{i=1}^n (Y_i - \bar{Y})^2.\] Kuantitas $SST$ ini menggambarkan variasi antara nilai observasi $Y_i$. Semakin besar nilai $SST$ berarti semakin bervariari nilai $Y_i$.

Nilai $SST$ dapat dipartisi menjadi dua bagian sebagai berikut. \begin{eqnarray} SST &=& \sum_{i=1}^n (Y_i - \bar{Y})^2\\ &=& \sum_{i=1}^n [(Y_i - \hat{Y})+(\hat{Y}-\bar{Y})]^2\\ &=& \sum_{i=1}^n (Y_i - \hat{Y})^2+\sum_{i=1}^n(\hat{Y}-\bar{Y})^2+2\sum_{i=1}^n(Y_i - \hat{Y})(\hat{Y}-\bar{Y})\\ &=& \sum_{i=1}^n (Y_i - \hat{Y})^2+\sum_{i=1}^n(\hat{Y}-\bar{Y})^2\\ &=& SSE + SSR \end{eqnarray} dimana $SSR=\sum_{i=1}^n(\hat{Y}-\bar{Y})^2$ dinamakan jumlah kuadrat regresi (regression sum of square).

Mean square error (MSE) didefinisikan \[ MSE = \frac{SSE}{n-2},\] $n-2$ dinamakan derajat bebas.

Sifat estimator $\hat{\beta}$ dan $\hat{\alpha}$

Dapat ditunjukkan bahwa nilai harapan dari $\hat{\beta}$ dan $\hat{\alpha}$ berturut-turut adalah \begin{eqnarray*} E(\hat{\beta}) = \beta \\ E(\hat{\alpha})=\alpha \end{eqnarray*} Dengan demikian $\hat{\beta}$ dan $\hat{\alpha}$ masing-masing merupakan estimator tak bias untuk parameter $\beta$ dan $\alpha$. Untuk mengetahui variabilitas kedua estimator, dapat dipelajari melalui varian kedua estimator. Varian $\hat{\beta}$ dan $\hat{\alpha}$ adalah \begin{eqnarray*} Var(\hat{\beta}) = \frac{\sigma^2}{\sum x_i^2 -n\bar{x}^2} \\ Var(\hat{\alpha})=\frac{\sigma^2 \sum x_i^2}{n(\sum x_i^2-n\bar{x}^2)} \end{eqnarray*} Selisih antara nilai respon $Y_i$ dengan nilai prediksi $\hat{Y_i}$ dinamakan residual, \[\text{residual}=Y_i-\hat{\alpha}-\hat{\beta} x_i \] Untuk mengukur seberapa besar penyimpangan nilai respon terhadap prediksi diambil jumlah kuadrat residual. Jumlah kuadrat residual, ditulis $SSR$ adalah \[SSR = \sum \left(Y_i-\hat{\alpha} - \hat{\beta} x_i \right)^2 \] Dapat dibuktikan bahwa \[\frac{SSR}{\sigma^2} \] berdistribusi chi-square dengan derajat bebas $n-2$. Oleh karena itu nilai harapan $SSR/(n-2)$ adalah \[ E\left( \frac{SSR}{(n-2)} \right) = \sigma^2\] yang berarti $\frac{SSR}{(n-2)}$ merupakan estimator tak bias untuk parameter $\sigma^2$.

Untuk pembahasan selanjutnya, akan digunakan notasi berikut: \begin{eqnarray*} S_{xx}&= \sum_{i=1}^n (x_i-\bar{x})^2=\sum_{i=1}^n x^2_i -n\bar{x}^2 \\ S_{yy}&= \sum_{i=1}^n (y_i-\bar{y})^2=\sum_{i=1}^n y^2_i -n\bar{y}^2 \\ S_{xy}&= \sum_{i=1}^n (x_i-\bar{x}) (y_i-\bar{y})=\sum_{i=1}^n x_iy_i -n\bar{x}\bar{y}\\ \end{eqnarray*}

Inferensi tentang parameter $\beta$ dan $\alpha$

Karena $\hat{\beta}$ merupakan estimator, maka bisa dibentuk interval kepercayaan parameter $\beta$. Interval kepercayaan $100(1-\alpha)$ persen untuk $\beta$ diberikan oleh \[ \left( \hat{\beta}-t_{\alpha/2,n-2} \sqrt{\frac{SSR}{(n-2)S_{xx}}},\: \hat{\beta}+t_{\alpha/2,n-2} \sqrt{\frac{SSR}{(n-2)S_{xx}}} \right) \] Di dalam persamaan regresi \[y=\alpha+\beta x + e \] penting untuk menguji hipotesis apakah $\beta$ sama dengan $0$, yaitu \[H_0: \beta=0 \quad \textnormal{melawan} \quad H_1:\beta \neq 0 \] pada tingkat signifikansi $\alpha$. Untuk menguji $H_0$ pada tingkat signifikansi $\alpha$ digunakan statistik penguji \[t=\sqrt{\frac{(n-2)S_{xx} }{SSR}\beta }\] dimana $H_0$ diterima jika $|t| \leq t_{\alpha/2,n-2}$ dam ditolak jika $|t| > t_{\alpha/2,n-2}$.\\ Interval kepercayaan untuk parameter intersep $\alpha$ adalah \begin{equation} \left( \hat{\alpha} - \sqrt{\frac{\sum x_i^2 SSR}{n(n-2)S_{xx}}} t_{\alpha/2, n-2},\: \hat{\alpha} + \sqrt{\frac{\sum x_i^2 SSR}{n(n-2)S_{xx}}} t_{\alpha/2, n-2} \right) \end{equation}

Koefisien Determinasi

Persamaan regresi yang telah diperoleh perlu diselidiki seberapa besar persamaan tersebut mampu menjelaskan data yang sebenarnya. Berdasarkan data $(X_1,Y_1),(X_2,Y_2),\cdots ,(X_n,Y_n)$, bisa dicari variasi variabel respon $Y$ yang disebabkan pengaruh variabel penjelas $X$. Variasi variabel $Y$ didefinisikan oleh \begin{equation} S_{yy}=\sum_{i=1}^n(Y_i-\bar{Y})^2 \end{equation} Karena $Y=\alpha + \beta X + \epsilon$, maka variasi $Y$ disebabkan oleh dua komponen, yaitu

• komponen variasi yang disebabkan oleh variabel bebas $X$
• komponen variasi yang disebabkan oleh faktor kesalahan random $\epsilon$
.

Karena variasi yang sebabkan oleh faktor kesalahan random adalah $SSR$, maka

variasi yang disebabkan oleh variabel penjelas $X$ = variasi $Y$ - variasi oleh kesalahan random.

Proporsi variasi yang disebabkan oleh variabel penjelas dinamakan koefisien determinasi, dituliskan $R^2$. Dengan demikian \begin{equation} R^2=\frac{variasi \: X}{variasi \: Y}=\frac{S_{yy}-SSR}{S_{yy}} = 1 - \frac{SSR}{S_{yy}} \end{equation} dimana

• $SSR = \sum \left(Y_i - \hat{Y}\right)^2=\sum \left(Y_i-\hat{\alpha} - \hat{\beta} X_i \right)^2$
• $S_{yy}=\sum_{i=1}^n(Y_i-\bar{Y})^2$.

Perhatikan bahwa $0 \leq S_{yy}-SSR \leq S_{yy}$. Oleh karena itu nilai koefisien determinasi memenuhi \[0 \leq R^2 \leq 1.\]

Semakin besar nilai $R^2$, semakin baik persamaan regresi tersebut mampu menjelaskan data yang sebenarnya.

Korelasi

Korelasi merupakan ukuran keeratan hubungan antara dua variabel. Di dalam korelasi tidak dipersoalkan hubungan sebab akibat. Dengan demikian pernyataan "korelasi antara variabel $X$ dan $Y$" sama saja dengan pernyataan "korelasi antara variabel $Y$ dan $X$".

Keeratan hubungan antara dua variabel dinyatakan dengan koefisien korelasi. Jika $(x_1,y_1), (x_2,y_2), \cdots , (x_n,y_n)$ adalah data sampel, maka koefisien korelasi antara variabel $X$ dan $Y$, ditulis $r$, didefinisikan \begin{equation} r=\frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^n(x_i-\bar{x})^2 \sum_{i=1}^n(y_i-\bar{y})^2}} \label{korelasi} \end{equation}

Nilai koefisien korelasi adalah antara $-1$ sampai dengan $1$, yakni \[-1 \leq r \leq 1 .\]

Variabel $X$ dan $Y$ dikatakan:

• berkorelasi positif jika $r>0$,
• berkorelasi negatif jika $r \lt 0$,
• tidak berkorelasi jika $r=0$.

Korelasi dan koefisien determinasi

Persamaan \ref{korelasi} dapat dituliskan sebagai \begin{equation} r=\frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^n(x_i-\bar{x})^2 \sum_{i=1}^n(y_i-\bar{y})^2}} =\frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}} \end{equation} Karena $SSR=\frac{S_{xx}S_{yy}-S^2_{xy}}{S_{xx}}$, maka \begin{eqnarray*} r^2&=&\frac{S^2_{xy}}{S_{xx}S_{yy}}\\ &=&\frac{S_{xx} S_{yy}-SSR S_{xx}}{S_{xx}S_{yy}}\\ &=&1-\frac{SSR}{S_{yy}}\\ &=&R^2, \end{eqnarray*} yakni \[|r|=\sqrt{R^2} \] Ini berarti nilai absolut koefisien korelasi sama dengan akar dua koefisien determinasi. Tanda $r$ sama dengan tanda koefisien $\hat{\beta}$ didalam persamaan regresi.

Tranformasi ke model linear

Dalam banyak persoalan hubungan antara dua variabel tidak selalu linear. Sebagai contoh menurut Hukum Boyle, tekanan berdanding terbalik dengan volume, pertumbuhan populasi mengikuti pola logistik dan sebagainya. Dalam bagian ini diperlajari bagaiamana menggunakan model linear yang telah dibahas sebelumnya untuk menangani fenomena hubungan dua variabel yang tidak linear. Untuk menjelaskan bagaiamana teknik regresi linear bisa digunakan untuk menangani hubungan non linear, akan diberikan melalui contoh. Ada beberapa bentuk transformasi dari bentuk non linear ke linear seperti dapat dilihat pada gambar bel berikut. Eksponen: $Y=\alpha X^{\beta}$ dengan $\beta$ positif. Tranformasi: $Y^*=\ln{Y}$, dan $ X^*=\ln{X}$ Eksponen: $Y=\alpha X^{\beta}$ dimana $\beta$ positif. Tranformasi: $Y^*=\ln{Y}$, dan $ X^*=\ln{X}$ Pangkat: $Y=\alpha X^{\beta}$. Tranformasi: $Y^*=\ln{Y}$, dan $X^*=\ln{X}$ Kebalikan: $Y=\alpha+\frac{\beta }{X}$. Transformasi: $X^*=\frac{1}{X}$. Hiperbolik: $Y=\frac{X}{\alpha+\beta X}$. Tranformasi: $Y^*=\frac{1}{Y}$, dan $X^*=\frac{1}{X}$.