Statistika

Pengantar

Di dalam bidang ilmu pengetahuan dan teknologi, peneliti sering mencari hubungan antara dua variabel, misalnya hubungan antara tekanan gas dengan temperatur, hubungan antara pendapatan dan konsumsi, hubungan antara dosis pupuk dan produksi tanaman, dan sebagainya. Hubungan di atas dapat dinyatakan sebagai hubungan dua variabel, yaitu variabel respon atau variabel tak bebas, dan variabel input atau variabel bebas. Jika $X$ menyatakan variabel bebas dan $Y$ menyatakan variabel respon, maka hubungan kedua variabel dapat dinyatakan sebagai fungsi. Di dalam bab ini dipelajari hubungan linear antara dua variabel. Hubungan demikian selain hubungan yang mudah ditangani, juga ada banyak persoalan di dalam penerapan yang dapat dinyatakan dalam bentuk hubungan linear.

Regresi linear sederhana

Hubungan linear antara variabel $X$ dan $Y$ dapat diprediksi dalam bentuk persamaan linear (garis regresi) \begin{equation} \hat{Y}=a+b X. \label{eq:regline} \end{equation} Pada persamaan (\ref{eq:regline}), $a$ dinamakan intersep dan $b$ dinamakan slope atau kemiringan. Secara geometris, intersep adalah perpotongan garis regresi dengan sumbu vertikal $Y$, sedangkan slope menyatakan tingkat kemiringan garis tersebut. Faktanya garis regresi (\ref{eq:regline}) tidaklah eksak, yakni tidak semua titik-titik $(X_i,Y_i)$ bisa tepat berada pada garis tersebut. Hal ini disebabkan hadirnya komponen random yang ikut mempengaruhi variabel $Y$. Komponen random tersebut bukan saja tidak bisa diukur, tetapi juga tidak bisa diketahui.

Adanya deviasi antara garis regresi (\ref{eq:regline}) dan titk-titik data merupakan hal yang tidak bisa dihindari. Deviasi ini timbul akibat hadirnya faktor lain yang tidak dapat dikendalikan. Faktor-faktor ini sering disebut faktor pengganggu (disturbance). Model regresi linear dibentuk dengan cara menambahkan faktor pengganggu tersebut.

Agar model tersebut dapat digunakan, parameter $\alpha$ dan $\beta$ harus diestimasi. Peneliti tentu menghendaki agar suku kesalahan $\epsilon$ dibuat sekecil mungkin. Ada suatu metoda di dalam matematika untuk mencari parameter ini sehingga jumlah kuadrat kesalan randomnya adalah minimal, yaitu metode kuadrat terkecil (least square method). Misalkan $a$ dan $b$ berturut-turut nilai estimasi $\alpha$ dan $\beta$. Dengan menggunakan metoda ini, dapat ditunjukkan bahwa nilai kedua parameter dapat diestimasi dengan $a=\hat{\alpha}$ dan $b=\hat{\beta}$ seperti dinyatakan sebagai berikut.

Interval kepercayaan untuk $\beta$

Nilai harapan dari estimator $b$ dan $a$ berturut-turut adalah \begin{equation} \begin{array}{ll} E(b) = \beta \\ E(a)=\alpha \end{array} \label{eb} \end{equation} Dengan demikian $b$ dan $a$ masing-masing merupakan estimator tak bias untuk parameter $\beta$ dan $\alpha$. Untuk mengetahui variabilitas kedua estimator, dapat dipelajari melalui varian kedua estimator. Varian $b$ dan $a$ adalah \begin{equation} \begin{array}{ll} Var(b) = \frac{\sigma^2}{\sum X_i^2 -n\bar{X}^2} \\ Var(a)=\frac{\sigma^2 \sum X_i^2}{n(\sum X_i^2-n\bar{X}^2)} \end{array} \end{equation} Karena $b$ merupakan estimator parameter $\beta$, maka bisa dibentuk interval kepercayaan parameter $\beta$.

Uji hipotesis koefisien regresi

Di dalam model regresi \[Y= \alpha + \beta X + \varepsilon \] penting untuk menguji hipotesis apakah variabel $X$ memiliki pengaruh terhadap variabel $Y$. Hal ini sama dengan menguji hipotesis apakah parameter $\beta$ sama dengan $0$ atau tidak, yaitu \[H_0: \beta =0 \quad \textnormal{melawan} \quad H_1:\beta \neq 0 \] pada tingkat signifikansi $\alpha$. Untuk menguji $H_0$ pada tingkat signifikansi $\alpha$ digunakan statistik penguji \begin{equation} \label{tstatb} t= \sqrt{\frac{(n-2)S_{XX} }{SS_E} } \; |b| \end{equation} dimana $H_0$ diterima jika $|t| \leq t_{\alpha/2,n-2}$ dan ditolak jika $|t| > t_{\alpha/2,n-2}$.

Demikian pula dapat ditunjukkan bahwa interval kepercayaan untuk parameter intersep $\alpha$ adalah \begin{equation} a \pm \sqrt{\frac{\sum X_i^2 SS_E}{n(n-2)S_{XX}}} t_{\alpha/2, n-2} \end{equation}

Koefisien determinasi

Berdasarkan data $(X_1,Y_1),(X_2,Y_2),\cdots ,(X_n,Y_n)$, bisa dicari variasi variabel respon $Y$ yang disebabkan pengaruh variabel bebas $X$. Deviasi nilai observasi terhadap rata-rata observasi adalah \[Y_i - \bar{Y}\] Jumlah dari kuadrat deviasi ini dinamakan jumlah kuadrat total, ditulis $S_{YY}$, yakni \[ S_{YY} = \sum_{i=1}^n (Y_i - \bar{Y})^2.\] Kuantitas $S_{YY}$ ini menggambarkan variasi antara nilai observasi $Y_i$. Semakin besar nilai $S_{YY}$ berarti semakin bervariasi nilai-nilai $Y_i$. Nilai $S_{YY}$ dapat dipartisi menjadi dua bagian sebagai berikut. \begin{eqnarray*} S_{YY} &=& \sum_{i=1}^n (Y_i - \bar{Y})^2\\ &=& \sum_{i=1}^n [(Y_i - \hat{Y})+(\hat{Y}-\bar{Y})]^2\\ &=& \sum_{i=1}^n (Y_i - \hat{Y})^2+\sum_{i=1}^n(\hat{Y}-\bar{Y})^2+2\sum_{i=1}^n(Y_i - \hat{Y})(\hat{Y}-\bar{Y})\\ &=& \sum_{i=1}^n (Y_i - \hat{Y})^2+\sum_{i=1}^n(\hat{Y}-\bar{Y})^2\\ &=& SS_E + SS_R \end{eqnarray*} dimana \[ SS_R=\sum_{i=1}^n(\hat{Y}-\bar{Y})^2\] dinamakan jumlah kuadrat regresi (regression sum of square). Pada model regresi $Y=\alpha + \beta X + \epsilon$, variasi $Y$ disebabkan oleh dua komponen, yaitu

• komponen variasi yang disebabkan oleh variabel bebas $X$
• komponen variasi yang disebabkan oleh faktor kesalahan random $\epsilon$.

Karena variasi yang sebabkan oleh faktor kesalahan random adalah $SS_E$, ini berarti variasi yang disebabkan oleh variabel bebas $X$ = variasi $Y$ - $SS_E$. Dengan demikian jumlah kuadrat regresi \[ SS_R=S_{YY}-SS_E\] menggambarkan variasi yang disebabkan oleh variabel bebas $X$. Proporsi variasi yang disebabkan oleh variabel bebas $X$ dinamakan koefisien determinasi, dituliskan $R^2$. Dengan demikian \begin{equation} R^2=\frac{variasi \: X}{variasi \: Y}=\frac{S_{YY}-SS_E}{S_{YY}} = 1 - \frac{SS_E}{S_{YY}} \end{equation} Perhatikan bahwa $0 \leq S_{YY}-SS_R \leq S_{YY}$. Oleh karena itu nilai koefisien determinasi memenuhi \[0 \leq R^2 \leq 1.\] Nilai koefisien determinasi $R^2$ dapat digunakan untuk menilai seberapa tepat model regresi yang telah diperoleh. Nilai $R^2=1$ menunjukan model regresi yang diperoleh sangat baik, sedangkan nilai $R^2=0$ menunjukan model regresi yang diperoleh sangat jelek untuk menggambarkan hubungan kedua variabel.

Analisis varian

Kualitas dari estimasi garis regresi yang telah diproleh dapat dievaluasi dengan penndekan analisis varian. Analisis varian merupakan prosedur dimana variasi total variabel tak bebas dibagi ke dalam komponen-komponennya. Hasil-hasil di atas menjelaskan bahwa jumlah kuadrat total $S_{YY}$ dapat dipartisi menjadi jumlah kuadrat regresi $SS_R$ dan jumlah kuadrat kesalahan $SS_E$, yaitu \[ S_{YY} = SS_R + SS_E\] Variabel random $Y_i$ independen dan berdistribusi normal, oleh karena itu $(Y_i - E[Y_i])/\sqrt{Var(Y_i)}$ berdistribusi norma standar, sehingga berakibat \[ \sum_{i=1}^n \frac{(Y_i - E[Y_i])^2}{Var(Y_i)} = \sum_{i=1}^n \frac{(Y_i - E[Y_i])^2}{\sigma^2}\] berdistribusi Chi-square dengan derajat bebas $n$. Jika $ E[Y_i]$ diganti dengan $\bar{Y}$ maka akan ada $n-1$ variabel yang independen, yaitu \[ \sum_{i=1}^n \frac{(Y_i - \bar{Y})^2}{\sigma^2}= \frac{S_{YY}}{\sigma^2}\] berdistribusi Chi-square dengan derajat bebas $n-1$. Kuantitas $ \frac{S_{YY}}{n-1}$ dinamakan kuadrat tengah ( mean square) total, ditulis $MST$. Dengan demikian \begin{equation} \label{mstt} MST = \frac{S_{YY}}{n-1} \end{equation} Lebih lanjut dapat dibuktikan bahwa \[\frac{SS_E}{\sigma^2} \] berdistribusi chi-square dengan derajat bebas $n-2$. Oleh karena itu nilai harapannya adalah \[ E\left( \frac{SS_E}{n-2} \right) = \sigma^2\] yang berarti $\frac{SS_E}{(n-2)}$ merupakan estimator tak bias untuk parameter $\sigma^2$. Kuantitas \begin{equation} \label{mse} MSE = \frac{SS_E}{n-2} \end{equation} dinamakan rata-rata kuadrat kesalahan (mean square error ). Oleh karena itu \[ \frac{SS_R}{\sigma^2}\] berdistribusi chi-square dengan derajat bebas $1$. Akibatnya \[ \frac{SS_R/1}{SS_E/(n-2)}=\frac{SS_R}{MSE} \] berdistribusi-$F$ dengan derajat bebas pembilang $1$ dan derajat bebas penyebut $n-2$. Misalkan akan diuji hipotesis \[ H_0: \quad \beta = 0 \qquad \text{melawan} \qquad H_1:\quad \beta \neq 0.\] Hipotesis nol tersebut menyatakan bahwa variasi dalam variabel $Y$ bukan disebabkan oleh variabel bebas $X$. Untuk menguji hipotesis tersebut digunakan statistik penguji \[ F_0 = \frac{SS_R}{MSE} \] dimana $H_0$ ditolah jika $F_0 > F_{(1, n-2)}$. Hasil perhitungan di atas dapat diringkaskan dengan tabel analisis varian berikut.

Sumber variasi	Derajat bebas	Jumlah Kuadrat	Kuadrat Tengah	$F_0$ (F-hitung)
Regresi	1	$SS_R$	$SS_R$	$SS_R/MSE$
Kesalahan (error)	$n-2$	$SS_E$	$MS_E=SS_E/(n-2)$
Total	$n-1$	$SS_T$

Korelasi

Korelasi merupakan ukuran keeratan hubungan antara dua variabel. Di dalam korelasi tidak dipersoalkan hubungan sebab akibat. Dengan demikian pernyataan "korelasi antara variabel $X$ dan $Y$" sama saja dengan pernyataan "korelasi antara variabel $Y$ dan $X$".

Keeratan hubungan antara dua variabel dinyatakan dengan koefisien korelasi. Jika $(x_1,y_1), (x_2,y_2), \cdots , (x_n,y_n)$ adalah data sampel, maka koefisien korelasi antara variabel $X$ dan $Y$, ditulis $r$, didefinisikan

Nilai koefisien korelasi adalah antara $-1$ sampai dengan $1$, yakni \[-1 \leq r \leq 1 .\]

Variabel $X$ dan $Y$ dikatakan:

• berkorelasi positif jika $r>0$,
• berkorelasi negatif jika $r \lt 0$,
• tidak berkorelasi jika $r=0$.

Hubungan $R^2$ dan $r$

Persamaan \ref{korelasi} dapat dituliskan sebagai \begin{equation} r=\frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^n(x_i-\bar{x})^2 \sum_{i=1}^n(y_i-\bar{y})^2}} =\frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}} \end{equation} Karena $SSR=\frac{S_{xx}S_{yy}-S^2_{xy}}{S_{xx}}$, maka \begin{eqnarray*} r^2&=&\frac{S^2_{xy}}{S_{xx}S_{yy}}\\ &=&\frac{S_{xx} S_{yy}-SSR S_{xx}}{S_{xx}S_{yy}}\\ &=&1-\frac{SSR}{S_{yy}}\\ &=&R^2, \end{eqnarray*} yakni \[|r|=\sqrt{R^2} \] Ini berarti nilai absolut koefisien korelasi sama dengan akar dua koefisien determinasi. Tanda $r$ sama dengan tanda koefisien $\hat{\beta}$ didalam persamaan regresi.