Garis besar topik
-
-
Pengenalan Analisis Regresi
Materi: Konsep dasar regresi, variabel independen dan dependen
Tujuan: Mahasiswa memahami dasar-dasar analisis regresi
-
-
Regresi Linear Sederhana
Materi: Model linier satu prediktor, asumsi klasik
Tujuan: Mahasiswa mampu membangun dan menginterpretasikan model regresi linear sederhana.
-
-
-
Estimasi Parameter Regresi
Materi: Metode kuadrat terkecil (OLS), interpretasi koefisien
Tujuan: Mahasiswa dapat menghitung dan menafsirkan parameter regresi
-
-
-
Evaluasi Model Regresi
Materi: R-squared, adjusted R-squared, MSE
Tujuan: Mahasiswa mampu mengevaluasi kualitas model regresi.
-
-
-
Regresi Linear Berganda
Materi: Model dengan lebih dari satu prediktor
Tujuan: Mahasiswa mampu membangun model regresi linear berganda.
-
-
-
Regresi Linear Ganda
Regresi Linear Ganda adalah metode statistik yang digunakan untuk memodelkan hubungan antara satu variabel dependen (Y) dan dua atau lebih variabel independen (XΓéü, XΓéé, ..., XΓéÖ). Ini merupakan pengembangan dari regresi linear sederhana yang hanya melibatkan satu variabel independen.
Rumus Umum Regresi Linear Ganda:
Keterangan:
-
= variabel dependen (yang diprediksi)
-
= variabel independen
-
= intersep (konstanta)
-
= koefisien regresi untuk masing-masing
-
= error (residu)
Langkah-Langkah Analisis Regresi Linear Ganda:
-
Mengumpulkan data: Pastikan semua variabel yang relevan tersedia dan terukur.
-
Menguji asumsi klasik, seperti:
-
Normalitas
-
Multikolinearitas
-
Heteroskedastisitas
-
Autokorelasi (jika data time series)
-
-
Mengestimasi parameter regresi (biasanya dengan metode kuadrat terkecil/OLS).
-
Menguji signifikansi model:
-
Uji F: untuk melihat apakah model secara keseluruhan signifikan.
-
Uji t: untuk melihat signifikansi masing-masing variabel independen.
-
-
Menginterpretasi koefisien:
-
Misalnya, jika , maka setiap kenaikan 1 unit pada akan meningkatkan nilai sebesar 2, dengan asumsi variabel lainnya konstan.
-
-
Menguji goodness-of-fit:
-
dan adjusted digunakan untuk melihat seberapa baik model menjelaskan variabilitas data.
-
Contoh Kasus Singkat:
Misalnya, ingin memprediksi penghasilan bulanan (Y) berdasarkan lama pendidikan (XΓéü) dan pengalaman kerja (XΓéé).
Artinya:
-
Setiap tahun tambahan pendidikan menaikkan penghasilan sebesar 0.8 juta.
-
Setiap tahun tambahan pengalaman kerja menaikkan penghasilan sebesar 0.5 juta.
-
-
-
-
The Analysis of Variance (ANOVA)
ANOVA (Analisis Varians) adalah metode statistik yang digunakan untuk membandingkan rata-rata dari tiga atau lebih kelompok untuk melihat apakah ada perbedaan yang signifikan secara statistik di antara kelompok-kelompok tersebut.
📌 Tujuan ANOVA:
Untuk menguji hipotesis:
-
H₀ (null hypothesis): Semua kelompok memiliki rata-rata yang sama.
-
HΓéü (alternatif): Setidaknya ada satu kelompok yang memiliki rata-rata berbeda.
📊 Jenis-Jenis ANOVA:
-
One-Way ANOVA
Digunakan ketika kita memiliki satu faktor/kategori dengan tiga atau lebih grup.
Contoh: membandingkan nilai ujian antara 3 metode pembelajaran. -
Two-Way ANOVA
Digunakan jika kita menganalisis dua faktor.
Contoh: pengaruh metode pembelajaran dan jenis kelamin terhadap nilai ujian.
✅ Contoh One-Way ANOVA di Python
Misalnya kita ingin melihat apakah tiga metode belajar (A, B, C) menghasilkan perbedaan signifikan pada nilai ujian.
-
-
-
-
UTS ( Ujian Tengah Semester )
-
-
-
Inferences in Regression
(Inferensi dalam Regresi)
Inferensi dalam regresi merujuk pada proses menarik kesimpulan statistik tentang hubungan antara variabel dependen dan variabel independen, berdasarkan hasil dari model regresi. Tujuannya adalah untuk menilai keandalan model dan menentukan signifikansi pengaruh setiap variabel.
✅ Tujuan Inferensi dalam Regresi:
-
Menguji apakah hubungan antara variabel signifikan secara statistik.
-
Membuat interval kepercayaan untuk koefisien regresi.
-
Melakukan prediksi terhadap nilai Y baru dan memberikan intervalnya.
📌 Jenis Inferensi dalam Regresi:
1. Uji Signifikansi Koefisien (Uji t)
Untuk mengetahui apakah setiap variabel independen secara signifikan memengaruhi Y.
Hipotesis:
-
: Koefisien (tidak ada pengaruh)
-
: Koefisien (ada pengaruh)
Jika p-value < 0.05 → Tolak H₀ → variabel signifikan.
2. Uji Signifikansi Model (Uji F)
Untuk mengetahui apakah seluruh variabel independen secara bersama-sama signifikan memengaruhi Y.
Hipotesis:
-
: Semua koefisien regresi = 0
-
: Setidaknya satu koefisien Γëá 0
Jika p-value F < 0.05 → model secara keseluruhan signifikan.
3. Interval Kepercayaan Koefisien
Menunjukkan rentang nilai di mana kita yakin (misalnya 95%) koefisien sebenarnya berada.
4. Prediksi dan Interval Prediksi
Dua jenis interval:
-
Interval kepercayaan: untuk estimasi rata-rata Y.
-
Interval prediksi: untuk nilai Y individu baru (lebih lebar).
-
-
-
-
Asumsi-Asumsi pada Regresi Linear
Dalam analisis regresi linear (baik sederhana maupun ganda), terdapat beberapa asumsi klasik yang harus dipenuhi agar hasil analisis valid dan interpretasi model akurat. Pelanggaran terhadap asumsi ini dapat menyebabkan estimasi yang bias, tidak efisien, atau tidak valid secara statistik.
✅ Asumsi-Asumsi Regresi Linear:
1. Linearitas
Hubungan antara variabel independen dan variabel dependen harus linear.
-
Γ£ö Cek dengan scatter plot atau residual plot.
-
❌ Jika tidak linear, bisa menggunakan transformasi data (log, sqrt) atau model non-linear.
2. Independensi (Tidak ada autokorelasi)
Observasi harus independen satu sama lain, terutama dalam data time series.
-
Γ£ö Uji: Durbin-Watson test
-
❌ Jika ada autokorelasi → model tidak valid (misalnya residual bergantung pada waktu sebelumnya).
3. Homoskedastisitas
Varians dari residual harus konstan di seluruh nilai prediksi.
-
Γ£ö Residual plot harus menunjukkan sebaran acak (tidak berpola).
-
❌ Jika pola seperti kerucut/gelombang → terjadi heteroskedastisitas
4. Normalitas Residual
Residual (kesalahan prediksi) harus berdistribusi normal.
-
Γ£ö Cek dengan histogram residual atau uji Shapiro-Wilk.
-
❌ Jika tidak normal → uji statistik dan prediksi menjadi tidak andal, terutama untuk sampel kecil.
5. Tidak Ada Multikolinearitas
Variabel independen tidak boleh saling berkorelasi tinggi satu sama lain.
-
Γ£ö Cek dengan VIF (Variance Inflation Factor):
-
VIF > 10 → indikasi multikolinearitas.
-
-
❌ Multikolinearitas membuat sulit menginterpretasi koefisien regresi.
📌 Ringkasan Asumsi
No Asumsi Gejala Pelanggaran Solusi 1 Linearitas Hubungan melengkung Transformasi, model non-linear 2 Independensi Pola berulang (time series) Tambah variabel waktu, AR model 3 Homoskedastisitas Residual berpola Transformasi, robust regression 4 Normalitas residual Histogram tidak normal Transformasi, tambah data 5 Tidak multikolinearitas VIF tinggi Hapus/ubah variabel -
-