ENSEMBLE LEARNING

PENDAHULUAN

Machine Learning merupakan salah satu bagian dari kecerdasan buatan yang memungkinkan komputer mempelajari pola dari sekumpulan data. Dalam prosesnya, terdapat berbagai algoritma yang dapat digunakan untuk membangun sebuah model prediksi. Pemilihan algoritma biasanya disesuaikan dengan karakteristik data dan tujuan yang ingin dicapai.

Namun, dalam penerapannya, sebuah model tidak selalu mampu memberikan hasil yang sesuai dengan harapan. Setiap algoritma memiliki keterbatasan dan dapat melakukan kesalahan pada jenis data tertentu. Salah satu cara untuk mengatasi permasalahan tersebut adalah dengan menggunakan Ensemble Learning.

Ensemble Learning merupakan pendekatan yang tidak hanya mengandalkan satu model, tetapi memanfaatkan beberapa model pembelajaran secara bersamaan. Hasil dari model-model tersebut kemudian dikombinasikan sehingga menghasilkan sebuah keputusan akhir.

Konsep Ensemble Learning menjadi salah satu materi penting dalam pembelajaran Machine Learning, karena pendekatan ini dapat digunakan untuk meningkatkan kemampuan prediksi suatu sistem. Video “Machine Learning: Konsep Dasar Ensemble Learning” juga membahas konsep dasar mengenai pendekatan tersebut.

PENGERTIAN ENSEMBLE LEARNING

Secara sederhana, Ensemble Learning dapat diartikan sebagai metode yang menggabungkan beberapa model Machine Learning untuk menghasilkan satu hasil prediksi.

Jika sebuah permasalahan hanya dikerjakan menggunakan satu model, maka seluruh keputusan bergantung pada kemampuan model tersebut. Berbeda dengan Ensemble Learning, beberapa model diberikan kesempatan untuk melakukan prediksi. Hasil yang diperoleh kemudian dikombinasikan berdasarkan mekanisme tertentu.

Gagasan ini dapat dianalogikan dengan proses pengambilan keputusan secara berkelompok. Misalnya, seseorang ingin menentukan apakah suatu objek termasuk kelompok tertentu. Jika hanya satu orang yang memberikan pendapat, keputusan akan sepenuhnya bergantung pada pendapat tersebut. Namun, jika beberapa orang memberikan pendapat dan mayoritas memiliki jawaban yang sama, keputusan dapat diambil berdasarkan hasil mayoritas. Prinsip yang serupa diterapkan pada Ensemble Learning. Model-model yang berbeda dapat bekerja sebagai sebuah kelompok untuk menghasilkan prediksi.

DASAR PEMIKIRAN ENSEMBLE LEARNING

Salah satu alasan utama penggunaan Ensemble Learning adalah adanya kemungkinan bahwa model yang berbeda akan melakukan kesalahan pada data yang berbeda pula. Misalnya, terdapat tiga model klasifikasi. Model pertama memiliki kesalahan pada beberapa data tertentu, sedangkan model kedua dan ketiga dapat mengklasifikasikan data tersebut dengan benar. Apabila hasil ketiga model digabungkan, kesalahan model pertama dapat dikompensasi oleh hasil dari model lainnya.

Oleh karena itu, Ensemble Learning tidak selalu bertujuan membuat setiap model menjadi sempurna. Yang lebih penting adalah bagaimana beberapa model dapat saling melengkapi.

Secara umum, prosesnya dapat digambarkan sebagai berikut:

Dataset → Model 1, Model 2, Model 3, ... → Penggabungan Prediksi → Hasil Akhir

Dari proses tersebut dapat dilihat bahwa keputusan akhir diperoleh setelah hasil dari beberapa model diproses secara bersama-sama.

KOMPONEN ENSEMBLE LEARNING

Dalam sebuah sistem ensemble terdapat beberapa model yang berperan sebagai pembentuk prediksi. Model tersebut sering disebut sebagai base learner.

Base learner dapat berupa algoritma yang sama maupun algoritma yang berbeda, tergantung teknik ensemble yang digunakan.

Sebagai contoh, sebuah sistem dapat menggunakan beberapa Decision Tree. Pada pendekatan lain, sistem dapat menggabungkan Decision Tree dengan algoritma seperti Logistic Regression atau Support Vector Machine.

Setelah seluruh model menghasilkan prediksi, diperlukan suatu mekanisme untuk menentukan hasil akhir. Mekanisme tersebut dapat berupa voting, rata-rata, pemberian bobot, atau penggunaan model tambahan.

PENDEKATAN ENSEMBLE LEARNING

Ensemble Learning memiliki beberapa pendekatan yang dapat digunakan untuk menggabungkan model. Tiga pendekatan yang cukup dikenal adalah Bagging, Boosting, dan Stacking.

1. BAGGING

Bagging merupakan pendekatan yang membuat beberapa model dengan menggunakan sampel data yang berbeda. Sampel tersebut diperoleh dari dataset melalui teknik bootstrap sampling.

Masing-masing model kemudian dilatih dan menghasilkan prediksi. Setelah itu, seluruh prediksi dikumpulkan untuk menentukan hasil akhir.

Pada klasifikasi, hasil akhir dapat ditentukan menggunakan majority voting. Sementara pada regresi, hasil beberapa model dapat digabungkan menggunakan nilai rata-rata.

Salah satu contoh algoritma yang menerapkan konsep ini adalah Random Forest. Random Forest terdiri dari banyak Decision Tree yang kemudian digabungkan untuk menghasilkan prediksi.

Kelebihan utama Bagging adalah kemampuannya membuat hasil model menjadi lebih stabil dan membantu mengurangi variasi (variance).

2. BOOSTING

Boosting menggunakan konsep yang berbeda. Jika pada Bagging beberapa model dapat dilatih secara relatif independen, Boosting membangun model secara bertahap.

Model pertama menghasilkan prediksi. Data yang sulit diprediksi atau kesalahan yang muncul kemudian menjadi perhatian dalam pembentukan model berikutnya. Proses tersebut dilakukan secara berurutan.

Dengan cara ini, model berikutnya diharapkan mampu memperbaiki kekurangan model sebelumnya.

Beberapa algoritma yang termasuk dalam keluarga Boosting antara lain:

• AdaBoost

• Gradient Boosting

• XGBoost

• LightGBM

• CatBoost

Boosting banyak digunakan dalam berbagai persoalan prediksi karena dapat membentuk model yang kuat dari beberapa model yang relatif sederhana.

3. STACKING

Stacking mempunyai mekanisme yang berbeda lagi. Pada teknik ini, beberapa model dapat digunakan secara bersamaan sebagai base model.

Masing-masing model memberikan prediksi. Prediksi tersebut kemudian digunakan sebagai masukan bagi model lain yang disebut meta-model.

Sebagai contoh, sebuah sistem dapat menggunakan:

• Decision Tree

• Support Vector Machine

• Logistic Regression

Ketiga model tersebut menghasilkan prediksi masing-masing. Hasilnya kemudian diberikan kepada meta-model untuk menentukan prediksi akhir.

Dengan pendekatan ini, kelebihan dari beberapa algoritma yang berbeda dapat dimanfaatkan dalam satu sistem.

CONTOH PENERAPAN

Untuk memahami Ensemble Learning dengan lebih mudah, misalkan sebuah toko online ingin memperkirakan apakah seorang pelanggan akan membeli suatu produk.

Sistem menggunakan beberapa model:

Model A: pelanggan diprediksi membeli.

Model B: pelanggan diprediksi tidak membeli.

Model C: pelanggan diprediksi membeli.

Jika sistem menggunakan majority voting, dua model memberikan prediksi “membeli”, sedangkan satu model memberikan prediksi “tidak membeli”. Maka hasil akhir sistem adalah pelanggan diprediksi membeli.

Contoh tersebut menunjukkan bagaimana keputusan akhir tidak ditentukan oleh satu model saja.

ENSEMBLE LEARNING PADA KLASIFIKASI DAN REGRESI

Ensemble Learning dapat digunakan untuk berbagai jenis permasalahan Machine Learning.

KLASIFIKASI

Pada klasifikasi, model bertugas menentukan sebuah data masuk ke dalam kategori tertentu.

Contohnya:

• Menentukan email spam atau bukan spam.

• Menentukan transaksi normal atau mencurigakan.

• Mengelompokkan pelanggan berdasarkan karakteristik tertentu.

• Mengklasifikasikan gambar berdasarkan objek yang terdapat di dalamnya.

Dalam kasus klasifikasi, hasil beberapa model dapat digabungkan menggunakan voting.

REGRESI

Pada regresi, model digunakan untuk memperkirakan nilai numerik.

Contohnya:

• Memperkirakan harga rumah.

• Memprediksi jumlah penjualan.

• Memperkirakan permintaan produk.

• Memprediksi nilai tertentu berdasarkan data historis.

Pada kasus regresi, hasil beberapa model dapat dikombinasikan, misalnya dengan menghitung rata-rata prediksi.

KELEBIHAN ENSEMBLE LEARNING

1. Prediksi menjadi lebih akurat

2. Kesalahan model dapat dikurangi

3. Model menjadi lebih stabil

4. Dapat menangani masalah kompleks

5. Fleksibel

KEKURANGAN ENSEMBLE LEARNING

Walaupun memberikan banyak keuntungan, Ensemble Learning juga mempunyai beberapa keterbatasan.

Salah satunya adalah kompleksitas model. Sistem yang menggunakan banyak model tentu lebih kompleks dibandingkan sistem yang hanya menggunakan satu model. Selain itu, kebutuhan komputasi juga dapat meningkat. Semakin banyak model yang digunakan, semakin banyak proses pelatihan dan prediksi yang harus dilakukan. Masalah lain adalah interpretabilitas. Model ensemble yang terdiri dari banyak komponen dapat lebih sulit dijelaskan kepada pengguna. Hal tersebut menjadi pertimbangan penting terutama ketika model digunakan pada bidang yang membutuhkan penjelasan mengenai alasan suatu keputusan.

PERBEDAAN BAGGING, BOOSTING, DAN STACKING

Ketiga pendekatan tersebut sama-sama termasuk Ensemble Learning, tetapi memiliki cara kerja yang berbeda.

Perbedaan tersebut menunjukkan bahwa istilah Ensemble Learning tidak merujuk pada satu algoritma tertentu. Ensemble Learning merupakan sebuah pendekatan, sedangkan Bagging, Boosting, dan Stacking merupakan beberapa cara untuk menerapkannya.

Penggunaan Ensemble Learning tidak berarti semakin banyak model yang digunakan maka hasilnya pasti semakin baik. Jumlah model, jenis algoritma, kualitas data, dan metode penggabungan tetap perlu diperhatikan.

Data yang digunakan juga harus memiliki kualitas yang baik. Jika data pelatihan mengandung banyak kesalahan atau informasi yang tidak relevan, penambahan jumlah model belum tentu menyelesaikan masalah tersebut.

Pemilihan teknik ensemble juga perlu mempertimbangkan tujuan pemodelan. Jika prioritas utama adalah performa prediksi, pendekatan tertentu mungkin sesuai. Namun, jika sistem membutuhkan tingkat interpretasi yang tinggi, model yang terlalu kompleks dapat menjadi kurang ideal.

KESIMPULAN

Ensemble Learning merupakan pendekatan dalam Machine Learning yang memanfaatkan beberapa model untuk menghasilkan satu keputusan atau prediksi. Konsep utamanya adalah menggabungkan kemampuan sejumlah model sehingga kelemahan dari suatu model dapat dikurangi melalui kontribusi model lainnya.

Dalam penerapannya terdapat berbagai metode, di antaranya Bagging, Boosting, dan Stacking. Bagging menggabungkan beberapa model yang dilatih menggunakan sampel data, Boosting membangun model secara bertahap untuk memperbaiki kesalahan sebelumnya, sedangkan Stacking memanfaatkan beberapa model dan menggunakan meta-model untuk memperoleh keputusan akhir.

Ensemble Learning dapat digunakan pada berbagai persoalan, baik klasifikasi maupun regresi. Pendekatan ini memiliki potensi untuk meningkatkan performa prediksi, tetapi juga membawa konsekuensi berupa meningkatnya kompleksitas dan kebutuhan komputasi.

Dengan memahami konsep dasar Ensemble Learning, kita dapat melihat keberhasilan suatu sistem Machine Learning tidak selalu bergantung pada satu algoritma terbaik. Dalam banyak kasus, kombinasi beberapa model yang dirancang dengan tepat dapat menjadi pendekatan yang efektif untuk memperoleh prediksi yang lebih baik.