Dalam machine learning, istilah ensemble learning, bagging, dan boosting seringkali muncul dan sering sulit dipahami oleh pemula. Artikel ini akan menjelaskan ketiga istilah tersebut dengan sederhana dan mudah dipahami.
Ensemble learning adalah cara sebuah algoritma mempelajari data dengan menggunakan kombinasi dari beberapa algoritma atau model untuk mendapatkan output dengan akurasi yang lebih tinggi jika dibandingkan dengan menggunakan satu algoritma atau model saja. Cara melakukan ensemble learning adalah dengan proses bagging, boosting, dan stacking.
Sebelum melanjutkan membaca, artikel ini merupakan bagian dari seri artikel yang menjelaskan tentang Algoritma Machine Learning.
Jika kamu sedang belajar mengenai algoritma machine learning meliputi pengertian, jenis dan macamnya, bagaimana cara kerjanya, silahkan mulai dari artikel ini dan menelusuri tautan-tautan di dalamnya:
Algoritma Machine Learning: Jenis-jenis dan Contoh Algoritmanya.
Apa itu Ensemble Learning?
Ensemble learning atau ensemble method adalah metode di mana beberapa algoritma pembelajaran digunakan secara bersamaan, lalu dikombinasikan untuk mendapatkan hasil pemodelan yang lebih akurat.
Dalam proses metode ensemble, model-model individu ini biasa disebut anggota ensemble (ensemble member).
Tujuan melakukan Ensemble Leaening adalah untuk mendapatkan model dengan akurasi yang lebih tinggi daripada jika hanya menggunakan satu algoritme/ model saja.
Ensemble Learning adalah cara yang ampuh untuk meningkatkan kinerja model kita.
Jenis Ensemble Method
Setidaknya ada beberapa cara atau metode standar yang dapat dilakukan untuk melakukannya.
Beberapa jenis Ensemble learning di antaranya:
- Bagging
- Boosting
- Stacking
Bagging
Bagging, juga dikenal sebagai bootstrap aggregating, adalah proses dengan menggunakan beberapa model dari algoritma yang sama, dan melatih setiap model pada sampel berbeda dari dataset yang sama. Prediksi yang dibuat oleh setiap model kemudian digabungkan menggunakan statistik sederhana, seperti voting atau rata-rata.
Dalam proses ini, teknik bootstrap digunakan untuk membuat beberapa set sampel dari satu dataset yang sama.
Sedangkan dalam prosesnya, bagging hampir selalu menggunakan unpruned decision tree.
Lihat ilustrasi di bawah ini.
Boosting
Boosting adalah variasi bagging, di mana setiap model individu dibangun secara berurutan, mengulangi yang sebelumnya. Dalam prosesnya, setiap titik data yang salah diklasifikasikan oleh model sebelumnya ditekankan dalam model berikutnya. Hal ini dilakukan untuk meningkatkan akurasi model secara keseluruhan.
Berikut adalah diagram untuk lebih memahami prosesnya:
Setelah model pertama dibangun, titik yang diklasifikasikan/diprediksi secara salah, diambil sebagai tambahan pada sampel bootstrap kedua untuk melatih model kedua. Kemudian, model ensemble (model 1 dan 2) digunakan terhadap dataset uji.
Proses ini kemudian dilanjutkan sampai mendapatkan model terbaik.
Stacking
Stacking melibatkan pemasangan banyak jenis model yang berbeda pada data yang sama dan menggunakan model lain untuk mempelajari cara terbaik menggabungkan prediksi.
Beberapa elemen kunci dalam proses stacking adalah:
- Set data pelatihan tidak berubah.
- Algoritma ML yang berbeda untuk setiap anggota ensemble (ensemble member).
- Model ML digunakan untuk mempelajari cara terbaik menggabungkan model prediksi.
Contoh Algoritma Ensemble Learning
Ada banyak algoritma ensemble learning yang telah dikembangkan. Berikut beberapa di antaranya, dipisahkan berdasarkan tipe proses ensembe learningnya.
Beberapa contoh algoritma yang menggunakan teknik bagging adalah:
- Random forest
- Extra Trees
Beberapa contoh algoritma yang menggunakan teknik boosting adalah:
- Gradient Boost Machine(GBM)
- Adaboost
Beberapa contoh algoritma yang menggunakan teknik stacking adalah:
- Blending
- Super Ensemble
Mengapa melakukan Ensemble Learning?
Kita melakukan Ensemble Learning karena dua alasan, yaitu terkait performa (performance) dan kekuatan (robustness) model.
Performance: ensemble learning dapat membuat prediksi dengan performa yang lebih baik daripada model tunggal.
Robustness: ensemble learning dapat mengurangi penyebaran (dispersi) dari prediksi dan performa model.
Hal ini bisa dicapai karena Ensemble Learning menggunakan beberapa model sekaligus dan mengkombinasikannya untuk mendapatkan satu model terbaik.
Penyebab utama kesalahan dalam model pembelajaran adalah karena noise, bias dan varians. Metode ensemble membantu meminimalkan faktor-faktor ini.
Kelebihan Ensemble Learning
Beberapa kelebihan atau keunggulan menggunakan Ensemble Learning adalah:
- Hasil pemodelan yang lebih akurat. Ensemble Learning menggunakan beberapa model sekaligus dan mengkombinasikannya untuk mendapatkan satu model terbaik.
- Model yang stabil dan lebih kuat (robust). Hasil agregat dari beberapa model selalu less noisy daripada model individu.
- Metode ensemble dapat digunakan untuk menangkap hubungan linier maupun non-linier dalam data. Hal ini dapat dicapai dengan menggunakan 2 model yang berbeda dan membentuk ensemble dari keduanya.
Kekurangan Ensemble Learning
Beberapa kelemahan atau kekurangan menggunakan Ensemble Learning adalah:
- Pengurangan kemampuan interpretasi model. Menggunakan metode ensemble mengurangi kemampuan interpretasi model karena meningkatnya kompleksitas dan membuat kita sangat sulit untuk menarik insight.
- Waktu komputasi dan desain tinggi.
- Tingkat kesulitan yang tinggi dalam pemilihan model dalam proses pembuatan model ensemble, sehingga membutuhkan kemampuan dan pengalaman.
Kesimpulan
Tujuan dari setiap Machine Learning adalah untuk menemukan model tunggal yang paling baik memprediksi hasil yang kita inginkan.
Daripada membuat satu model dan berharap model ini adalah prediktor terbaik/paling akurat yang bisa kita buat, Ensemble Learning mempertimbangkan banyak model, dan membuat rata-rata model tersebut untuk menghasilkan satu model akhir.
Metode Ensemble Learning terbukti meningkatkan performa model dalam banyak kasus.
Beberapa poin kesimpulan yang penting setelah membaca artikel ini adalah:
- Ensemble Learning adalah metode di mana beberapa algoritma pembelajaran digunakan secara bersamaan, lalu dikombinasikan untuk mendapatkan hasil pemodelan yang lebih akurat.
- Bagging melibatkan pemasangan banyak decision tree pada sampel yang berbeda dari dataset yang sama dan merata-ratakan atau voting hasil prediksi.
- Boosting melibatkan penambahan anggota ensemble secara berurutan yang mengoreksi prediksi yang dibuat oleh model sebelumnya dan menghasilkan rata-rata tertimbang dari semua prediksi.
- Stacking melibatkan pemasangan banyak jenis model yang berbeda pada data yang sama dan menggunakan model lain untuk mempelajari cara terbaik menggabungkan prediksi.
Selamat! Kamu telah belajar mengenai Ensemble Learning dalam Machine Learning.
Artikel ini merupakan bagian dari seri artikel yang menjelaskan tentang Algoritma Machine Learning.
Jika kamu sedang belajar mengenai algoritma machine learning meliputi pengertian, jenis dan macamnya, bagaimana cara kerjanya, silahkan mulai dari artikel ini dan menelusuri tautan-tautan di dalamnya:
Algoritma Machine Learning: Jenis-jenis dan Contoh Algoritmanya.
