1. PCA memiliki peran utama untuk mereduksi dimensi data dengan tetap mempertahankan sebanyak mungkin variasi dalam dataset.
Beberapa alasan metode ini sering digunakan dalam analisis data sebaga berikut:
ΓÇó Mengurangi noise: Komponen utama dengan varians rendah sering mewakili noise, sehingga menghilangkannya dapat meningkatkan signal-to-noise ratio.
ΓÇó Visualisasi: Memungkinkan visualisasi data multidimensi dalam ruang 2D atau 3D.
ΓÇó Mengurangi kompleksitas: PCA dapat menyederhanakan dataset berdimensi tinggi menjadi set yang lebih kecil namun tetap informatif.
2. Langkah langkah cara kerja PCA dalam mengidentifikasi komponen utama sebagai berikut:
ΓÇó Menghitung matriks kovarians atau korelasi dari dataset.
ΓÇó Menghitung eigenvalue dan eigenvector dari matriks tersebut.
ΓÇó Mengurutkan eigenvector berdasarkan eigenvalue dari yang terbesar ke terkecil.
ΓÇó Memilih sejumlah k eigenvector teratas sebagai komponen utama.
Komponen utama pertama selalu memiliki varians terbesar karena:
ΓÇó PCA secara matematis mencari arah (vektor) di mana data memiliki variasi
maksimum.
ΓÇó Komponen pertama adalah proyeksi data pada eigenvector dengan eigenvalue terbesar, yang mewakili arah variasi maksimum dalam data.
3. Yang menjadi perbedaan dalam metode PCA dan Seleksi fitur berbasis korelasi adalah:
ΓÇó PCA: Menciptakan fitur baru yang merupakan kombinasi linear dari fitur asli. Ini mengubah ruang fitur asli.
ΓÇó Seleksi fitur berbasis korelasi: Memilih subset dari fitur asli tanpa mengubahnya, biasanya berdasarkan korelasi mereka dengan variabel target atau fitur lain.
Metode PCA lebih disarankan pada saat:
ΓÇó Interpretabilitas fitur individual tidak penting.
ΓÇó Ada multikolinearitas tinggi antar fitur.
ΓÇó Tujuannya adalah mengurangi dimensi secara drastis sambil mempertahankan sebanyak mungkin informasi.
ΓÇó Visualisasi data multidimensi diperlukan.
4.Skala fitur sangat mempengaruhi hasil PCA karena PCA sensitif terhadap skala relatif variabel input, serta fitur dengan skala lebih besar akan mendominasi komponen utama, bahkan jika mereka tidak lebih informatif.
Penskalaan data (misalnya, pada saat standardisasi atau normalisasi) penting sebelum PCA karena menyamakan kontribusi setiap fitur, sehingga PCA dapat fokus pada variasi relative bukan absolut, mencegah fitur dengan satuan atau skala besar mendominasi analisis secara tidak proporsional, serta memastikan hasil PCA mencerminkan struktur intrinsik data, bukan artefak dari skala pengukuran.
5. Banyak kriteria untuk membantu memilih jumlah komponen yang diperthannkan seperti:
ΓÇó Cumulative Explained Variance Ratio: Memilih jumlah komponen yang menjelaskan persentase tertentu (misalnya 95%) dari total varians
ΓÇó Scree plot: Memplot eigenvalue vs. jumlah komponen dan mencari "siku" di mana penurunan eigenvalue mulai melambat.
ΓÇó Kaiser criterion: Mempertahankan komponen dengan eigenvalue > 1 (untuk data yang distandarisasi).
ΓÇó Cross-validation: Mengevaluasi performa model dengan berbagai jumlah komponen pada data validasi.
ΓÇó Domain knowledge: Mempertimbangkan kebutuhan spesifik aplikasi dan interpretabilitas.
Pemilihan jumlah komponen sering kali merupakan trade-off antara reduksi dimensi dan retensi informasi, dan mungkin memerlukan eksperimen untuk menemukan keseimbangan optimal untuk kasus penggunaan tertentu.
Beberapa alasan metode ini sering digunakan dalam analisis data sebaga berikut:
ΓÇó Mengurangi noise: Komponen utama dengan varians rendah sering mewakili noise, sehingga menghilangkannya dapat meningkatkan signal-to-noise ratio.
ΓÇó Visualisasi: Memungkinkan visualisasi data multidimensi dalam ruang 2D atau 3D.
ΓÇó Mengurangi kompleksitas: PCA dapat menyederhanakan dataset berdimensi tinggi menjadi set yang lebih kecil namun tetap informatif.
2. Langkah langkah cara kerja PCA dalam mengidentifikasi komponen utama sebagai berikut:
ΓÇó Menghitung matriks kovarians atau korelasi dari dataset.
ΓÇó Menghitung eigenvalue dan eigenvector dari matriks tersebut.
ΓÇó Mengurutkan eigenvector berdasarkan eigenvalue dari yang terbesar ke terkecil.
ΓÇó Memilih sejumlah k eigenvector teratas sebagai komponen utama.
Komponen utama pertama selalu memiliki varians terbesar karena:
ΓÇó PCA secara matematis mencari arah (vektor) di mana data memiliki variasi
maksimum.
ΓÇó Komponen pertama adalah proyeksi data pada eigenvector dengan eigenvalue terbesar, yang mewakili arah variasi maksimum dalam data.
3. Yang menjadi perbedaan dalam metode PCA dan Seleksi fitur berbasis korelasi adalah:
ΓÇó PCA: Menciptakan fitur baru yang merupakan kombinasi linear dari fitur asli. Ini mengubah ruang fitur asli.
ΓÇó Seleksi fitur berbasis korelasi: Memilih subset dari fitur asli tanpa mengubahnya, biasanya berdasarkan korelasi mereka dengan variabel target atau fitur lain.
Metode PCA lebih disarankan pada saat:
ΓÇó Interpretabilitas fitur individual tidak penting.
ΓÇó Ada multikolinearitas tinggi antar fitur.
ΓÇó Tujuannya adalah mengurangi dimensi secara drastis sambil mempertahankan sebanyak mungkin informasi.
ΓÇó Visualisasi data multidimensi diperlukan.
4.Skala fitur sangat mempengaruhi hasil PCA karena PCA sensitif terhadap skala relatif variabel input, serta fitur dengan skala lebih besar akan mendominasi komponen utama, bahkan jika mereka tidak lebih informatif.
Penskalaan data (misalnya, pada saat standardisasi atau normalisasi) penting sebelum PCA karena menyamakan kontribusi setiap fitur, sehingga PCA dapat fokus pada variasi relative bukan absolut, mencegah fitur dengan satuan atau skala besar mendominasi analisis secara tidak proporsional, serta memastikan hasil PCA mencerminkan struktur intrinsik data, bukan artefak dari skala pengukuran.
5. Banyak kriteria untuk membantu memilih jumlah komponen yang diperthannkan seperti:
ΓÇó Cumulative Explained Variance Ratio: Memilih jumlah komponen yang menjelaskan persentase tertentu (misalnya 95%) dari total varians
ΓÇó Scree plot: Memplot eigenvalue vs. jumlah komponen dan mencari "siku" di mana penurunan eigenvalue mulai melambat.
ΓÇó Kaiser criterion: Mempertahankan komponen dengan eigenvalue > 1 (untuk data yang distandarisasi).
ΓÇó Cross-validation: Mengevaluasi performa model dengan berbagai jumlah komponen pada data validasi.
ΓÇó Domain knowledge: Mempertimbangkan kebutuhan spesifik aplikasi dan interpretabilitas.
Pemilihan jumlah komponen sering kali merupakan trade-off antara reduksi dimensi dan retensi informasi, dan mungkin memerlukan eksperimen untuk menemukan keseimbangan optimal untuk kasus penggunaan tertentu.