1. * Ekstraksi Data (Extraction): PDI memungkinkan pengguna untuk mengambil data dari berbagai sumber, seperti database relasional, file CSV, XML, JSON, API, atau bahkan data tak terstruktur.
   * Transformasi Data (Transformation): Transformasi ini memastikan data dari berbagai sumber dikonsolidasikan dalam format yang konsisten dan sesuai dengan kebutuhan analisis.
   * Pemuatan Data (Loading): Setelah transformasi, data dapat dimuat ke dalam berbagai target, seperti data warehouse, database lain, atau sistem analitik.
PDI sangat penting karena Mendukung Integrasi Data Multisumber Efesiensi operasional dan juga Kualitas data yang lebih baik.
2. * Langkah-Langkah dalam membuat transformation:
Buat Transformation Baru:
- Buka Spoon (antarmuka grafis PDI).
- Pilih File > New > Transformation.
Tambahkan Input Data:
- Tambahkan step untuk mengambil data dari sumber, misalnya Table Input, CSV Input, atau JSON Input.
- Konfigurasikan koneksi ke sumber data, seperti database atau file.
Tambahkan Step Transformasi:
- Gunakan step seperti Filter Rows, Sort Rows, Calculator, atau String Operations untuk memodifikasi data sesuai kebutuhan.
- Anda dapat menambahkan dan menghubungkan beberapa step untuk membuat alur data.
Tambahkan Output Data:
- Tambahkan step untuk memuat data ke tujuan, seperti Table Output, CSV Output, atau Excel Output.
- Konfigurasikan koneksi dan pengaturan penyimpanan.
Jalankan Transformation:
- Klik ikon Run untuk menjalankan transformation dan melihat log proses.
    * Langkah-Langkah membuat Job:
Buat Job Baru:
- Buka Spoon.
- Pilih File > New > Job.
Tambahkan Start Step:
- Drag-and-drop step Start untuk menandai titik awal eksekusi job.
Tambahkan Transformation:
- Tambahkan step Transformation untuk mengeksekusi transformation yang sudah dibuat.
- Tautkan step ini dengan Start menggunakan panah.
Tambahkan Langkah Orkestrasi:
- Gunakan langkah seperti File Exists, Job, atau Script untuk memvalidasi, memproses, atau menjalankan tugas tambahan.
- Konfigurasikan dependensi antara langkah-langkah untuk menciptakan alur kerja.
Jalankan Job:
- Klik ikon Run untuk menjalankan job dan melihat log proses.
- Bisa mencakup penanganan kesalahan, percabangan logika (conditional flows), dan pengulangan proses.
Cara bagaimana Job dan Transformation bekerja sama dalam ETL:
a. Ekstraksi (Extract):
> Transformation mengambil data dari berbagai sumber menggunakan step seperti Table Input atau CSV Input.
b. Transformasi (Transform):
> Transformation memproses data, membersihkannya, dan menerapkan aturan bisnis.
c. Pemuatan (Load):
> Data yang telah ditransformasikan dimuat ke dalam target seperti data warehouse atau file menggunakan step seperti Table Output.
d. Otomasi dan Orkestrasi:
> Job mengelola eksekusi transformation secara otomatis, misalnya dengan menjadwalkannya untuk berjalan pada waktu tertentu atau mengelola alur kerja yang kompleks.