Adapun yang harus kita persiapkan dalam pembelajaran sample dataset pada scikit-learn adalah :

• Memiliki akun Gmail, kemudian login ke dalam akun Gmail.
• Buka google colab untuk menjalankan script dari scikit-learn.
• Buat project baru

• Untuk kasus kali ini kita memakai iris dataset, ketikan kedalam script kode script berikut

from sklearn.datasets import load_iris
iris = load_iris()
iris

Penjelasan dari script di atas adalah pertama kita harus install dulu sklearn.datasets kemudian kita import function load_iris. untuk memanggil iris dataset dengan load_iris() kemudian kita tampung dalam satu variabel dengan nama iris, kemudian untuk menampilkan kita ketik variabel iris.

Untuk menjalankan program tersebut cukup dengan mengklik tombol play pada menu di samping program. hasilnya seperti gambar di bawah ini :

Kita akan mendata keys apa saja yang dimiliki oleh iris dataset, dengan mengetikan kode pada baris baru:

iris.keys()

kemudian jalankan, maka hasilnya seperti gambar di bawah ini :

Adapun Keys() yang tersedia dari iris dataset adalah : ‘data’, ‘target’, ‘frame’, ‘target_names’, ‘DESCR’, ‘feature_names’, ‘filename’, ‘data_module’.

Untuk data keys akan berkaitan dengan data features, sedangkan target berkaitan nanti dengan data – data target. Frame untuk menanandakan apakah data format yang ada pada iris dataset data frame atau bukan data frame. Target_names dan Features names akan berkolerasi dengan nama atau label untuk setiap target dan featuresnya. DESCR merupakan kependekan dari deskripsi . filename akan berkolerasi dengan lokasi filename projek ini dan yang terakhir data_module adalah modul yang diakses pada sklearn yaitu sklearn.datasets.data.

Deskripsi Dari Sample Dataset

Sample dataset yang kita gunakan dapat teman – teman gali infromasinya melalui link wikipedia. untuk mengakses metadata dari iris dataset adalah dengan cara mengetikan script di bawah ini :

print(iris.DESCR)

hasilnya dapat kita lihat di bawah ini

Dari gambar di atas dapat kita ambil informasi tentang judul dataset, dengan judul Iris plants dataset, number of instances jumlah baris 150 baris terdapat 3 class ( Iris-Setosa, Iris-Versicolour, Iris-Virginica ) di dalam1 class terdapat 50 baris. Number of attributes ada 4 atributes : sepal lenght, sepal width, petal length dan petal widht dengan format ukuran centimeter ( cm ).

Dalam statistik dan Mechine Learning, bias-variance tradeoff sangat penting, terutama dalam pemodelan prediktif dan algoritma Mechine Learning. Untuk meminimalkan kesalahan total, semua model prediktif menghadapi masalah menyeimbangkan bias dan varians, dua kategori kesalahan.
1. Bias:

Bias adalah kesalahan yang disebabkan oleh model yang terlalu sederhana atau asumsi yang salah. Model dengan bias tinggi sering menyebabkan underfitting, yang berarti model tidak bekerja dengan baik pada data latih.
2. Variasi:

Variasi adalah kesalahan yang disebabkan oleh model yang terlalu rumit. Model dengan varians tinggi cenderung overfitting, yang berarti mereka mengambil detail dari data latih yang tidak berhubungan atau bahkan acak. Ini biasanya tidak berlaku.

Bisa juga disederhanakan dengan bahasa yang mudah di pahami :

Bias adalah kesalahan dari asumsi yang terlalu sederhana atau model dengan bias tinggi yang tidak dapat menangkap kompleksitas data (underfitting).

Variance adalah kesalahan dari model yang terlalu rumit atau model dengan varians tinggi yang terlalu sensitif terhadap perubahan data latih.
Untuk membuat model yang akurat, penting untuk menemukan keseimbangan antara keduanya: model terlalu sederhana akan gagal menangkap data dengan baik, dan model terlalu rumit akan tidak umum untuk data baru. Tujuannya adalah menemukan keseimbangan yang tepat agar model dapat berfungsi baik dengan data baru maupun data latih.

sumber gambar : www.fcm.ac.in

Pemodelan prediktif bergantung pada tradeoff antara bias dan varians:

Model yang terlalu sederhana (berbias tinggi) tidak akan bekerja dengan baik karena mereka tidak dapat menangkap kompleksitas dalam data. – Model yang terlalu rumit (bervariasi tinggi) akan bekerja dengan baik pada data latih tetapi gagal dalam memprediksi dengan akurat data baru.

Tujuan pemodelan adalah untuk menemukan keseimbangan yang tepat antara bias dan varians sehingga model dapat berfungsi baik pada data latih dan pada data yang belum terlihat. Ini biasanya memerlukan metode seperti validasi silang dan pemilihan model yang cermat untuk mengevaluasi kinerja model pada berbagai data dan mencegah overfitting atau underfitting.

Apa itu data preprocessing?

Preprocessing data adalah tahap penting dalam pembelajaran mesin dan analisis data yang melibatkan pembersihan atau transformasi data mentah menjadi format yang siap untuk analisis. Tujuannya mencakup meningkatkan kesesuaian data untuk pemodelan, meningkatkan kualitas dan efektivitas model, dan menjamin hasil yang lebih akurat. Dalam kebanyakan kasus, proses ini terdiri dari beberapa langkah utama:

1. Pembersihan Data: Menghilangkan atau memperbaiki data yang rusak, tidak lengkap, atau tidak akurat. Ini dapat mencakup mengisi nilai yang hilang, mengoreksi kesalahan input, dan menghapus outliers.

2. Integrasi Data: Menggabungkan data dari berbagai sumber. Langkah ini menyatukan data dari berbagai sumber atau format menjadi satu set data yang kohesif.

3. Transformasi Data: Mengubah data ke dalam format yang lebih cocok untuk digunakan dalam analisis. Standardisasi, konversi tipe data, dan normalisasi adalah beberapa contohnya.

4. Reduksi Data: Menghasilkan set data yang sama informatifnya sambil mengurangi volumenya. Proses seperti pemilihan fitur, ekstraksi fitur, dan pengurangan dimensi termasuk dalam kategori ini.

5. Kritik dan Binning: Ini adalah proses mengubah variabel numerik menjadi kategorikal. Ini sering digunakan untuk metode yang lebih sederhana atau untuk analisis yang membutuhkan data kategorikal.

6. Encoding Fitur: Mengubah fitur kategorikal menjadi format yang dapat digunakan oleh algoritma pembelajaran mesin Label encoding dan one-hot encoding adalah metode yang umum.

Karena format dan kualitas data mentah seringkali tidak ideal untuk analisis langsung, data preprocessing sangat penting dalam banyak situasi. Proses ini meningkatkan efisiensi, akurasi, dan bias model pembelajaran mesin.

Untuk menjelaskan proses preprocessing data pembelajaran mesin, berikut adalah infografis yang menggambarkan langkah-langkah utama yang biasanya dilakukan:

Pembersihan data adalah proses untuk menghilangkan kesalahan dan mengisi nilai yang hilang. Transformasi data adalah proses untuk normalisasi dan transformasi log.Pengkodean adalah proses mengubah data kategori menjadi bentuk numerik.
Pengurangan Dimensi: Pilih dan ambil fitur
Pemisahan Data: Membagi data menjadi set pengujian dan pelatihan.
Infografis ini bertujuan untuk memberikan pemahaman visual yang jelas tentang proses preprocessing data melalui gambar.

Baca juga artikel menarik tentang Apa itu Machine Learning | Pembelajaran Machine Learning

Apa itu data cleansing dan contohnya ?

Data cleansing, juga dikenal sebagai pembersihan data, adalah proses mengidentifikasi dan memperbaiki (atau menghapus) data yang salah, rusak, tidak lengkap, tidak akurat, atau tidak relevan dari kumpulan data dengan tujuan meningkatkan kualitas data sehingga menjadi lebih akurat dan dapat diandalkan untuk analisis atau pemodelan. Berikut adalah beberapa contoh data cleansing yang umum:

1. Menghilangkan Duplikat: Menghapus entri berulang dalam dataset. Misalnya, jika sebuah dataset pelanggan memiliki entri yang sama untuk satu pelanggan lebih dari satu kali, entri tambahan tersebut akan dihapus.
2. Mengisi Nilai yang Hilang: Mengisi data yang hilang dengan nilai yang masuk akal berdasarkan konteks. Misalnya, jika dataset cuaca kehilangan beberapa suhu setiap hari, nilai ini dapat diisi dengan rata-rata suhu dari hari sebelumnya dan sesudahnya.
3. Mengoreksi Kesalahan Entri: Mengoreksi kesalahan data yang jelas. Sebagai contoh, jika seseorang secara tidak sengaja memasukkan tanggal lahir “2024”, yang tidak mungkin, ini dapat dikoreksi atau dihapus menggunakan informasi lain.
4. Menghilangkan atau Mengganti Data yang Tidak Konsisten: Menemukan dan memperbaiki ketidaksesuaian dalam format data, seperti perbedaan dalam format tanggal (misalnya, “DD/MM/YYYY” daripada “MM/DD/YYYY”) atau penulisan (misalnya, “USA” daripada “United States”).
5. Menangani Data Outlier: Menemukan dan memeriksa data yang secara signifikan berbeda dari sebagian besar data dalam set. Outlier ini mungkin perlu dihapus atau disesuaikan karena kesalahan pengukuran atau entri yang salah.
6. Standardisasi Data: Memastikan bahwa semua data memiliki format yang konsisten. Misalnya, ubah semua nama menjadi huruf besar-huruf kecil. Jadi, bukan lagi “JOHN DOE” atau “john doe”.

Untuk memastikan bahwa keputusan dan analisis yang dibuat berdasarkan kumpulan data akurat dan dapat diandalkan, proses pembersihan data merupakan langkah penting dalam proses analisis data.

1. Mengurangi Overfitting: Cross-validation membantu mengetahui seberapa banyak model ANN mengoverfitting data latih. Kita dapat memastikan bahwa model tidak hanya belajar pola tertentu dari satu set data saja dengan membagi data menjadi beberapa set dan melatih model secara berulang pada set-set tersebut.

2. Estimasi Kinerja Model yang Lebih Akurat: Menguji model dengan menggunakan set data yang lebih kecil memungkinkan kita membuat perkiraan yang lebih baik tentang bagaimana model akan berfungsi dengan data yang belum pernah kita lihat sebelumnya.

3. Pengujian Kekuatan Model: Model ANN diuji pada berbagai kondisi data melalui cross-validation, yang membantu menilai ketangguhan model dalam menangani variasi data.

4. Memilih Model dan Set Parameter Terbaik: Cross-validation dapat digunakan untuk membandingkan kinerja berbagai arsitektur ANN atau untuk menentukan set parameter yang paling cocok untuk model.

5. Generalisasi yang Lebih Baik: Kemungkinan bahwa model akan berfungsi dengan baik pada data umum, bukan hanya pada data yang digunakan saat pelatihan, meningkat dengan memvalidasi model secara menyeluruh.

Secara keseluruhan, cross-validation adalah alat penting dalam pembelajaran mesin untuk memastikan bahwa model ANN yang dikembangkan tidak hanya mampu menggeneralisasi dengan baik pada data baru, tetapi juga berkinerja tinggi pada data latihan.

sumber : cross validated

Apakah Evaluasi Bisa Dinilai Berdasarkan Model Yang Telah Konvergensi ?

Meskipun evaluasi model Artificial Neural Network (ANN) yang telah konvergensi sangat penting, ada beberapa hal yang perlu diperhatikan:

1. Konvergensi Tidak Selalu Menandakan Kinerja Optimal: Meskipun model ANN dapat konvergen, yang berarti tidak ada peningkatan yang signifikan dalam proses pembelajaran, ini tidak selalu menandakan kinerja optimal; model mungkin konvergen pada minimum lokal atau mengalami overfitting.

2. Pentingnya Evaluasi Eksternal: Sebaik-baiknya, evaluasi model konvergen dilakukan dengan data yang tidak terlibat dalam proses pelatihan, seperti data validasi atau pengujian. Ini dilakukan untuk mengetahui seberapa baik model tersebut menggeneralisasi pengetahuan yang telah dipelajarinya ke data baru.

3. Penggunaan Metrik Evaluasi yang Tepat: Saat melakukan evaluasi model konvergen, sangat penting untuk menggunakan metrik evaluasi yang terkait dengan masalah yang ingin diselesaikan. Misalnya, sementara akurasi mungkin penting untuk klasifikasi, mean squared error mungkin lebih penting untuk regresi.

4. Analisis Kinerja Komprehensif: Evaluasi harus mempertimbangkan berbagai aspek kinerja model. Ini termasuk kemampuan untuk menangani data yang tidak seimbang, ketahanan terhadap suara, dan kecepatan membuat prediksi.

5. Evaluasi Berkelanjutan: Terkadang, model yang telah konvergen dan dievaluasi satu kali mungkin tidak berfungsi dengan baik di kemudian hari karena perubahan dalam data atau konteks. Karena itu, penting untuk melakukan evaluasi berkelanjutan.

Oleh karena itu, meskipun konvergensi model merupakan sinyal penting bahwa proses pelatihan telah mencapai titik stabilitas, evaluasi kinerja model harus terus dilakukan dengan metode yang tepat untuk memastikan bahwa model tetap relevan dan efektif dalam menghadapi situasi dan data baru.

Baca Juga artikel menarik tentang AI Membantu Penemuan Obat: Chatbot dan Pencarian yang Revolusioner

Apa itu Machine Learning atau sering kita sebut dengan ML. Penjelasan para ahli tentang Machine Learning adalah:

1. Arthur Samuel ” Machine Learning is a study that gives computer the ability to learn without being explicitly programmed “.  Arthur Samuel adalah seorang komputer scientist yang berpendapat bahwa Machine Learning suatu bidang ke ilmuan yang memampukan suatu komputer untuk belajar tanpa secara explicit kita program.
2. Tom Mithcell ” Machine Learning is a program can be said to learn from experience E with respect to some class T and performance measure P, if its performance at tasks in T, as measured by P, improves with E “. Penjalasan dari Tom Mitchcell juga dari seorang komputer scientist bahwa Machine Learning adalah sebuah program yang belajar dari sebuah pengalaman terhadap sebuah tugas tertentu dimana peformanya bisa di ukur, dimana nilai performanya dapat meningkat seiring dengan peningkatan pengalamanya  dalam menyelesaikan tugasnya.
3. Dapat juga disimpulkan bahwa Machine Learning adalah bidang ilmu yang memampukan suatu program komputer untuk belajar  dari sekumpulan data.

Learning Problem Machine Learning

Learning probelem dalam konteks Machine Learning menyertakan suatu dataset (terdiri dari jumlah n sampel data) untuk melakukan prediksi terhadap properties yang tidak dikethaui pada dataset lain yang sejenis. Secara umum learning problem pada machine learning dibagi menjadi dua bagian yaitu :

Supervised Learning adalah program memprediksi suatu nilai output untuk suatu input berdasarkan proses learning dengan memanfaatkan sekumpulan data yang terbagi dalam dua tabel, yaitu input dan output. Dimana program melakukan learning dari sekumpulan contoh kasus ( examples ) yang menyertakan jawaban benar.

Unsupervised Learning adalah program tidak melakukan learning dari labeled data, melainkan mencoba menemukan pola (patterns ) pada data. Disini program melakukan learning dari sekumpulan contoh kasus (exmaples ) tanda disertai jawaban benar.

Terminologi Dasar Pada Supervised Learning

• Output istilah outuput ini juga dikenal dengan istilah lainnya diantaranya : label, response variable, dependent variable, regressand, criterion variable, measured variable, responding variable, explained variable, outcome variable, experimental variable dan output variable.
• Input serupa dengan outuput, input juga mengenal istilah lainya diantaranya : features, explanatory variable, predictors, regressors, controlled variable, dan exposure variables.
• Traning Set : sekumpulan contoh yang dgunakna untuk proses learning ( training ) pada supervised learning.
• Test set : sekumpulan contoh yang digunakan untuk mengukur performa pada supervised learning.
• pada supervised learning, response variable bisa dianalogikan sebagai kunci jawaban dan explanatory variable bisa dianalogikan sebagai pertanyaannya.

Supervised Machine Learning Tasks

Secara umum terdapat dua jenis supervised machine learning task yaitu :

1. Classification task : menekankan pada proses learning ( training ) untuk melakukan prediksi nilai discrete ( category, class, label ) dari sejumlah features. berfokus pada categori, class, label
2. Regression Tasks : menekankan pada proses learning ( training ) untuk melakukan prediksi nilai continous ( floating point ) dari sejumlah features. fokus pada floating point.

Unsupervised Machine Learning Tasks

Secara umum terdapat dua jenis unsupervised machine learning task yaitu :

1. Clustering task : Menekankan pada proses explorasi data untuk menemukan kelompok ( grup ) pada daa berdasarkan kemiripan ( kedekatan ) karakteristik.
2. Dimensionality Reduction Task : menekankan pada proses explorasi data untuk menemukan sejumlah features yang paling berdampak terhadap response variable.

Rekomendasi Buku dan Belajar Online

• Machine Learning Yearning oleh Prof. Andrew Ng cocok untuk pemula dan dikemas dengan sederhana sekali
• The Hundred-page Machine Learning Book oleh Andri Burkov dimana buku ini mencoba mengulas model machine learning, untuk memahami buku yang baik disarankan untuk belajar tentang ilmu matematika.
• Learnng from data oleh Yaser S. Abu-Mostofa, buku ini banyak di temukan di perpustakaan kampus, banyak di adopsi oleh universitas di dunia.
• Channel Youtube Belajar, yang sangat bermanfaat bagi pemula untuk belajar secara langsung tentang ilmu machine learning disertai dengan contoh kasus sederhana dan mudah di pahamai bagi pemula.

Kemampuan yang perlu dipersiapkan dalam pembelajaran ML

1. Pemograman Pyton
2. Struktur Data Pyton
3. Python Pandas
4. Pyton Matplotlib
5. Statistika Deskriptif
6. Probalitas