Pembelajaran dengan Pengawasan Mandiri: Apa Itu dan Bagaimana Cara Kerjanya

Pembelajaran dengan pengawasan mandiri, sebuah teknik mutakhir dalam kecerdasan buatan, memberdayakan mesin untuk menemukan pola dan struktur intrinsik dalam data, meniru kemampuan manusia untuk belajar dari konteks dan pengalaman, bukan melalui instruksi eksplisit.

Daftar isi

• Apa itu pembelajaran dengan pengawasan mandiri?
• Diawasi sendiri dibandingkan dengan jenis pembelajaran mesin lainnya
• Cara kerja pembelajaran dengan pengawasan mandiri
• Jenis pembelajaran yang diawasi sendiri
• Penerapan pembelajaran mandiri
• Keuntungan dari pembelajaran yang diawasi sendiri
• Kerugian dari pembelajaran yang diawasi sendiri

Apa itu pembelajaran dengan pengawasan mandiri?

Pembelajaran dengan pengawasan mandiri adalah jenis pembelajaran mesin (ML) yang melatih model untuk membuat labelnya sendiri—yaitu, memasangkan masukan dan keluaran secara eksplisit—menggunakan data mentah yang tidak berlabel. Tidak seperti pembelajaran yang diawasi, yang memerlukan sejumlah besar data berlabel, pembelajaran yang diawasi mandiri menghasilkan label semu (label buatan) dari data itu sendiri. Teknik ini memberikan model orientasi tujuan dan keterukuran pendekatan pembelajaran yang diawasi, ditambah kemampuan pembelajaran tanpa pengawasan untuk membuat kesimpulan yang berguna dari sejumlah besar data yang tidak berlabel.

Pembelajaran mesin adalah bagian dari kecerdasan buatan (AI) yang menggunakan data dan metode statistik untuk membangun model yang meniru pemikiran manusia daripada mengandalkan instruksi yang dikodekan secara keras. Pembelajaran dengan pengawasan mandiri memanfaatkan sejumlah besar data tak berlabel yang tersedia, menjadikannya pendekatan yang ampuh untuk meningkatkan performa model dengan intervensi manual yang minimal. Faktanya, model teks dan gambar AI generatif saat ini sebagian besar dilatih menggunakan pembelajaran yang diawasi mandiri.

Diawasi sendiri dibandingkan dengan jenis pembelajaran mesin lainnya

Pembelajaran dengan pengawasan mandiri menggabungkan unsur-unsur pembelajaran yang diawasi dan tidak diawasi, tetapi berbeda dari pembelajaran semi-supervisi:

• Pembelajaran yang diawasi: Menggunakan data berlabel untuk melatih model untuk tugas tertentu seperti klasifikasi dan regresi. Label memberikan panduan eksplisit, sehingga model dapat membuat prediksi yang akurat. Aplikasi umum mencakup deteksi spam, klasifikasi gambar, dan perkiraan cuaca.
• Pembelajaran tanpa pengawasan: Bekerja dengan data tidak berlabel untuk menemukan pola dan pengelompokan. Ini mengidentifikasi cluster dan asosiasi serta mengurangi kompleksitas data untuk memudahkan pemrosesan. Contohnya termasuk segmentasi pelanggan, sistem rekomendasi, dan deteksi anomali.
• Pembelajaran semi-supervisi:Menggunakan sejumlah kecil data berlabel untuk memberikan panduan awal dan kemudian memanfaatkan satu atau lebih kumpulan data tidak berlabel yang lebih besar untuk menyempurnakan dan menyempurnakan model. Pendekatan ini sangat berguna ketika Anda memiliki beberapa data berlabel, namun akan terlalu sulit atau mahal untuk menghasilkan cukup data untuk pembelajaran yang diawasi sepenuhnya.
• Pembelajaran yang diawasi sendiri:Menggunakan data mentah untuk menghasilkan labelnya sendiri, sehingga model dapat belajar dari data tersebut tanpa data berlabel awal apa pun. Pendekatan ini sangat berguna ketika data berlabel tidak tersedia sama sekali atau hanya sebagian kecil dari data yang tersedia, misalnya dengan pemrosesan bahasa alami (NLP) atau pengenalan gambar.

Cara kerja pembelajaran dengan pengawasan mandiri

Pengawasan diri berarti data itu sendiri memberikan jawaban yang benar. Proses pembelajaran dengan pengawasan mandiri melibatkan beberapa langkah, menggabungkan aspek metode yang diawasi dan tidak diawasi:

Pengumpulan data:Kumpulkan sejumlah besar data mentah dan tidak berlabel. Data ini menjadi dasar untuk membuat label semu dan melatih model. Banyak kumpulan data tersedia secara gratis.

1. Pra-pemrosesan:Mempersiapkan data untuk memastikan kualitas. Langkah ini mencakup penghapusan duplikat, penanganan nilai yang hilang, dan normalisasi rentang data.
2. Pembuatan tugas:Membuat teka-teki untuk dipecahkan oleh model, yang dikenal sebagai tugas dalih. Ini dibuat dengan menghapus atau mengacak bagian data, seperti menghapus kata, menghapus piksel gambar, atau mengacak bingkai video. Apa pun yang ada sebelum korupsi yang disengaja ini dikenal sebagai label semu: sebuah “jawaban yang benar” yang dibuat dari data itu sendiri, bukan dari pelabelan manusia.
3. Pelatihan:Latih model dengan tugas dalih menggunakan label semu yang dihasilkan. Artinya model mencoba menghasilkan jawaban yang benar, membandingkan jawabannya dengan label semu, menyesuaikan, dan mencoba lagi untuk menghasilkan jawaban yang benar. Fase ini membantu model memahami hubungan dalam data dan pada akhirnya menciptakan pemahaman kompleks tentang hubungan antara masukan dan keluaran.
4. Penyempurnaan:Alihkan model untuk belajar dari kumpulan data berlabel yang lebih kecil guna meningkatkan performanya pada tugas tertentu. Langkah ini memastikan model memanfaatkan representasi yang dipelajari selama fase pelatihan awal. Penyempurnaan tidak sepenuhnya diperlukan, namun biasanya akan memberikan hasil yang lebih baik.
5. Evaluasi:Menilai performa model pada data yang belum dilihatnya. Dengan menggunakan metrik standar yang relevan dengan tugas tersebut, seperti skor F1, evaluasi ini memastikan bahwa model dapat digeneralisasi dengan baik pada data baru.
6. Penerapan dan pemantauan:Menerapkan model terlatih dalam aplikasi dunia nyata dan terus memantau kinerjanya. Perbarui model dengan data baru sesuai kebutuhan untuk menjaga keakuratan dan relevansinya.

Jenis pembelajaran yang diawasi sendiri

Pembelajaran dengan pengawasan mandiri mencakup berbagai jenis, masing-masing dengan berbagai teknik dan pendekatan. Di sini, kita akan mengeksplorasi beberapa jenis, menyoroti metode pelatihan uniknya dan memberikan satu atau dua contoh representatif untuk masing-masing jenis.

Untuk gambar

• Pembelajaran prediktif mandiri:Pembelajaran prediktif mandiri melibatkan teknik seperti pengkodean otomatis, di mana model belajar mengompresi informasi menjadi bentuk yang lebih sederhana dan kemudian membuat ulang data asli darinya. Dalam pemrosesan gambar, hal ini sering kali berarti merusak bagian gambar secara selektif (misalnya, dengan menutupi bagian tersebut) dan melatih model untuk merekonstruksi gambar asli. Hal ini membantu model mengenali objek dengan lebih baik dalam berbagai posisi, ukuran, dan bahkan saat tersembunyi sebagian.
• Pembelajaran kontrastif:Dalam pembelajaran kontrastif, model belajar membedakan gambar yang serupa dan berbeda dengan membandingkannya secara berpasangan atau berkelompok. Misalnya, metode SimCLR menggunakan augmentasi gambar (seperti memotong, mendistorsi, dan membalik) untuk membuat pasangan pelatihan. Pasangan positif dibuat dengan menerapkan perubahan berbeda pada gambar yang sama, sedangkan pasangan negatif berasal dari gambar berbeda. Model kemudian mempelajari ciri-ciri apa yang umum pada pasangan serupa dan berbeda pada pasangan berbeda.
• Metode berbasis clustering:Metode berbasis clustering mengelompokkan titik data serupa dan menggunakan cluster ini sebagai label semu untuk pelatihan. Misalnya, DeepCluster mengelompokkan gambar berdasarkan fitur serupa dan menggunakan kluster ini untuk melatih model. Prosesnya bergantian antara pengelompokan dan pelatihan hingga model berkinerja baik. SwAV (Swapping Assignments Between Views) menyempurnakan hal ini dengan menggunakan beberapa versi gambar yang sama untuk membantu model mempelajari fitur-fitur penting yang tetap konstan, seperti tepi, tekstur, dan posisi objek.

Untuk teks

• Pembelajaran prediktif mandiri:Ini adalah mekanisme pelatihan inti model bahasa besar (LLM), yang memahami teks sebagai serangkaian token. Ini biasanya mewakili satu kata tetapi terkadang merupakan bagian dari sebuah kata atau sekelompok kata.
  • Model bahasa bertopeng (MLM):Ini menunjukkan kalimat dengan beberapa token hilang dan bertugas memprediksi kata-kata yang hilang. Dengan mempelajari cara mengisi kekosongan ini, MLM mengembangkan representasi menyeluruh dari struktur bahasa dan konteks, dan mereka dapat mempertimbangkan konteks keseluruhan masukan saat membuat prediksi. Keluaran yang berguna, seperti analisis sentimen atau pengenalan entitas bernama, dikembangkan melalui penyesuaian. Contoh utama adalah BERT, yang digunakan Google untuk memahami maksud permintaan pencarian.
  • Model bahasa kausal (CLM):Model generatif seperti ChatGPT, Claude, dan Gemini belajar membuat ulang teks yang telah mereka lihat dengan memprediksi satu kata dalam satu waktu, berdasarkan token sebelumnya. Setelah dilatih, mereka memperlakukan teks masukan sebagai konteks prediksi mereka dan terus membuat prediksi dengan setiap token baru yang mereka hasilkan. Prediksi berurutan inilah yang menyebabkan keluarannya tampak mengetik sendiri dan bukannya muncul sekaligus.
• Pembelajaran kontrastif:Pendekatan ini membandingkan pasangan sampel teks, menekankan perbedaan dan persamaan di antara keduanya. SimCSE membuat dua versi yang sedikit berbeda dari kalimat yang sama dengan menerapkan dropout, yang secara acak mengabaikan bagian representasi kalimat di lapisan tersembunyi selama pelatihan (lihat selengkapnya tentang lapisan tersembunyi di postingan kami tentang pembelajaran mendalam). Model belajar mengenali versi-versi ini sebagai versi yang serupa. Teknik ini meningkatkan kemampuan model untuk memahami dan membandingkan kalimat, sehingga berguna untuk aplikasi seperti menemukan kalimat serupa atau mengambil informasi relevan untuk kueri penelusuran.
• Prediksi kalimat berikutnya (NSP):Seperti namanya, NSP melibatkan prediksi apakah kalimat tertentu merupakan kalimat berikutnya dari kalimat lain dalam dokumen, membantu model memahami hubungan antara kalimat dan alur teks yang logis. Ini biasanya digunakan bersama MLM untuk meningkatkan pemahamannya tentang teks yang lebih besar. Misalnya, dalam BERT NSP, model memprediksi apakah dua kalimat muncul secara berurutan dalam teks aslinya.

Penerapan pembelajaran mandiri

Pembelajaran dengan pengawasan mandiri memiliki beragam penerapan di berbagai domain:

• Pemrosesan bahasa alami:Model seperti BERT dan GPT-3 menggunakan pembelajaran mandiri untuk memahami dan menghasilkan bahasa manusia dalam aplikasi seperti chatbots, terjemahan, dan peringkasan teks.
• Visi komputer:Pembelajaran dengan pengawasan mandiri meningkatkan analisis gambar dan video dengan menghasilkan label semu dari data visual mentah. Kegunaannya meliputi deteksi objek (seperti pada kamera bel pintu), pengenalan wajah, dan pembuatan klip otomatis dari video berdurasi panjang.
• Pengenalan ucapan:Model yang diawasi sendiri meningkatkan sistem pengenalan ucapan dengan belajar dari sejumlah besar data audio yang tidak berlabel. Pendekatan ini mengurangi kebutuhan akan transkripsi manual dan meningkatkan akurasi di berbagai aksen dan dialek.
• Layanan Kesehatan:Pembelajaran dengan pengawasan mandiri membantu meningkatkan analisis citra medis, penemuan obat, dan pemantauan pasien dengan memanfaatkan kumpulan data besar dengan contoh berlabel minimal. Hal ini meningkatkan keakuratan deteksi penyakit dan rekomendasi pengobatan tanpa memerlukan pelabelan manusia yang ekstensif dan mahal.
• Robotika:Robot menggunakan pembelajaran yang diawasi sendiri untuk memahami lingkungannya dan meningkatkan proses pengambilan keputusan. Kegunaannya meliputi navigasi otonom, manipulasi objek, dan interaksi manusia-robot.

Keuntungan dari pembelajaran yang diawasi sendiri

• Hemat biaya:Mengurangi kebutuhan akan data berlabel yang ekstensif, menurunkan biaya anotasi dan upaya manusia.
• Skalabilitas:Dapat menangani kumpulan data yang besar, sehingga cocok untuk aplikasi dunia nyata di mana data berlabel terbatas tetapi data tidak berlabel berlimpah.
• Generalisasi:Jika dilatih dengan data mentah yang cukup, model dapat belajar cukup banyak untuk melakukan tugas baru meskipun model tidak dilatih pada data yang relevan secara langsung. Misalnya, model NLP berdasarkan satu bahasa dapat digunakan untuk meningkatkan pembelajaran bahasa lain.
• Fleksibilitas:Dapat beradaptasi dengan beragam tugas dan domain, dengan banyak subtipe tersedia untuk memenuhi kebutuhan tertentu.

Kerugian dari pembelajaran yang diawasi sendiri

• Kompleksitas:Membuat tugas dalih yang efektif dan menghasilkan label semu memerlukan desain dan eksperimen yang cermat.
• Sensitivitas kebisingan:Label palsu yang dihasilkan dari data mentah mungkin tidak relevan dengan sasaran, sehingga berpotensi memengaruhi performa dengan memberikan terlalu banyak masukan yang tidak perlu untuk diproses pada model.
• Sumber daya komputasi:Melatih model yang diawasi sendiri, terutama dengan kumpulan data yang besar, memerlukan daya dan waktu komputasi yang signifikan.