Pembelajaran Transfer: Pintasan ke Pengembangan AI yang Lebih Cerdas, Lebih Cepat

Menggunakan kembali dan mengadaptasi model AI pra-terlatih mengubah bagaimana tugas pembelajaran mesin (ML) didekati. Transfer Learning adalah metode yang efisien dan hemat biaya untuk mengadaptasi sistem AI besar dan kompleks dengan domain dan masalah baru. Dalam panduan ini, kami akan mengeksplorasi aspek -aspek utama dari pembelajaran transfer: cara kerjanya, berbagai jenis dan aplikasinya, dan keunggulan serta tantangannya.

Daftar isi

• Apa itu Transfer Learning?
• Bagaimana cara kerja pembelajaran transfer?
• Transfer Pembelajaran vs. Fine-tuning
• Jenis Pembelajaran Transfer
• Manfaat Transfer Pembelajaran
• Tantangan Pembelajaran Transfer
• Aplikasi Pembelajaran Transfer

Apa itu Transfer Learning?

Transfer Learning adalah teknik pembelajaran mesin yang kuat yang memanfaatkan model pra-terlatih untuk tugas yang berbeda tetapi terkait. Ini menggunakan pengetahuan umum yang ditangkap dalam model yang ada sebagai fondasi untuk belajar bagaimana menyelesaikan masalah dalam domain terkait yang lebih spesifik.

Transfer Learning menawarkan beberapa keunggulan: Ini mempercepat pengembangan dan penyebaran aplikasi kecerdasan buatan yang disesuaikan (AI), menurunkan biaya sumber daya, dan seringkali memberikan kinerja yang lebih baik daripada membangun model dari awal. Akibatnya, pembelajaran transfer sangat berharga bagi organisasi yang bertujuan untuk mengembangkan solusi AI khusus tanpa sejumlah besar data atau kekuatan komputasi yang biasanya diperlukan untuk melatih model dari awal.

Contoh Pembelajaran Transfer

Pertimbangkan contoh produsen yang ingin membuat sistem AI untuk mendeteksi cacat produk. Salah satu opsi adalah menyewa praktisi ML khusus, mengumpulkan dan mengkuratori jutaan gambar produk yang relevan, dan menyisihkan waktu dan sumber daya komputasi yang diperlukan untuk melatih model dari awal. Transfer Learning menyajikan opsi yang jauh lebih baik: Produsen dapat memulai dengan model yang telah menyelesaikan pelatihan yang mahal dan memakan waktu pada dataset gambar yang besar dan standar, seperti ImageNet. Pabrikan kemudian dapat menggunakan transfer pembelajaran dengan cepat dan efisien untuk mengadaptasi model untuk mendeteksi cacat pada gambar produk tertentu.

Bagaimana cara kerja pembelajaran transfer?

Transfer Learning mengadaptasi pengetahuan umum model pra-terlatih dengan tugas baru yang terkait. Proses ini biasanya melibatkan tiga langkah kunci:

• Memilih model pra-terlatih yang sesuai
• Memperbarui arsitektur model
• Melatih model pada data baru

1. Pilih model pra-terlatih

Langkah pertama adalah memilih model yang telah dilatih pada dataset dalam domain yang terkait dengan tugas target. Model pra-terlatih seharusnya mempelajari fitur umum dan tingkat tinggi yang relevan dengan aplikasi baru.

• Contoh dalam perawatan kesehatan:Organisasi perawatan kesehatan dapat dimulai dengan model yang sudah dilatih sebelumnya pada dataset NIH (National Institutes of Health) Chespes-Ray14, yang berisi koleksi besar gambar medis berlabel. Model ini akan mempelajari fitur-fitur umum seperti bagaimana gambar sinar-X terstruktur dan bagaimana sifat biologis berkorelasi dengan komponen gambar. Model ini dapat berfungsi sebagai dasar untuk mengembangkan alat diagnostik untuk kondisi tertentu yang terletak di area dada dan terlihat pada gambar sinar-X, seperti pneumonia atau kanker paru-paru.
• Contoh dalam Keuangan:Perusahaan keuangan mungkin menggunakan Finbert, model yang terlatih pada dokumen keuangan, panggilan pendapatan, dan pengajuan peraturan. Model ini akan mempelajari fitur -fitur umum seperti struktur bahasa keuangan dan istilah spesifik yang menunjukkan sentimen pasar dan kinerja bisnis. Model Finbert dapat berfungsi sebagai fondasi untuk fungsionalitas yang lebih khusus, seperti secara otomatis penandaan tentang pernyataan dalam laporan pendapatan.

Memilih model pra-terlatih yang tepat melibatkan memastikan bahwa pelatihan aslinya selaras dengan aplikasi yang dimaksud, karena ini meningkatkan kemungkinan adaptasi yang berhasil.

2. Memodifikasi Arsitektur Model

Setelah model pra-terlatih yang cocok dipilih, arsitekturnya disesuaikan dengan tugas baru. Langkah ini biasanya termasuk:

• Mengganti lapisan output:Lapisan akhir dari model pra-terlatih, dirancang untuk tugas asli, dihapus dan diganti dengan lapisan khusus tugas baru (misalnya, lapisan yang sepenuhnya terhubung untuk klasifikasi).
• Mempertahankan fitur umum:Lapisan dalam, yang menangkap pola yang dapat digeneralisasikan seperti tepi dalam gambar atau hubungan linguistik dalam teks, sering dipertahankan. Fitur -fitur ini dapat ditransfer secara efektif ke tugas terkait.

Tingkat modifikasi arsitektur tergantung pada kasus penggunaan spesifik dan tingkat kesamaan antara sumber dan tugas target.

3. Melatih model pada data baru

Pada langkah terakhir, model yang dimodifikasi dilatih pada dataset yang disesuaikan dengan tugas baru. Langkah ini dapat didekati dengan dua cara utama, tergantung pada ukuran dataset dan kesamaan antara tugas:

• Ekstraksi fitur:
  • Hanya lapisan yang baru ditambahkan yang dilatih, sedangkan lapisan asli tetap tidak berubah.
  • Metode ini sangat ideal ketika tugas baru terkait erat dengan tugas asli atau ketika dataset target kecil.
• Fine-tuning:
  • Seluruh model dilatih kembali tetapi dengan dataset yang lebih kecil dan laju pembelajaran untuk menghindari kehilangan fitur berharga yang dipelajari selama fase pra-pelatihan.
  • Pendekatan ini lebih cocok untuk set data besar atau ketika tugas baru berbeda secara signifikan dari tugas asli.

Terlepas dari pendekatannya, tujuannya adalah untuk mengekspos model ke data yang cukup relevan, memungkinkannya untuk belajar dan menggeneralisasi untuk aplikasi baru secara efektif.

Transfer Pembelajaran vs. Fine-tuning

Transfer Learning sering bingung dengan penyesuaian. Sementara konsep -konsep tersebut terkait erat, ada perbedaan penting. Yang paling penting, Transfer Learning adalah proses keseluruhan untuk mengadaptasi model pra-terlatih untuk tujuan baru dan mungkin atau mungkin tidak melibatkan penyesuaian. Di sisi lain, penyempurnaan adalah salah satu dari beberapa teknik yang digunakan untuk melatih kembali beberapa atau semua parameter model sebagai bagian dari proses pembelajaran transfer keseluruhan. Fine-tuning bukan hanya sebagian dari pembelajaran transfer; Ini memiliki aplikasi dalam konteks lain di ML di luar pembelajaran transfer, seperti meningkatkan kinerja model pada subkelompok data tertentu atau mengadaptasi model untuk menggeser distribusi data.

Selain itu, pembelajaran transfer biasanya membutuhkan perubahan aktual pada arsitektur model, seperti menghapus dan mengganti lapisan yang ada atau merestrukturisasi koneksi antar lapisan. Sebaliknya, fine-tuning umumnya melibatkan penyesuaian parameter kecil yang tepat tanpa perubahan signifikan pada arsitektur.

Pikirkan pembelajaran transfer sebagai merenovasi bangunan yang dirancang untuk satu tujuan sehingga dapat digunakan untuk yang lain, seperti mengubah garasi menjadi apartemen. Ini kemungkinan akan melibatkan pembaruan struktural seperti menginstal Windows dan isolasi atau bahkan menambahkan kamar baru dan koneksi utilitas. Fine-tuning, di sisi lain, lebih seperti menggunakan garasi sebagai ruang kerja tambahan tanpa membuat perubahan besar pada struktur. Misalnya, lampu mungkin diganti, dan rak -rak baru mungkin ditambahkan, tetapi keseluruhan struktur dan arsitektur garasi tetap tidak berubah.

Jenis Pembelajaran Transfer

Transfer Learning dapat mengambil beberapa bentuk, masing -masing cocok untuk skenario tertentu. Jenis yang sesuai tergantung pada faktor -faktor seperti ketersediaan data berlabel dalam domain target, kesamaan antara tugas sumber dan target, dan persyaratan bisnis tertentu. Jenis utama pembelajaran transfer adalah pembelajaran transfer induktif,pembelajaran transfer transduktif, danpembelajaran transfer yang tidak diawasi. Selain itu, pendekatan modern sepertipembelajaran beberapa shotdanpembelajaran nol-shotsering memanfaatkan teknik pembelajaran transfer.

Pembelajaran transfer induktif

Pembelajaran transfer induktif adalah jenis pembelajaran transfer yang paling umum dan digunakan ketika tugas target dan sumber terkait erat dan sangat berbeda.

Contoh:Organisasi layanan kesehatan dapat menggunakan transfer pembelajaran untuk mengadaptasi model yang dilatih untuk mengklasifikasikan gambar MRI umum untuk mendeteksi kondisi otak tertentu.

Dalam skenario ini, kemampuan pengenalan visual umum model sumber transfer dengan baik ke tugas target, tetapi diberi label data dalam domain target diperlukan. Pembelajaran transfer sangat efektif untuk tugas -tugas di mana label baru tersedia, tetapi tugas itu sendiri berbeda dari (dan biasanya versi yang lebih khusus dari) sumbernya.

Pembelajaran transfer transduktif

Dalam pembelajaran transfer transduktif, tugas sumber dan targetnya sama, tetapi domain masalahnya berbeda.

Contoh:Filter spam yang dilatih pada email berbahasa Inggris dapat disesuaikan untuk mengklasifikasikan email Prancis. Dalam skenario ini, pengenalan pola teks model sumber dan pemahaman tentang transfer struktur email dengan baik ke tugas target, bahkan jika kosakata dan pola bahasa berbeda. Tugas (klasifikasi email) tetap tidak berubah, tetapi data (bahasa) berbeda. Pendekatan ini berguna ketika domain sumber memiliki data berlabel yang berlimpah dan domain target memiliki sedikit atau tidak sama sekali.

Pembelajaran transfer tanpa pengawasan

Pembelajaran transfer yang tidak diawasi digunakan ketika data berlabel tidak tersedia di domain target. Secara umum, jenis pembelajaran transfer ini digunakan untuk melatih model untuk melakukan tugas -tugas tanpa pengawasan seperti pengelompokan atau pengurangan dimensi.

Contoh:Organisasi TI dapat menggunakan pembelajaran transfer tanpa pengawasan untuk membantu sistem deteksi ancaman bertenaga AI mengidentifikasi jenis ancaman baru tanpa contoh berlabel.

Dalam hal ini, model dapat mentransfer pemahaman umum tentang pola normal versus ancaman potensial ke jenis ancaman baru yang sebelumnya tidak diketahui.

Pembelajaran beberapa shot

Beberapa-shot Learning (FSL) adalah teknik ML yang menggunakan pembelajaran transfer untuk membantu model belajar dari data yang sangat terbatas. Di FSL, model belajar melakukan tugas atau klasifikasi baru hanya menggunakan beberapa contoh.

Contoh:Model pengenalan wajah dapat mengidentifikasi individu baru berdasarkan hanya satu atau dua foto.

Pembelajaran Zero-Shot

Zero-shot Learning (ZSL) adalah teknik ML yang membantu model belajar kelas baru yang tidak terlihat dalam pelatihan. ZSL sering menggunakan konsep pembelajaran transfer tetapi bergantung pada hubungan semantik dan informasi tambahan untuk menggeneralisasi pengetahuan yang dipelajari ke kategori baru.

Contoh:Model mungkin belajar mengenali nila berdasarkan pemahamannya tentang jenis ikan lainnya dan pengetahuannya bahwa nila adalah jenis ikan meskipun tidak pernah melihat nila selama pelatihan.

Manfaat Transfer Pembelajaran

Transfer Learning memberikan beberapa keuntungan bagi organisasi yang ingin mengembangkan solusi AI yang disesuaikan. Ini termasuk berkurangnya persyaratan pengembangan dan sumber daya, kinerja yang baik dengan data terbatas, dan ketahanan model yang lebih baik.

Mengurangi kebutuhan pengembangan dan sumber daya

Transfer Learning adalah cara yang bagus untuk secara bersamaan mempersingkat siklus pengembangan dan mengurangi persyaratan sumber daya untuk aplikasi AI. Membangun model dari awal melibatkan pengumpulan, pembersihan, dan label data - dan itu sebelum pelatihan bahkan dapat dimulai. Dengan pembelajaran transfer, pengembangan dan penyebaran menjadi masalah minggu atau bahkan beberapa hari, bukan bulan. Melatih model dari awal seringkali membutuhkan waktu dan daya komputasi yang signifikan, sedangkan pembelajaran transfer tidak. Ini berarti bahwa organisasi dapat membawa solusi AI mereka ke pasar lebih cepat dan dengan overhead yang lebih sedikit.

Kinerja yang baik dengan data terbatas

Transfer Learning memungkinkan model untuk berkinerja baik, bahkan dengan set data pelatihan terbatas. Ini sangat berguna untuk organisasi di bidang khusus, seperti manufaktur atau perawatan kesehatan, di mana data berlabel sulit ditemukan atau mahal untuk didapat. Misalnya, organisasi layanan kesehatan mungkin hanya memiliki beberapa ratus contoh kondisi medis tertentu tetapi dapat menggunakan pembelajaran transfer untuk membangun sistem deteksi kinerja.

Ketahanan dan keandalan model yang ditingkatkan

Meskipun mungkin tampak tidak intuitif, model yang dilatih melalui pembelajaran transfer sering menggeneralisasi lebih baik daripada model yang dilatih dari awal pada data terbatas. Ini karena set data skala besar yang digunakan untuk pra-pelatihan memberikan beragam pola dan fitur yang dapat digeneralisasikan ke domain dan tugas yang lebih spesifik. Selain itu, dimulai dengan model yang sudah diuji mengurangi risiko kegagalan model dan meningkatkan keandalan. Penurunan risiko pengurangan ini penting dalam industri yang diatur seperti perawatan kesehatan dan keuangan.

Tantangan Pembelajaran Transfer

Terlepas dari banyak manfaatnya, Transfer Learning juga memiliki beberapa tantangan dan keterbatasan. Organisasi harus memahami tantangan -tantangan ini sehingga mereka dapat merancang strategi implementasi yang tepat dan memiliki harapan yang realistis. Tantangan -tantangan ini termasuk transfer negatif, ketidakcocokan domain, dan pemilihan model.

Transfer negatif

Dalam transfer negatif, pengetahuan dari domain sumber menghambat mempelajari tugas target dan mengarah ke model yang telah dilatih sebelumnya berkinerja lebih buruk daripada yang dilatih dari awal. Ini adalah salah satu tantangan paling umum dengan pembelajaran transfer dan biasanya terjadi ketika domain target dan sumber terlalu berbeda. Misalnya, model penglihatan komputer yang dilatih untuk mengklasifikasikan ras anjing dalam gambar kemungkinan akan berkinerja buruk jika disesuaikan dengan analisis gambar medis, karena fitur yang dipelajari tidak relevan dengan tugas baru. Fitur yang membantu membedakan ras anjing, seperti tekstur bulu, panjang ekor, dan bentuk telinga, tidak memiliki aplikasi yang bermakna ketika mencoba mengkategorikan pemindaian medis. Organisasi harus secara hati -hati membandingkan domain sumber dan target untuk menghindari transfer negatif.

Ketidakcocokan Domain

Ketidakcocokan domain terjadi ketika perbedaan antara data yang tersedia untuk sumber dan domain target mengurangi kinerja model. Perbedaan -perbedaan ini dapat mencakup variasi dalam kualitas atau distribusi data. Tidak seperti transfer negatif, model yang menderita ketidakcocokan domain mungkin masih berkinerja lebih baik daripada yang dilatih dari awal. Misalnya, model yang dilatih pada dataset besar gambar kucing tidak akan berhasil dengan baik dalam mengidentifikasi anjing. Namun, model ini masih akan melakukan lebih baik secara umum daripada model yang dilatih pada set kecil gambar anjing.

Pemilihan dan modifikasi model

Memilih model pra-terlatih yang sesuai dan mencari tahu cara memodifikasinya dapat menjadi kompleks dan memakan waktu. Organisasi perlu mempertimbangkan segala macam faktor, termasuk keselarasan antara domain sumber dan target, infrastruktur yang tersedia dan sumber daya personel, ukuran dan kualitas dataset pelatihan, dan arsitektur model. Selain itu, model pra-terlatih sering dibangun dengan asumsi dan ketergantungan dalam pikiran yang mungkin tidak segera terlihat. Memilih model yang sesuai dan membuat modifikasi yang tepat membutuhkan keahlian, waktu untuk eksperimen, dan infrastruktur yang tidak semua organisasi dapat akses.

Aplikasi Pembelajaran Transfer

Transfer Learning adalah cara yang lebih mudah dan lebih andal untuk membuat sistem AI untuk tugas atau domain tertentu daripada membangun model baru. Selanjutnya, teknik ini telah menemukan adopsi yang luas dan memiliki banyak aplikasi, termasuk visi komputer, pemrosesan bahasa alami (NLP), dan pengenalan dan generasi suara.

Visi komputer

Transfer Learning telah sangat berhasil dalam visi komputer. Organisasi dapat membuat aplikasi visi khusus dengan relatif mudah dengan menggunakan model visi pra-terlatih yang telah mempelajari fitur yang dapat digeneralisasikan dari jutaan gambar. Misalnya, perusahaan keamanan dapat mengadaptasi model visi komputer pra-terlatih untuk mendeteksi perilaku mencurigakan dalam feed pengawasan atau mengidentifikasi objek minat tertentu, semuanya tanpa sejumlah besar data pelatihan atau pengembangan model khusus.

Pemrosesan Bahasa Alami (NLP)

Aplikasi utama pembelajaran transfer adalah melatih model untuk menangani tugas NLP tertentu. Misalnya, sebuah firma hukum dapat memilih model NLP pra-terlatih sebagai dasar untuk alat analisis dokumen dan kemudian mengajarkan model untuk menangani domain hukum spesifik menggunakan pembelajaran transfer.

Pengenalan ucapan dan generasi

Transfer Learning juga digunakan untuk melatih model untuk aplikasi ucapan khusus. Misalnya, pusat panggilan dapat mengadaptasi model pidato umum untuk memahami terminologi khusus industri dan membuat sistem layanan pelanggan otomatis yang lebih disesuaikan. Contoh lain adalah menggunakan Transfer Learning untuk menyesuaikan model perintah suara yang dilatih untuk tugas -tugas bahasa umum untuk menangani dialek dan bahasa tertentu.