Yarı Denetimli Öğrenme: Nedir ve Nasıl Çalışır?

Makine öğrenimi alanında yarı denetimli öğrenme, daha sağlam ve verimli modeller eğitmek için hem etiketli hem de etiketsiz verilerden yararlanarak denetimli ve denetimsiz yöntemler arasındaki boşluğu dolduran akıllı bir hibrit yaklaşım olarak ortaya çıkıyor.

İçindekiler

• Yarı denetimli öğrenme nedir?
• Yarı denetimli ve denetimli ve denetimsiz öğrenme karşılaştırması
• Yarı denetimli öğrenme nasıl çalışır?
• Yarı denetimli öğrenme türleri
• Yarı denetimli öğrenmenin uygulamaları
• Yarı denetimli öğrenmenin avantajları
• Yarı denetimli öğrenmenin dezavantajları

Yarı denetimli öğrenme nedir?

Yarı denetimli öğrenme, modelleri eğitmek için etiketli ve etiketsiz verilerin birleşimini kullanan bir makine öğrenimi (ML) türüdür. Yarı denetimli, modelin, girdilerin açıkça doğru çıktılarla eşleştirildiği az miktarda etiketli veriden ve ayrıca genellikle daha bol olan daha büyük bir etiketsiz veri havuzundan rehberlik alması anlamına gelir. Bu modeller genellikle az miktarda etiketli veriden ilk öngörüleri bulur ve ardından daha büyük etiketsiz veri havuzunu kullanarak anlayışlarını ve doğruluğunu daha da geliştirir.

Makine öğrenimi, sabit kodlanmış talimatlara dayanmak yerine insan muhakemesini taklit eden modeller oluşturmak için verileri ve istatistiksel yöntemleri kullanan bir yapay zeka (AI) alt kümesidir. Denetimli ve denetimsiz yaklaşımların öğelerinden yararlanan yarı denetimli, insan etiketlemeye zahmetli yatırımlar yapmadan tahmin kalitesini artırmanın farklı ve güçlü bir yoludur.

Yarı denetimli ve denetimli ve denetimsiz öğrenme karşılaştırması

Denetimli öğrenme yalnızca etiketli verilere dayanır ve denetimsiz öğrenme tamamen etiketlenmemiş verilerle çalışır, yarı denetimli öğrenme ise bu ikisini harmanlar.

Denetimli öğrenme

Denetimli öğrenme, modelleri belirli görevlere yönelik eğitmek için etiketli verileri kullanır. İki ana tür şunlardır:

• Sınıflandırma:Bir öğenin hangi sınıfa veya gruba ait olduğunu belirler. Bu ikili bir seçim, birden fazla seçenek arasında bir seçim veya birden fazla gruba üyelik olabilir.

• Regresyon: Mevcut verilerden en uygun çizgiyi temel alarak sonuçları tahmin eder. Genellikle hava durumunu veya finansal performansı tahmin etmek gibi tahminler için kullanılır.

Denetimsiz öğrenme

Denetimsiz öğrenme, etiketlenmemiş verilerdeki kalıpları ve yapıları üç temel teknik aracılığıyla tanımlar:

• Kümeleme:Benzer değerlere sahip nokta gruplarını tanımlar. Bunlar dışlayıcı (tam olarak bir kümedeki her veri noktası), örtüşen (bir veya daha fazla kümedeki üyelik dereceleri) veya hiyerarşik (çoklu küme katmanları) olabilir.
• İlişkilendirme:Sık sık birlikte satın alınan ürünler gibi hangi öğelerin bir arada bulunma olasılığının daha yüksek olduğunu bulur.
• Boyut azaltma:Verileri daha az değişkene yoğunlaştırarak veri kümelerini basitleştirir, böylece işlem süresini azaltır ve modelin genelleme yeteneğini geliştirir.

Yarı denetimli öğrenme

Yarı denetimli öğrenme, model performansını artırmak için hem etiketli hem de etiketsiz verilerden yararlanır. Bu yaklaşım özellikle verilerin etiketlenmesinin pahalı veya zaman alıcı olduğu durumlarda faydalıdır.

Bu tür makine öğrenimi, az miktarda etiketli veriye ve büyük miktarda etiketsiz veriye sahip olduğunuzda idealdir. Yarı denetimli bir model, hangi etiketlenmemiş noktaların etiketli olanlarla yakından eşleştiğini belirleyerek daha incelikli sınıflandırma sınırları veya regresyon modelleri oluşturabilir ve bu da daha iyi doğruluk ve performans sağlar.

Yarı denetimli öğrenme nasıl çalışır?

Yarı denetimli öğrenme süreci, hem denetimli hem de denetimsiz öğrenme yöntemlerinin unsurlarını birleştiren birkaç adımdan oluşur:

1 Veri toplama ve etiketleme:Etiketli verilerin küçük bir kısmını ve etiketlenmemiş verilerin daha büyük bir kısmını içeren bir veri kümesi toplayın. Her iki veri kümesi de sütunlar veya nitelikler olarak da bilinen aynı özelliklere sahip olmalıdır.

2 Ön işleme ve özellik çıkarma:Modele öğrenme için mümkün olan en iyi temeli sağlamak üzere verileri temizleyin ve ön işleme tabi tutun: Kaliteyi sağlamak, kopyaları kaldırmak ve gereksiz özellikleri silmek için nokta kontrolü yapın. Çıkarma olarak bilinen bir süreçte, önemli özellikleri verilerdeki çeşitliliği yansıtan anlamlı aralıklara dönüştüren (örneğin, doğum tarihlerini yaşlara dönüştürmek) yeni özellikler oluşturmayı düşünün.

3 İlk denetimli öğrenme:Etiketli verileri kullanarak modeli eğitin. Bu başlangıç ​​aşaması, modelin girdiler ve çıktılar arasındaki ilişkiyi anlamasına yardımcı olur.

4 Denetimsiz öğrenme:Kalıpları, kümeleri veya yapıları tanımlamak için etiketlenmemiş verilere denetimsiz öğrenme tekniklerini uygulayın.

5 Model iyileştirme:Modeli geliştirmek için etiketli ve etiketsiz verilerden elde edilen bilgileri birleştirin. Bu adım genellikle doğruluğu artırmak için yinelemeli eğitim ve ayarlamaları içerir.

6 Değerlendirme ve ayarlama:Doğruluk, hassasiyet, geri çağırma ve F1 puanı gibi standart denetimli öğrenme ölçümlerini kullanarak modelin performansını değerlendirin. Açık talimatları (hiper parametreler olarak bilinir) ayarlayarak ve optimum performans elde edilene kadar yeniden değerlendirerek modelde ince ayar yapın.

7Dağıtım ve izleme:Modeli gerçek dünyada kullanıma dağıtın, performansını sürekli izleyin ve gerektiğinde yeni verilerle güncelleyin.

Yarı denetimli öğrenme türleri

Yarı denetimli öğrenme, her biri öğrenme sürecini iyileştirmek için etiketli ve etiketsiz verilerden yararlanan çeşitli teknikler kullanılarak uygulanabilir. Aşağıda ana türlerin yanı sıra alt türler ve temel kavramlar da yer almaktadır:

Kendi kendine eğitim

Kendi kendine öğrenme veya kendini etiketleme olarak da bilinen kendi kendine eğitim, en basit yaklaşımdır. Bu teknikte, başlangıçta etiketli veriler üzerinde eğitilen bir model, etiketlenmemiş veriler için etiketleri tahmin eder ve güven derecesini kaydeder. Model, en güvenilir tahminlerini ek etiketli veriler olarak uygulayarak kendini yinelemeli olarak yeniden eğitir; oluşturulan bu etiketler,sözde etiketlerolarak bilinir. Bu süreç, modelin performansı stabil hale gelinceye veya yeterince iyileşene kadar devam eder.

• İlk eğitim:Model, küçük etiketli bir veri kümesi üzerinde eğitilir.
• Etiket tahmini:Eğitilen model, etiketlenmemiş veriler için etiketleri tahmin eder.
• Güven eşikleme:Yalnızca belirli bir güven düzeyinin üzerindeki tahminler seçilir.
• Yeniden Eğitim:Seçilen sözde etiketli veriler eğitim setine eklenir ve model yeniden eğitilir.

Bu yöntem basit ama güçlüdür, özellikle de model erkenden doğru tahminler yapabildiğinde. Ancak ilk tahminlerin yanlış çıkması halinde kendi hatalarını pekiştirme eğilimi gösterebilir. Sahte etiketlerin veriler içindeki doğal gruplamalarla tutarlı olduğunu doğrulamaya yardımcı olması için kümelemeyi kullanın.

Ortak eğitim

Tipik olarak sınıflandırma problemleri için kullanılan ortak eğitim, iki veya daha fazla modelin farklı görünümler veya veri alt kümeleri üzerinde eğitilmesini içerir. Her modelin etiketlenmemiş veriler üzerindeki en güvenilir tahminleri, diğer modelin eğitim setini arttırır. Bu teknik, öğrenmeyi geliştirmek için birden fazla modelin çeşitliliğinden yararlanır.

• İki görünüm yaklaşımı:Veri kümesi iki farklı görünüme, yani orijinal verilerin her biri farklı özellikler içeren alt kümelerine bölünür. İki yeni görünümün her biri aynı etikete sahiptir, ancak ideal olarak ikisi koşullu olarak bağımsızdır; bu, bir tablodaki değerleri bilmenin size diğeri hakkında herhangi bir bilgi vermeyeceği anlamına gelir.
• Model eğitimi:İki model, etiketli veriler kullanılarak her görünümde ayrı ayrı eğitilir.
• Karşılıklı etiketleme:Her model, etiketlenmemiş veriler için etiketleri tahmin eder ve en iyi tahminler (belirli bir güven eşiğinin üzerindekilerin tümü veya yalnızca listenin en üstündeki sabit bir sayı) diğer modeli yeniden eğitmek için kullanılır.

Ortak eğitim, veriler aynı hastaya eşleştirilmiş tıbbi görüntüler ve klinik veriler gibi tamamlayıcı bilgiler sağlayan birden fazla görünüme uygun olduğunda özellikle yararlıdır. Bu örnekte, bir model görüntüye dayanarak hastalığın görülme sıklığını tahmin ederken diğeri tıbbi kayıtlardan elde edilen verilere dayanarak tahminde bulunacaktır.

Bu yaklaşım, iki model birbirini düzeltebileceğinden yanlış tahminlerin pekiştirilmesi riskinin azaltılmasına yardımcı olur.

Üretken modeller

Üretken modeller, ortak olasılık dağılımı olarak bilinen, belirli girdi ve çıktı çiftlerinin birlikte ortaya çıkma olasılığını öğrenir. Bu yaklaşım, daha önce görülenlere benzeyen yeni veriler oluşturmalarına olanak tanır. Bu modeller, temel veri dağıtımını yakalamak ve öğrenme sürecini geliştirmek için etiketli ve etiketsiz verileri kullanır. Adından da tahmin edebileceğiniz gibi bu, metin, resim vb. oluşturabilen üretken yapay zekanın temelidir.

• Üretken çekişmeli ağlar (GAN'lar):GAN'lar iki modelden oluşur: bir oluşturucu ve bir ayırıcı. Jeneratör sentetik veri noktaları oluştururken, ayırıcı bu sentetik veri noktaları ile gerçek veriler arasında ayrım yapmaya çalışır. Onlar eğitildikçe, jeneratör gerçekçi veriler oluşturma yeteneğini geliştirir ve ayırıcı, sahte verileri tespit etmede daha iyi hale gelir. Bu çekişmeli süreç, her modelin diğerini geride bırakma çabasıyla devam ediyor. GAN'lar yarı denetimli öğrenmeye iki şekilde uygulanabilir:
  • Değiştirilmiş ayırıcı:Verileri basitçe "sahte" veya "gerçek" olarak sınıflandırmak yerine, ayırıcı, verileri birden fazla sınıfa ve sahte bir sınıfa sınıflandırmak üzere eğitilir. Bu, ayrımcının hem sınıflandırma hem de ayrımcılık yapmasına olanak tanır.
  • Etiketlenmemiş verileri kullanma:Ayırıcı, bir girişin gördüğü etiketli verilerle eşleşip eşleşmediğine veya jeneratörden gelen sahte bir veri noktası olup olmadığına karar verir. Bu ek zorluk, ayrımcıyı etiketlenmemiş verileri etiketli verilere benzerliğinden tanımaya zorlayarak onları benzer kılan özellikleri öğrenmesine yardımcı olur.
• Varyasyonel otomatik kodlayıcılar (VAE'ler):VAE'ler, orijinal veriye mümkün olduğunca yakın bir temsilin kodunu çözebilecek şekilde verileri daha basit, soyut bir temsile nasıl kodlayacaklarını çözer. VAE, hem etiketli hem de etiketsiz verileri kullanarak tüm veri kümesinin temel özelliklerini yakalayan tek bir soyutlama oluşturur ve böylece yeni veriler üzerindeki performansını artırır.

Üretken modeller, özellikle dil çevirisi veya görüntü tanıma gibi bol miktarda ancak karmaşık etiketlenmemiş verilerle, yarı denetimli öğrenme için güçlü araçlardır. Elbette GAN'ların veya VAE'lerin neyi hedefleyeceklerini bilmeleri için bazı etiketlere ihtiyacınız var.

Grafik tabanlı yöntemler

Grafik tabanlı yöntemler, veri noktalarını bir grafik üzerindeki düğümler olarak temsil eder ve aralarındaki ilişkiler hakkında yararlı bilgilerin anlaşılması ve çıkarılması için farklı yaklaşımlar sunar. Yarı denetimli öğrenmeye uygulanan birçok grafik tabanlı yöntemden bazıları şunlardır:

• Etiket yayılımı:Kenarlar olarak bilinen sayısal değerlerin yakındaki düğümler arasındaki benzerlikleri gösterdiği nispeten basit bir yaklaşım. Modelin ilk çalıştırmasında, etiketli bir noktaya giden en güçlü kenarlara sahip etiketlenmemiş noktalar, o noktanın etiketini ödünç alır. Daha fazla nokta etiketlendikçe süreç tüm noktalar etiketlenene kadar tekrarlanır.
• Grafik sinir ağları (GNN'ler): Özellikle sosyal ağlar ve gen analizi gibi son derece karmaşık durumlarda, etiketli veri noktalarından etiketlenmemiş olanlara öğrenmeleri uygulamak için sinir ağlarını eğitmeye yönelik dikkat ve evrişim gibi teknikleri kullanır.
• Grafik otomatik kodlayıcılar: VAE'lere benzer şekilde bunlar, etiketli ve etiketsiz verileri yakalayan tek bir soyutlanmış temsil oluşturur. Bu yaklaşım genellikle grafikte yakalanmayan potansiyel bağlantılar olan eksik bağlantıları bulmak için kullanılır.

Grafik tabanlı yöntemler, sosyal ağlar, biyolojik ağlar ve öneri sistemleri gibi doğal olarak ağlar oluşturan veya içsel ilişkilere sahip olan karmaşık veriler için özellikle etkilidir.

Yarı denetimli öğrenmenin uygulamaları

Yarı denetimli öğrenmenin birçok uygulamasından bazıları şunlardır:

• Metin sınıflandırması:Milyonlarca ürün incelemesi veya milyarlarca e-posta gibi çok geniş bir veri kümesine sahip olduğunuzda, bunların yalnızca bir kısmını etiketlemeniz gerekir. Yarı denetimli bir yaklaşım, modeli geliştirmek için kalan verileri kullanacaktır.
• Tıbbi görüntü analizi:Tıbbi uzmanların zamanı pahalıdır ve her zaman doğru sonuçlar vermezler. MRI veya X-ışınları gibi görüntü analizlerinin birçok etiketsiz görüntüyle desteklenmesi, bunların doğruluğuna eşit, hatta onu aşan bir modele yol açabilir.
• Konuşma tanıma:Özellikle çok çeşitli lehçeleri ve aksanları yakalamaya çalışıyorsanız, konuşmayı manuel olarak yazıya dökmek sıkıcı ve zahmetli bir süreçtir. Etiketli konuşma verilerini büyük miktarda etiketlenmemiş sesle birleştirmek, modelin söylenenleri doğru bir şekilde ayırt etme yeteneğini geliştirecektir.
• Dolandırıcılık tespiti:Öncelikle, bilinen dolandırıcılık ve meşru vakaları belirleyerek, küçük bir etiketli işlem kümesi üzerinde bir model eğitin. Daha sonra, modeli şüpheli kalıplara ve anormalliklere maruz bırakmak için daha büyük bir etiketlenmemiş işlem kümesi ekleyin ve finansal sistemlerdeki yeni veya gelişen dolandırıcılık faaliyetlerini tanımlama yeteneğini geliştirin.
• Müşteri segmentasyonu:Yarı denetimli öğrenme, belirli kalıplara ve demografik özelliklere dayalı olarak başlangıç ​​segmentlerini tanımlamak için küçük etiketli bir veri kümesi kullanarak ve ardından bu kategorileri hassaslaştırmak ve genişletmek için daha büyük bir etiketlenmemiş veri havuzu ekleyerek hassasiyeti artırabilir.

Yarı denetimli öğrenmenin avantajları

• Uygun maliyetli:Yarı denetimli öğrenme, kapsamlı etiketlenmiş verilere olan ihtiyacı azaltır, etiketleme maliyetlerini ve çabasını, ayrıca insan hatası ve önyargının etkisini azaltır.
• Geliştirilmiş tahminler:Etiketli ve etiketsiz verileri birleştirmek, modelin öğrenebileceği daha fazla veri sağladığından, yalnızca denetimli öğrenmeye kıyasla genellikle daha iyi tahmin kalitesiyle sonuçlanır.
• Ölçeklenebilirlik:Yarı denetimli öğrenme, milyarlarca potansiyel sahtekarlık işlemi gibi kapsamlı etiketlemenin pratik olmadığı gerçek dünya uygulamaları için iyi bir seçimdir çünkü büyük veri kümelerini minimum etiketli veriyle işler.
• Esneklik:Denetimli ve denetimsiz öğrenmenin güçlü yönlerini birleştirmek, bu yaklaşımı birçok göreve ve alana uyarlanabilir hale getirir.

Yarı denetimli öğrenmenin dezavantajları

• Karmaşıklık:Etiketli ve etiketsiz verileri entegre etmek genellikle veri aralıklarının normalleştirilmesi, eksik değerlerin atanması ve boyutluluğun azaltılması gibi karmaşık ön işleme tekniklerini gerektirir.
• Varsayıma güven:Yarı denetimli yöntemler genellikle, aynı kümedeki aynı etiketi hak eden veri noktaları gibi veri dağıtımıyla ilgili varsayımlara dayanır ve bu her zaman doğru olmayabilir.
• Gürültü potansiyeli:Etiketlenmemiş veriler, aykırı değerlerin tespiti ve etiketli verilere göre doğrulama gibi tekniklerle düzgün şekilde ele alınmadığı takdirde gürültüye ve yanlışlıklara neden olabilir.
• Değerlendirmesi daha zor:Çok fazla etiketli veri olmadan, standart denetimli öğrenme değerlendirme yaklaşımlarından çok fazla yararlı bilgi elde edemezsiniz.