Denetimli Öğrenme: Nedir ve Nasıl Çalışır?

Bu bilgilendirici kılavuzda, görüntü tanımadan spam filtrelemeye kadar, denetimli öğrenmenin her gün karşılaştığımız birçok yapay zeka uygulamasına nasıl güç verdiğini keşfedin.

İçindekiler

• Denetimli öğrenme nedir?
• Denetimli ve denetimsiz öğrenme
• Denetimli öğrenme nasıl çalışır?
• Denetimli öğrenme türleri
• Denetimli öğrenmenin uygulamaları
• Denetimli öğrenmenin avantajları
• Denetimli öğrenmenin dezavantajları

Denetimli öğrenme nedir?

Denetimli öğrenme, doğru yanıtla etiketlenmiş verileri kullanarak modelleri eğiten bir makine öğrenimi (ML) türüdür.Denetlenenterimi, bu etiketlerin girdiler ve çıktılar arasındaki ilişki hakkında net bir rehberlik sağladığı anlamına gelir. Bu süreç, modelin yeni, görülmemiş veriler üzerinde doğru tahminler yapmasına yardımcı olur.

Makine öğrenimi, sabit kodlanmış talimatlara dayanmak yerine insan muhakemesini taklit eden modeller oluşturmak için verileri ve istatistiksel yöntemleri kullanan bir yapay zeka (AI) alt kümesidir. Denetimli öğrenme, etiketli veri kümelerindeki kalıpları ve ilişkileri belirlemek için rehberli, veriye dayalı bir yaklaşım benimser. Yeni, görülmemiş verilere ilişkin sonuçları tahmin etmek için değerlendirmelerden çıkarımlar yapar. Tahminlerini bilinen etiketlerle karşılaştırarak ve modelini hataları en aza indirecek şekilde ayarlayarak öğrenir.

Denetimli ve denetimsiz öğrenme

Etiketli verileri kullanan denetimli öğrenmenin aksine, denetimsiz öğrenme etiketlenmemiş verilerdeki kalıpları bulur.

Eğitim verilerindeki açık doğru cevapların sağladığı "denetim" olmadan, denetimsiz öğrenme, gördüğü her şeyi kalıplar ve gruplamalar açısından analiz edilecek veri olarak ele alır. Üç ana tür şunlardır:

• Kümeleme:Bu teknik birbirine en yakın olan veri noktalarını gruplandırır. Müşteri segmentasyonu veya belge sıralama için kullanışlıdır.
• İlişkilendirme: Bir şeylerin ne zaman birlikte ortaya çıkma eğiliminde olduğunu belirlemek, özellikle de sık sık birlikte satın alınan öğeleri aynı yerde konumlandırmak veya bir sonraki yayının ne olacağını önermek.
• Boyut azaltma: Ayrıntıların tümü veya çoğu korunurken, işlenmesini kolaylaştırmak için veri kümelerinin küçültülmesi.

Öte yandan, modelin karar vermesini istediğinizde denetimli öğrenme mantıklıdır. Başlıca uygulamalar şunları içerir:

• Evet veya hayır kararları:Verileri bir sınıf veya diğeri olarak işaretleme. Genellikle spam veya sahtekarlık tespiti gibi filtrelemeler için kullanılır.
• Sınıflandırma: Bir görüntüdeki nesneleri tanımlamak veya konuşmayı tanımak gibi, bir şeyin çeşitli sınıflardan hangisine ait olduğunu bulmak.
• Regresyon: Ev fiyatlarını veya hava koşullarını tahmin etmek gibi geçmiş verilere dayalı olarak sürekli değerleri tahmin etmek.

Diğer makine öğrenimi türleri bu ikisinin arasında yer alır: yarı denetimli, pekiştirmeli ve kendi kendini denetleyen öğrenme.

Denetimli öğrenme nasıl çalışır?

Denetimli öğrenme, verileri seçme ve biçimlendirme, modeli çalıştırma ve performansını test etme gibi yapılandırılmış bir süreci içerir.

Denetimli öğrenme sürecine kısa bir genel bakış:

1 Etiketleme:Etiketlenmiş veriler, girdiler ve çıktılar arasındaki doğru ilişkiyi öğrenmek için gereklidir. Örneğin, ürün incelemelerindeki duyarlılığı analiz etmek için bir model oluşturuyorsanız, insan değerlendiricilerin incelemeleri okumasını ve bunları olumlu, olumsuz veya tarafsız olarak işaretlemesini sağlayarak başlayın.

2 Veri toplama ve temizleme:Eğitim verilerinizin kapsamlı ve temsili olduğundan emin olun. Analize hazırlamak için kopyaları kaldırarak, hataları düzelterek ve eksik değerleri işleyerek verileri temizleyin.

3 Özellik seçimi ve çıkarılması:En etkili özellikleri belirleyip seçin, böylece modeli daha verimli ve etkili hale getirin. Bu adım aynı zamanda verilerdeki temel kalıpları daha iyi yakalamak için mevcut özelliklerden yeni özellikler oluşturmayı da içerebilir (doğum tarihini yaşa dönüştürmek gibi).

4 Veri bölme:Veri kümesini eğitim ve test kümelerine bölün. Modeli eğitmek için eğitim setini, yeni, görünmeyen verilere ne kadar iyi genelleştirildiğini görmek için ise test setini kullanın.

5 Algoritma seçimi:Göreve ve veri özelliklerine göre denetimli bir öğrenme algoritması seçin. Ayrıca en iyisini bulmak için birden fazla algoritmayı çalıştırabilir ve karşılaştırabilirsiniz.

6 Model eğitimi:Tahmin doğruluğunu artırmak için verileri kullanarak modeli eğitin. Bu aşamada model, tahminleri ile eğitim verilerinde sağlanan gerçek etiketler arasındaki hatayı yinelemeli olarak en aza indirerek girdiler ve çıktılar arasındaki ilişkiyi öğrenir. Algoritmanın karmaşıklığına ve veri kümesinin boyutuna bağlı olarak bu işlem saniyeler ila günler sürebilir.

7 Model değerlendirmesi:Modelin performansının değerlendirilmesi, modelin yeni veriler üzerinde güvenilir ve doğru tahminler üretmesini sağlar. Bu, denetimsiz öğrenmeden önemli bir farktır: Beklenen çıktıyı bildiğiniz için modelin ne kadar iyi performans gösterdiğini değerlendirebilirsiniz.

8 Model ayarlama:Performansa ince ayar yapmak için modelin parametrelerini ayarlayın ve yeniden eğitin. Hiperparametre ayarlama adı verilen bu yinelemeli süreç, modeli optimize etmeyi ve aşırı uyum gibi sorunları önlemeyi amaçlar. Bu işlem her ayardan sonra tekrarlanmalıdır.

9 Dağıtım ve izleme:Gerçek dünya ortamında yeni veriler üzerinde tahminler yapmak için eğitilen modeli dağıtın. Örneğin, e-postaları filtrelemek, performansını izlemek ve gerektiği gibi ayarlamak için eğitimli spam algılama modelini dağıtın.

10 Zaman içinde ince ayar yapma:Daha fazla gerçek dünya verisi topladıkça, modeli daha doğru ve alakalı olacak şekilde eğitmeye devam edin.

Denetimli öğrenme türleri

Denetimli öğrenmenin iki ana türü vardır: sınıflandırma ve regresyon. Her türün kendi alt türleri ve özel kullanım durumları vardır. Bunları daha ayrıntılı olarak inceleyelim:

sınıflandırma

Sınıflandırma, bir girdinin hangi kategoriye veya sınıfa ait olduğunu tahmin etmeyi içerir. Farklı sınıflandırma problemlerini çözmek için çeşitli alt türler ve kavramlar kullanılır. İşte bazı popüler türler:

• İkili sınıflandırma:Model iki olası sınıftan birini tahmin eder. Bu, sonuç ikili olduğunda kullanışlıdır, yani yalnızca iki olası durum veya kategori vardır. Bu yaklaşım, net bir ayrımın gerekli olduğu kararlarda kullanılır.
• Çok sınıflı sınıflandırma: İkili sınıflandırmaya benzer ancak ikiden fazla seçeneğin olduğu ve tek bir doğru cevabın bulunduğu sınıflandırmadır. Bu yaklaşım, bir girdinin ait olabileceği birden fazla kategori olduğunda kullanılır.
• Çoklu etiket sınıflandırması: Her giriş aynı anda birden fazla sınıfa ait olabilir. Her girişin tek bir sınıfa atandığı ikili veya çok sınıflı sınıflandırmanın aksine, çok etiketli sınıflandırma, tek bir girişe birden fazla etiket atanmasına olanak tanır. Bu daha karmaşık bir analizdir çünkü girdinin ait olma olasılığı en yüksek olan sınıfı seçmek yerine, dahil edilmek üzere bir olasılık eşiğine karar vermeniz gerekir.
• Lojistik regresyon: Regresyonun (aşağıya bakınız) ikili sınıflandırmaya uygulanması. Bu yaklaşım size basit bir şu ya da bu yerine, tahmininin güvenilirliğini anlatabilir.

Bir sınıflandırma modelinin kalitesini ölçmenin birkaç yolu vardır:

• Doğruluk:Toplam tahminlerden kaç tanesi doğruydu?
• Kesinlik:Olumlu olanların kaç tanesi aslında olumludur?
• Hatırlayın:Gerçek pozitiflerden kaç tanesini pozitif olarak işaretledi?
• F1 puanı:%0 ila %100 arası bir ölçekte, model hassasiyeti ve hatırlamayı ne kadar iyi dengeliyor?

Regresyon

Regresyon, giriş özelliklerine dayalı olarak sürekli bir değerin tahmin edilmesini ve tahmin olarak da adlandırılabilecek bir sayının çıktısını almayı içerir. Bu girdi özellikleri ile sürekli çıktı arasındaki ilişkileri yakalamak için çeşitli regresyon modelleri kullanılır. İşte bazı popüler türler:

• Doğrusal regresyon:Giriş özellikleri ile çıktı arasındaki ilişkiyi düz bir çizgi olarak modeller. Model, bağımlı değişken (çıktı) ile bağımsız değişkenler (girdiler) arasında doğrusal bir ilişki olduğunu varsayar. Amaç, tahmin edilen ve gerçek değerler arasındaki farkı en aza indiren veri noktaları aracılığıyla en uygun doğruyu bulmaktır.
• Polinom regresyonu: Giriş ve çıkış değişkenleri arasındaki daha karmaşık ilişkileri yakalamak için kare ve küp gibi polinomları kullandığı için doğrusal regresyondan daha karmaşıktır. Model, bu yüksek dereceli terimleri kullanarak doğrusal olmayan verileri sığdırabilir.
• Ridge ve kement regresyonu: Bir modelin genelleme pahasına eğitim aldığı verileri çok fazla okuma eğilimi olan aşırı uyum sorununu giderir. Ridge regresyonu, modelin küçük ayrıntılara olan duyarlılığını azaltırken kement regresyonu, daha az önemli özellikleri değerlendirme dışı bırakır.

Regresyon kalitesi ölçümlerinin çoğu, tahminlerin gerçek değerlerden ne kadar uzakta olduğuyla ilgilidir. Cevapladıkları sorular şunlar:

• Ortalama mutlak hata:Tahminler ortalama olarak gerçek değerlerden ne kadar uzakta?
• Ortalama karesel hata:Daha büyük hatalar daha önemli olduğunda hatalar ne kadar büyür?
• Kök ortalama kare hatası: Büyük hatalar, tahminlerin gerçek değerlerden ne kadar sapmasına neden olur?
• R-kare: Regresyon verilere ne kadar uyuyor?

Denetimli öğrenmenin uygulamaları

Denetimli öğrenmenin çeşitli endüstrilerde geniş bir uygulama yelpazesi vardır. İşte bazı yaygın örnekler:

• Spam tespiti:E-posta hizmetleri, bir e-postanın gelen kutunuza mı düşeceğine yoksa spam'e mi yönlendirileceğine karar vermek için ikili sınıflandırmayı kullanır. Spam klasöründeki e-postaları spam değil olarak işaretleyen kişilere (veya bunun tersi) yanıt olarak sürekli olarak gelişirler.
• Görüntü tanıma:Modeller, nesneleri tanımak ve sınıflandırmak için etiketli görüntüler üzerinde eğitilir. Örnekler arasında tabletinizin veya mobil cihazınızın kilidini açan Apple'ın Face ID özelliği, basılı kelimeleri dijital metne dönüştürmek için optik karakter tanıma (OCR) ve sürücüsüz araçlar için nesne algılama yer alıyor.
• Tıbbi teşhis:Denetlenen modeller, hasta verilerini ve tıbbi kayıtları kullanarak hastalıkları tahmin edebilir ve potansiyel teşhisler önerebilir. Örneğin modeller, MRI'lardaki kanserli tümörleri tanıyacak veya diyabet yönetim planları geliştirecek şekilde eğitilebilir.
• Dolandırıcılık tespiti:Finansal kurumlar, etiketli işlem verilerindeki kalıpları analiz ederek dolandırıcılık işlemlerini tanımlamak için denetimli öğrenmeyi kullanır.
• Duygu analizi:Olumlu ya da olumsuz tepkileri ya da mutluluk ya da tiksinti gibi duyguları ölçerken, manuel olarak etiketlenen veri kümeleri, modelleri sosyal medya gönderileri, ürün incelemeleri ya da anket sonuçları gibi girdileri yorumlamak için bilgilendirir.
• Kestirimci bakım:Modeller, geçmiş performans verilerine ve çevresel faktörlere dayanarak makinelerin ne zaman arızalanma ihtimali olduğunu tahmin edebilir, böylece makineler arızalanmadan önce onarılabilir veya değiştirilebilir.

Denetimli öğrenmenin avantajları

• Doğru ve öngörülebilir.Onlara iyi veriler verildiğini varsayarsak denetimli öğrenme modelleri diğer makine öğrenimi yöntemlerinden daha doğru olma eğilimindedir. Daha basit modeller genellikle deterministiktir; yani belirli bir girdi her zaman aynı çıktıyı üretecektir.
• Açık hedef. Denetim sayesinde modelinizin neyi başarmaya çalıştığını bilirsiniz. Bu, denetimsiz ve kendi kendini denetleyen öğrenmenin açık bir zıtlığıdır.
• Değerlendirmesi kolaydır. Hem sınıflandırma hem de regresyon modellerinin doğruluğunu değerlendirmek için hizmetinizde olan çeşitli kalite ölçümleri vardır.
• Yorumlanabilir. Denetimli modeller, veri bilimcilerin anlaması nispeten kolay olan regresyonlar ve karar ağaçları gibi teknikleri kullanır. Yorumlanabilirlik, özellikle yüksek etkili ortamlarda ve düzenlemeye tabi endüstrilerde karar vericilerin güvenini artırır.

Denetimli öğrenmenin dezavantajları

• Etiketlenmiş veriler gerektirir.Verilerinizin net girişleri ve etiketleri olması gerekir. Verilere manuel olarak açıklama eklemek için binlerce (milyonlarca olmasa da) kişinin çalıştığı, bu genellikle sınıflandırma eğitimi için bir zorluktur.
• Eğitim verilerindeki hatalar ve tutarsız kararlar. İnsanların etiketlenmesiyle birlikte hatalar, yazım hataları ve farklı görüşler gibi insan yanılgıları da ortaya çıkar. İkincisi, duygu analizinin özellikle zorlayıcı bir yönüdür; Yüksek kaliteli duyarlılık eğitimi verileri genellikle birden fazla kişinin belirli bir veri noktasını değerlendirmesini gerektirir ve yalnızca anlaşma olması durumunda sonuç kaydedilir.
• Aşırı uyum. Çoğu zaman bir model, eğitim verileri için çok iyi çalışan, ancak henüz görmediği veriler için zayıf çalışan hesaplamalar üretecektir. Dikkatli bir eğitmen her zaman fazla uyum sağlamaya çalışacak ve etkiyi azaltmak için teknikler kullanacaktır.
• Bilinen kalıplarla sınırlıdır. Hisse senedi fiyatı tahmin modeliniz yalnızca boğa piyasasından elde edilen verilere dayanıyorsa, ayı piyasasına girildiğinde pek doğru olmayacaktır. Buna göre, modelinize gösterdiğiniz verilerin sınırlamalarına karşı duyarlı olun ve onu daha fazla duruma maruz bırakacak eğitim verilerini mi bulacağınızı yoksa çıktısını göz ardı mı edeceğinizi düşünün.