Denetimli ve Denetimsiz Öğrenme: Farklılıklar, Faydalar ve Kullanım Durumları

Makine öğrenimi (ML), görüntü tanıma ve otonom araçlar gibi her gün kullandığımız birçok teknolojiye güç veriyor. Denetimli ve denetimsiz öğrenme olmak üzere iki temel yaklaşım bu sistemlerin omurgasını oluşturur. Her ikisi de makine öğrenimi modellerini eğitmek için anahtar olsa da metodolojileri, hedefleri ve uygulamaları açısından farklılık gösterirler.

Bu kılavuzda bu iki yaklaşımı karşılaştıracağız, farklılıklarını vurgulayacağız ve faydalarını ve zorluklarını keşfedeceğiz. Ayrıca çeşitli görevler için hangisinin en uygun olduğunu anlamanıza yardımcı olacak pratik uygulamaları da keşfedeceğiz.

İçindekiler

• Denetimli öğrenme nedir?
• Denetimsiz öğrenme nedir?
• Denetlenen ve denetlenmeyen: temel farklar
• Denetimli ve denetimsiz öğrenmenin faydaları
• Denetimli ve denetimsiz öğrenmenin zorlukları
• Denetimli ve denetimsiz öğrenmenin uygulamaları
• Çözüm

Denetimli öğrenme nedir?

Denetimli öğrenme, etiketli verileri kullanarak makine öğrenimi sistemlerini eğitir. Bu bağlamda “etiketli”, her eğitim örneğinin bilinen bir çıktıyla eşleştirilmesi anlamına gelir. Genellikle uzmanlar tarafından oluşturulan bu etiketler, sistemin girdiler ve çıktılar arasındaki ilişkileri öğrenmesine yardımcı olur. Eğitildikten sonra denetlenen sistemler, tahminler veya sınıflandırmalar yapmak için öğrenilen bu ilişkileri yeni, görünmeyen verilere uygulayabilir.

Örneğin, sürücüsüz arabalar bağlamında denetimli bir öğrenme sistemi etiketli video verilerini analiz edebilir. Bu açıklamalar sokak tabelalarını, yayaları ve engelleri tanımlayarak sistemin gerçek dünyadaki sürüş senaryolarındaki benzer özellikleri tanımasını ve bunlara yanıt vermesini sağlar.

Denetimli öğrenme algoritmaları iki ana kategoriye ayrılır:

• Sınıflandırma: Bu algoritmalar, e-postaları spam veya spam olmayan olarak tanımlamak gibi yeni verilere etiketler atar.
• Regresyon: Bu algoritmalar, geçmiş performansa dayalı olarak gelecekteki satışları tahmin etmek gibi sürekli değerleri tahmin eder.

Veri kümeleri büyüdükçe ve hesaplama kaynakları geliştikçe, denetlenen sistemler daha doğru ve etkili hale gelerek sahtekarlık tespiti ve tıbbi teşhis gibi uygulamaları destekler.

Denetimsiz öğrenme nedir?

Denetimsiz öğrenme ise bunun tersine, gizli kalıpları veya ilişkileri ortaya çıkarmak için istatistiksel algoritmalara dayanarak verileri etiketli örnekler olmadan analiz eder. Denetlenen sistemlerden farklı olarak bu modeller, yapıdan çıkarım yapar ve yeni bilgiler elde edildikçe bulgularını dinamik olarak günceller. Denetimsiz öğrenme, örüntü keşfetmede üstün olsa da tahmine dayalı görevlerde genellikle daha az etkilidir.

Pratik bir örnek, haber toplama hizmetleridir. Bu sistemler, harici etiketleme olmaksızın bir son dakika haberi olayıyla ilgili makaleleri ve sosyal medya gönderilerini gruplandırır. Ortak noktaları gerçek zamanlı olarak belirleyerek, önemli hikayeleri vurgulamak için denetimsiz öğrenme gerçekleştiriyorlar.

İşte birkaç özel denetimsiz öğrenme algoritması:

• Kümeleme:Bunlar tüketicileri segmentlere ayırmak ve segmentleri davranışlar değiştikçe ayarlamak için kullanılır.
• İlişkilendirme:Bunlar, güvenlik ihlallerini gösterebilecek anormalliklerin belirlenmesi gibi verilerdeki kalıpları tespit eder.
• Boyut azaltma: Bunlar, kritik bilgileri korurken veri yapılarını basitleştirir ve genellikle karmaşık veri kümelerinin sıkıştırılmasında ve görselleştirilmesinde kullanılır.

Denetimsiz öğrenme, keşfedici veri analizinin ve etiketli verilerin kullanılamadığı senaryolarda içgörülerin ortaya çıkarılmasının ayrılmaz bir parçasıdır.

Denetlenen ve denetlenmeyen: temel farklar

Denetimli ve denetimsiz öğrenme, makine öğreniminde farklı rollere hizmet eder. Bu yaklaşımlar veri gereksinimleri, insan katılımı, görevler ve uygulamalar açısından farklılık gösterir. Aşağıdaki tabloda daha ayrıntılı olarak inceleyeceğimiz bu farklılıklar vurgulanmaktadır.

Eğitim aşamasındaki farklılıklar

İki algoritma türü arasındaki temel fark, bağımlı oldukları veri kümelerinin türüdür. Denetimli öğrenme, büyük etiketli veri kümelerinden yararlanır. Sonuç olarak, denetlenen en gelişmiş sistemler, verileri incelemek ve etiketler oluşturmak için büyük ölçekli, uzmanlaşmamış insan emeğine bağlıdır. Etiketli verilerin işlenmesi genellikle daha fazla kaynak gerektirir, bu nedenle denetlenen sistemler ölçeğin üst ucundaki kadar veriyi işleyemez.

Denetimsiz öğrenme sistemleri daha küçük veri kümeleriyle etkili olmaya başlayabilir ve aynı kaynaklarla çok daha büyük miktarda veriyi işleyebilir. Büyük ölçekli, uzmanlaşmamış insan emeğine bağlı olmadığı için verilerinin elde edilmesi ve işlenmesi daha kolaydır. Bir dengeleme olarak, sistemler tahmin görevlerinde genellikle yüksek düzeyde doğruluk elde edemezler ve etkili olabilmek için genellikle özel çalışmalara ihtiyaç duyarlar. Doğruluğun çok önemli olduğu yerlerde kullanılmak yerine, verilerdeki kalıpları geniş ölçekte ve veriler değiştikçe çıkarmak ve güncellemek için daha sık kullanılırlar.

Konuşlandırıldığındaki farklılıklar

Denetimli öğrenme uygulamaları genellikle geniş ölçekte daha fazla etiketli veri elde etmek için yerleşik bir mekanizmaya sahiptir. Örneğin, e-posta kullanıcılarının gelen iletilerin spam olup olmadığını işaretlemesi kolaydır. Bir e-posta sağlayıcısı, işaretlenen mesajları bir eğitim setinde toplayabilir ve ardından spam tespiti için lojistik regresyon sistemlerini eğitebilir. Konuşlandırıldığında daha hızlı karar alma için daha uzun ve daha fazla kaynak yoğun eğitimden vazgeçerler. Lojistik regresyon sistemlerinin yanı sıra, diğer yaygın denetimli eğitim algoritmaları, kararları tahmin etmek ve karar vermek ve karmaşık model tanıma için her yerde kullanılan karar ağaçlarını ve sinir ağlarını içerir.

Denetimsiz sistemler, büyük miktarda yapılandırılmamış veri içeren sorunlara uygulandığında kendilerini farklılaştırırlar. Geçici olsalar bile verilerdeki kalıpları tespit edebilirler ve denetimli öğrenmeye yönelik eğitim tamamlanmadan önce tespit edilmeleri gerekir. Örneğin, bir tür denetimsiz öğrenme sistemi olan kümeleme algoritmaları, trendler değiştikçe tüketici segmentlerini tespit edip güncelleyebilir. Eğilimler yeni ve görülmemiş kalıplara kayarsa, yeniden eğitim için kesinti gerektirmeden güncel kalırlar.

Denetimsiz öğrenmeye bir örnek, finansta temel bileşen analizinin (PCA) kullanılmasıdır. PCA, yatırım gruplarına geniş ölçekte uygulanabilen ve grubun ortaya çıkan özelliklerinin çıkarımına ve güncellenmesine yardımcı olan bir algoritmadır. Bunlar, yatırım riskinin en önemli kaynakları ve getirileri etkilemesi muhtemel faktörler gibi önemli finansal göstergeleri içerir. Denetimsiz öğrenme sistemlerinin diğer yaygın türleri, genellikle diğer makine öğrenimi algoritmaları uygulanmadan önce bir hazırlık adımı olarak verileri sıkıştıran ve basitleştiren otomatik kodlayıcılardır.

Denetimli ve denetimsiz öğrenmenin faydaları

Hem denetlenen hem de denetlenmeyen sistemler, verileri yardımsız insanlarınkini aşan bir ölçekte ve hızda işlemek için kullanışlıdır. Ancak farklı uygulamalar için en uygun olanlardır. Aşağıda bazı temel faydalarını karşılaştırıyoruz.

Denetimli sistemler

• Önemli geçmiş veriler mevcut olduğunda Excel
• Bilinen yapıya, özelliklere ve kalıplara sahip verileri eğitmek için denetimsiz sistemlerden çok daha iyidir
• Verilerin bilinen özelliklerini geniş ölçekte tespit etmek ve uygulamak için idealdir
• İnsanlar için anlaşılır ve sezgisel anlam taşıyan sonuçlar üretebilir
• Yeni ve görülmemiş verilerde daha yüksek doğruluk elde edilebilir
• Denetimsiz sistemlere göre daha hızlı ve daha yüksek ölçekte tahminler yapabilir

Denetimsiz sistemler

• Verilerdeki önceden görülmemiş veya bilinmeyen yapıları ve ilişkileri belirlemede özellikle iyidirler
• Veriler daha az yapılandırılmışsa ve özellikleri daha az biliniyorsa başarılı olun
• Denetlenen sistemlerin iyi çalışmadığı bazı koşullarda çalışın (örneğin, verilerin mevcut olmadığı veya mevcut olduğu ancak insanlar tarafından işlenmediği durumlarda)
• Eşdeğer miktarda veri için eğitim sırasında denetlenen sistemlere göre daha az kaynak ve daha az zaman gerektirir
• Denetlenen sistemlerle iyi bir şekilde işlenemeyecek kadar fazla veri olduğunda eğitilebilir ve kullanılabilir

Denetimli ve denetimsiz öğrenmenin zorlukları

Denetlenen ve denetlenmeyen sistemlerin her biri farklı dengeler sağlar ve karşılaştıkları zorluklar bazen oldukça farklıdır. Aşağıda bazı temel farklılıkları vurguluyoruz.

Denetimli sistemler

• Yalnızca bazen mevcut olan veya elde edilmesi kolay olan, insanlar tarafından işlenmiş büyük miktarda veriye erişim gerektirir
• Genellikle daha uzun ve daha fazla kaynak yoğun eğitim aşamaları vardır
• Temel veri özellikleri değişirse hızlı bir şekilde uyum sağlamakta zorlanabilir
• Video veya ses gibi doğası gereği yapılandırılmamış verileri işlerken zorluklarla karşılaşın

Denetimsiz sistemler

• Yeni veri örneklerine iyi genellenemeyen kalıpları daha sık tespit edecek
• Denetlenen sistemler kadar doğru sonuçlar elde etmek zor olabilir
• İnsanların yorumlaması zor sonuçlar üretirler ve bu sonuçların yorumlanması daha öznel olabilir.
• Gerçek dünyada yapılan tahmin başına daha fazla zaman ve kaynak harcanabilir

Denetimli ve denetimsiz öğrenmenin uygulamaları

Bazı uygulamalar ve problemler en iyi şekilde denetimli öğrenme sistemleriyle çözülür, bazıları en iyi şekilde denetimsiz sistemlerle çözülür ve bazıları da bir karışım kullanılarak en iyi sonucu verir. İşte çok iyi bilinen üç örnek.

Karma öğrenme sistemleri ve yarı denetimli öğrenme

Çoğu gerçek hayattaki uygulamanın, denetlenen ve denetlenmeyen modellerin bir karışımını kullandığını unutmamak önemlidir. Öğrenim sistemleri genellikle bütçe, veri kullanılabilirliği, performans gereksinimleri ve mühendislik karmaşıklığı gibi faktörlere göre birleştirilir. Bazen, her iki yaklaşımın faydalarını (yarı denetimli öğrenme) harmanlamaya çalışan özel bir öğrenme algoritmaları alt kümesi de kullanılabilir. Aşağıdaki örneklerde kullanılması en muhtemel veya birincil sistemi belirtiyoruz.

Trafik tahmini (denetimli)

Trafik tahmini zorlu bir iştir. Neyse ki, şehirler karayolu trafik hacimlerini düzenli olarak denetleyip kaydettiği için pek çok etiketli veri mevcuttur. Denetimli öğrenmenin bir türü olan regresyon algoritmalarının bu verilere uygulanması kolaydır ve trafik akışlarına ilişkin oldukça doğru tahminler üretebilir. Tahminleri yol yapımı, trafik işaretleri ve trafik ışıklarının yerleştirilmesi konularında karar alma süreçlerine yardımcı olabilir. Denetimsiz algoritmalar bu aşamada daha az etkilidir. Ancak yol yapısında bir değişiklik yapıldıktan sonra biriken trafik verileri üzerinden çalıştırılabilirler. Bu noktada, yeni ve daha önce görülmemiş sorunların ortaya çıkıp çıkmayacağını otomatik olarak belirlemeye ve çıkarım yapmaya yardımcı olurlar.

Genetik kümeleme (denetimsiz)

Veri hacimleri büyük olduğundan ve verilerin çoğu iyi analiz edilmediğinden genetik verilerin analizi yavaş ve zahmetli olabilir. Genetik verilerin ne içerdiği, genlerin ve diğer genetik bileşenlerin genomda nerede depolanabileceği, kodlarının nasıl çözüldüğü ve yorumlandığı vb. hakkında çoğu zaman fazla bir şey bilmiyoruz. Denetimsiz algoritmalar, büyük miktarlarda işlem yapabildikleri için bu sorunla özellikle ilgilidir. Verilerin hangi kalıpları içerdiğini otomatik olarak çıkartır. Ayrıca benzer görünen genetik bilgilerin ayrı kümelerde toplanmasına da yardımcı olabilirler. Genetik veriler benzerliğe göre kümelendiğinde, kümeler kolayca işlenebilir ve hangi biyolojik işleve (varsa) hizmet ettiklerini belirlemek için test edilebilir.

Yüksek Lisans ve takviyeli öğrenim (karma)

Büyük dil modelleri (LLM'ler), denetimsiz ve denetimli öğrenme sistemlerini birleştiren bir uygulamanın örneğidir. Başlangıçtaki sistem olan Yüksek Lisans (LLM), genellikle denetlenmeyen bir sistemin bir örneğidir. Bir Yüksek Lisans derecesi oluşturmak için, büyük ölçekli veriler (örneğin, internette mevcut olan tüm İngilizce metinler) denetimsiz bir sistem tarafından analiz edilir. Sistem, verilerden birçok kalıp çıkarıyor ve İngilizce konuşmanın temel kurallarını geliştiriyor.

Bununla birlikte, bir Yüksek Lisans'ın yaptığı çıkarımlar, konuşma sırasında tipik bir insan gibi görünmesine yardımcı olma konusunda iyi bir iş çıkarmaz. Ayrıca iletişim için bireysel tercihlerin dikkate alınmasına da yardımcı olmuyorlar. Denetimli bir sistem (özellikle kullanıcılardan gelen açıklamalı geri bildirimleri kullanan bir takviye sistemi (insan geri bildiriminden takviyeli öğrenme veya kısaca RLHF olarak adlandırılır) bu sorunu çözmenin bir yoludur. RLHF, genel olarak insanlarla iyi konuşmasına yardımcı olmak için halihazırda eğitimli bir Yüksek Lisans'a uygulanabilir. Ayrıca bireysel tercihleri ​​öğrenebiliyor ve belirli bir kişinin tercih ettiği şekilde konuşabiliyor.

Çözüm

Özetle, denetimli ve denetimsiz öğrenme, makine öğreniminin iki temel alt kümesidir ve her biri benzersiz güçlü yönler sunar. Denetimli öğrenme, bol miktarda etiketli veri, ön eğitim için yeterli kaynaklar ve hızlı, ölçeklenebilir karar alma ihtiyacı içeren senaryolarda öne çıkar. Öte yandan, denetimsiz öğrenme, verilerdeki gizli yapıları ve ilişkileri ortaya çıkarırken, özellikle de etiketli veriler veya eğitim kaynakları sınırlı olduğunda ve karar verme süreci daha fazla zaman ve karmaşıklığa uyum sağlayabildiğinde öne çıkar. Her iki yaklaşımın avantajlarını, zorluklarını ve kullanım örneklerini anlayarak, bunları ne zaman ve nasıl etkili bir şekilde uygulayacağınız konusunda bilinçli kararlar verebilirsiniz.