Makine Öğreniminde Regresyon: Nedir ve Nasıl Çalışır?

Makine öğrenimindeki (ML) regresyon, giriş özelliklerine dayalı olarak sürekli değerleri tahmin etmek için kullanılan temel bir kavramdır. İster konut fiyatlarını tahmin etmek ister satışları tahmin etmek olsun, regresyon modelleri değişkenler arasındaki ilişkileri kurar. Bu makalede farklı regresyon modellerini, bunların arkasındaki algoritmaları ve her yöntemin en iyi ne zaman uygulanacağını açıklayacağız. Ayrıca regresyonun nasıl çalıştığını, pratik kullanım örneklerini ve makine öğreniminde regresyonu kullanmanın avantajlarını ve zorluklarını da keşfedeceksiniz.

İçindekiler

• Regresyon nedir?
• Regresyon modeli türleri
• Regresyon için kullanılan algoritmalar
• Regresyon örnekleri
• Regresyonun faydaları
• Regresyonun zorlukları

Makine öğreniminde regresyon nedir?

Regresyon, giriş verilerine dayalı olarak sürekli değerleri tahmin etmek için kullanılan bir denetimli öğrenme türüdür. Ev fiyatları, borsa eğilimleri veya hava koşulları gibi çeşitli şeyleri tahmin etmek ve açıklamak için değişkenler arasındaki ilişkileri tahmin eder. Regresyon modelleri, girdi özelliklerini sürekli bir hedef değişkenle eşleyerek kesin sayısal tahminlere olanak tanır.

Örneğin, bir regresyon modeli, geçen haftanın hava durumu verilerini kullanarak yarınki yağış miktarını tahmin edebilir. Öngördüğü değerler süreklidir; yani ondalık basamaklara kadar ölçülen sıcaklık veya gelecek aylar için öngörülen satış geliri gibi sayısal ölçekte herhangi bir yere düşebilirler.

Regresyon ve sınıflandırma: Fark nedir?

Regresyon sürekli sonuçları tahmin ederken, sınıflandırma ayrık kategorileri veya sınıfları tahmin etmeye odaklanır. Örneğin, bir regresyon modeli yarınki yağış miktarının kesin miktarını tahmin edebilirken, bir sınıflandırma modeli yağmur yağıp yağmayacağını (evet veya hayır) tahmin edebilir. Temel fark, regresyonun sayısal değerlerle ilgilenmesi, sınıflandırmanın ise verileri önceden tanımlanmış kategorilere atamasıdır.

Bazı durumlarda, bir regresyon modelinin çıktısını bir sınıflandırma görevine uyarlamak veya bunun tersini yapmak mümkündür, ancak iki yaklaşım genellikle farklı türdeki problemler için uygundur.

Regresyon: algoritma mı, model mi yoksa analiz mi?

Regresyon bazen, gözlemler ve sonuçlar arasındaki sürekli ilişkilerin araştırılmasını tanımlamak için kullanılan geniş bir istatistiksel terim olan regresyon analiziolarak da adlandırılır. Regresyon algoritması bu ilişkileri tanımlamak için tasarlanmış özel bir matematiksel araçtır. Bir makine öğrenimi modelini eğitmek için bir algoritma kullanıldığında sonucaregresyon modeliadı verilir.

Bu üç terim (regresyon analizi,regresyon algoritmasıveregresyon modeli) sıklıkla birbirinin yerine kullanılır, ancak her biri regresyon sürecinin farklı bir yönünü temsil eder.

Makine öğreniminde regresyon türleri

Regresyon modelleri, her biri girdi verileri ile tahmin edilen sonuçlar arasındaki farklı ilişkileri ele almak üzere tasarlanmış birçok biçimde mevcuttur. Doğrusal regresyon en sık kullanılan ve anlaşılması nispeten kolay olsa da polinom, lojistik ve Bayes regresyonu gibi diğer modeller daha karmaşık veya özel görevler için daha uygundur. Aşağıda regresyon modellerinin ana türlerinden bazıları ve bunların tipik olarak ne zaman kullanıldığı verilmiştir.

Basit ve çoklu (doğrusal) regresyon

Popüler bir regresyon tekniği olan doğrusal regresyon, yorumlama kolaylığı, hızlı eğitimi ve çeşitli uygulamalardaki güvenilir performansıyla bilinir. Açıklayıcı ve hedef değişkenler arasındaki ilişkiyi düz çizgiler kullanarak tahmin eder. Basit doğrusal regresyon bir açıklayıcı değişkeni içerirken, çoklu doğrusal regresyon iki veya daha fazlasını içerir. Genellikle birisi regresyon analizini tartışırken doğrusal regresyonu kasteder.

Polinom regresyon

Düz çizgiler, gözlemlenen değişkenler ile beklenen sonuçlar arasındaki ilişkiyi tatmin edici bir şekilde açıklayamıyorsa, polinom regresyon modeli daha iyi bir seçenek olabilir. Bu model sürekli, karmaşık ilişkiler arar ve eğrileri veya eğriler ve düz çizgilerin birleşimini kullanarak en iyi şekilde tanımlanan modelleri tanımlayabilir.

Lojistik regresyon

Gözlemler ile tahmin edilen değerler arasındaki ilişki sürekli (veya ayrık) olmadığında lojistik regresyon bu iş için en yaygın kullanılan araçtır. Bu bağlamda ayrık, kesirlerin veya gerçek sayıların o kadar alakalı olmadığı durumlar anlamına gelir (örneğin, bir kafeye kaç müşterinin gireceğini tahmin edersek, lojistik regresyon, yorumlanması daha zor olan 4,35 yerine 4 veya 5'e cevap verecektir).

Lojistik regresyonun en iyi bilinen biçimi, ikili (yani evet/hayır) soruların yanıtlarını tahmin edenikili regresyondur; lojistik regresyon tipik olarak ikilidir. Multinomiyal regresyon gibi daha karmaşık varyasyonlar, ikiden fazla seçenek sunan soruların yanıtlarını tahmin eder. Lojistik modeller özünde sürekli girdileri ayrık girdilere dönüştürmek için çeşitli işlevlerden birinin seçilmesine dayanır.

Bayes regresyonu

Doğrusal ve diğer regresyon teknikleri, doğru tahminler yapabilmek için önemli miktarda eğitim verisi gerektirir. Buna karşılık Bayesian regresyon, verilerin bazı istatistiksel özelliklerinin bilinmesi veya tahmin edilebilmesi koşuluyla, daha az veriyle güvenilir tahminler yapabilen gelişmiş bir istatistiksel algoritmadır. Örneğin, tatil sezonunda yeni ürün satışlarını tahmin etmek, yeni ürüne ilişkin satış verilerinin eksikliğinden dolayı doğrusal regresyon için zorlayıcı olabilir. Bayes regresyonu, yeni ürünün satışlarının diğer benzer ürünlerin satışlarıyla aynı istatistiksel dağılımı takip ettiğini varsayarak satış verilerini daha yüksek doğrulukla tahmin edebilir. Tipik olarak Bayesian regresyonları, verilerin Gaussian istatistiksel dağılımını takip ettiğini varsayar ve bu daBayesianveGaussian regresyonterimlerinin birbirinin yerine kullanılmasına yol açar.

Karışık efekt regresyonu

Regresyon, gözlemlenen veriler ile tahmin edilen veriler arasında rastgele olmayan bir ilişki olduğunu varsayar. Bazen, gözlemlenen verilerdeki karmaşık karşılıklı bağımlılıklar veya ara sıra rastgele davranışlar nedeniyle bu ilişkinin tanımlanması zordur. Karışık etki modelleri, rastgele verileri ve modellenmesi zor olan diğer davranışları ele alacak mekanizmaları içeren regresyon modelleridir. Bu modeller aynı zamanda karma, karma etki veya karma hata modelleri olarak da birbirinin yerine geçebilecek şekilde anılır.

Diğer regresyon algoritmaları

Regresyon çok iyi incelenmiştir. Binom, multinom ve gelişmiş karma etki tekniklerini kullananların yanı sıra birden fazla algoritmayı birleştirenler de dahil olmak üzere daha birçok karmaşık veya özel regresyon algoritması vardır. Birleştirilen çoklu algoritmalar, birden fazla sıralı katman gibi sıralı bir şekilde düzenlenebilir veya paralel olarak çalıştırılıp daha sonra bir şekilde toplanabilir. Birden fazla modeli paralel olarak çalıştıran bir sisteme genellikle orman denir.

Regresyon analizi için kullanılan algoritmalar

Regresyon modelleri oluşturmak için makine öğreniminde birçok regresyon algoritması türü kullanılır. Bazı algoritmalar belirli türde modeller oluşturmak için tasarlanmıştır (bu durumda algoritma ve model genellikle aynı adı paylaşır). Diğerleri ise mevcut modellerin doğruluğunu veya verimliliğini artırmak gibi yönlerini iyileştirmeye odaklanıyor. Aşağıda daha sık kullanılan algoritmalardan bazılarını ele alacağız. Ancak bunu yapmadan önce bunların nasıl değerlendirildiğini anlamak önemlidir: Genellikle iki temel özelliğe dayanır: varyans ve önyargı.

• Varyans,bir modelin tahminlerinin farklı veri kümeleri üzerinde eğitildiğinde ne kadar dalgalandığını ölçer. Yüksek varyansa sahip bir model, eğitim verilerine çok yakın uyum sağlayabilir ancak yeni, görünmeyen verilerde düşük performans gösterebilir; bu, aşırı uyum olarak bilinen bir olgudur. İdeal olarak, regresyon algoritmaları düşük varyansa sahip modeller üretmelidir; bu, bunların yeni verilere iyi bir şekilde genelleştirilebilmesi ve eğitim setindeki değişikliklere karşı aşırı duyarlı olmaması anlamına gelir.
• Önyargı, çok karmaşık olabilecek gerçek dünya probleminin basitleştirilmiş bir modele yaklaşmasıyla ortaya çıkan hatayı ifade eder. Yüksek önyargı, modelin verilerdeki önemli kalıpları yakalayamamasına ve hatalı tahminlere yol açmasına neden olabilecek yetersiz uyumlara neden olabilir. İdeal olarak önyargının düşük olması gerekir; bu, modelin verilerdeki ilişkileri aşırı basitleştirmeden etkili bir şekilde yakaladığını gösterir. Bazı durumlarda, eğitim verilerinin iyileştirilmesi veya regresyon algoritmasının parametrelerinin ayarlanması yoluyla önyargı azaltılabilir.

Basit ve çoklu (doğrusal) regresyon

Basit doğrusal regresyon, tek bir açıklayıcı değişken ile tahmin edilen sonuç arasındaki ilişkiyi analiz eder ve bu da onu regresyonun en basit şekli yapar. Çoklu doğrusal regresyon daha karmaşıktır ve iki veya daha fazla değişken ile bir sonuç arasındaki ilişkileri bulur. Her ikisi de genellikle bu kalıba uyan doğrusal denklemlere dayalı, doğrusal bir yapıya sahip ilişkiler buluyor:

y =β + β1x + ε

Buraday tahmin edilecek bir sonuçtur,xtahmin edilecek bir değişkendir,εen aza indirilmeye çalışılacak bir hatadır veβveβ1regresyonun hesapladığı değerlerdir.

Doğrusal regresyon, açıklayıcı değişkenler ile tahmin edilen sonuçlar arasında ilişkiler oluşturmak için denetimli bir öğrenme sürecini kullanır. Öğrenme süreci, eğitim verilerini tekrar tekrar inceler ve veriler üzerindeki her yinelemede temeldeki doğrusal denklemlere ilişkin parametreleri geliştirir. Parametre performansını değerlendirmenin en yaygın yöntemleri, test veya eğitimde kullanılan tüm mevcut veriler için ortalama hata değerlerinin hesaplanmasını içerir. Hata hesaplama yöntemlerinin örnekleri arasındaortalama karesel hata(tahminler ile gerçek sonuçlar arasındaki mesafelerin karelerinin ortalaması),ortalama mutlak hataveartık kareler toplamı(ortalama yerine toplam hatalar) gibi daha karmaşık yöntemler yer alır.

Polinom regresyon

Polinom regresyon, doğrusal regresyona göre daha karmaşık problemleri ele alır ve genellikle gelişmiş matris işlemleriyle doğrusal denklem sistemlerinin çözülmesini gerektirir. Verilerde yalnızca düz çizgilerle temsil edilebilecek ilişkileri değil, eğri olan ilişkileri de bulabilir. Doğru uygulandığında doğrusal regresyonun başarısız olduğu problemlerde varyansı azaltacaktır. Ayrıca gelişmiş matematiksel kavramlara ve işlemlere bağlı olduğundan anlaşılması, uygulanması ve optimize edilmesi daha zordur.

Bir polinom regresyonu,yve çoklux'leriilişkilendiren denklemleri, şu modeli izleyen polinom şekilli denklemlerle çözmeye çalışacaktır:

y =β + β1x + β2x2+ … + ε

Polinom regresyon algoritması hem kullanılacak idealβdeğerlerini hem de polinomun şeklini (yile her birx? arasındaki ilişkiyi tanımlamak için kaçxüssüne ihtiyaç duyulabilir) arayacaktır.

Kement regresyonu

Kement,L1veL1norm regresyonu olarak da bilinen kement regresyonu (en az mutlak daralma ve seçim operatörü anlamına gelir), aşırı uyumu azaltmak ve model doğruluğunu iyileştirmek için kullanılan bir tekniktir. Model katsayılarının mutlak değerlerine bir ceza uygulayarak, bazı katsayıları etkili bir şekilde küçülterek veya sıfıra indirerek çalışır. Bu, ilgisiz özelliklerin hariç tutulduğu daha basit modellere yol açar. Kement algoritması, model karmaşıklığını kontrol ederek aşırı uyumun önlenmesine yardımcı olur ve doğruluktan çok fazla ödün vermeden modeli daha yorumlanabilir hale getirir.

Kement özellikle açıklayıcı değişkenler ilişkilendirildiğinde kullanışlıdır. Örneğin, hava durumu tahmininde sıcaklık ve nem birbiriyle ilişkili olabilir ve bu da aşırı uyuma yol açabilir. Lasso bu tür korelasyonların etkisini azaltarak daha sağlam bir model oluşturur.

Sırt regresyonu

Ridge regresyonu (aynı zamandaL2,L2normu veya Tikhonov düzenlemesi olarak da bilinir), özellikle çoklu bağlantı (açıklayıcı değişkenler arasındaki korelasyon) mevcut olduğunda aşırı uyumu önlemek için başka bir tekniktir. Katsayıları sıfıra indirebilen kementten farklı olarak Ridge regresyonu, model katsayılarının karesiyle orantılı bir ceza ekler. Amaç, değişkenleri tamamen ortadan kaldırmadan katsayılarda küçük ayarlamalar yapmaktır.

Regresyon kullanım senaryolarına örnekler

Regresyon modelleri, geçmiş verilere dayalı tahminler yapmak için çeşitli sektörlerde yaygın olarak kullanılmaktadır. Değişkenler arasındaki kalıpları ve ilişkileri tanımlayarak bu modeller, karar verme konusunda değerli bilgiler sağlayabilir. Aşağıda regresyonun uygulandığı alanların iyi bilinen üç örneği verilmiştir.

Hava analizi ve tahmini

Regresyon analizi, gelecek haftanın her günü için beklenen sıcaklık ve yağış gibi hava durumu modellerini tahmin edebilir. Genellikle nem, rüzgar hızı, atmosferik basınç ve bulut örtüsü dahil olmak üzere geçmiş hava durumu verileri üzerinde birkaç farklı regresyon algoritması eğitilir. Bu değişkenlerin saatlik veya günlük ölçümleri, modelin öğrenebileceği özellikler olarak hizmet eder ve algoritmanın görevi, zaman içindeki sıcaklık değişikliklerini tahmin etmekle görevlendirilir. Hava durumu modellerini tahmin etmek için birden fazla regresyon algoritması (bir topluluk) paralel olarak kullanıldığında, bunların tahminleri tipik olarak ağırlıklı ortalama gibi bir ortalama alma biçimi aracılığıyla birleştirilir.

Satışları ve geliri tahmin etmek

İş bağlamında, geliri ve diğer temel performans ölçümlerini tahmin etmek için regresyon modelleri sıklıkla kullanılır. Çoklu regresyon modeli, pazarlama kampanyalarından elde edilen ölçümler, müşteri geri bildirimleri ve makroekonomik eğilimler gibi satış hacmini etkileyen değişkenleri içerebilir. Model daha sonra belirli bir gelecek dönem için satışları ve geliri tahmin etmekle görevlendirilir. Yeni veriler elde edildikçe model, en son gözlemlere dayanarak tahminlerini hassaslaştırmak için yeniden eğitilebilir veya güncellenebilir.

Sağlık sonuçlarının tahmin edilmesi

Regresyon modellerinin sağlık sonuçlarını tahmin etmede çok sayıda uygulaması vardır. Örneğin Bayesian modelleri, geçmiş hasta verilerinden öğrenerek insidans oranı oranlarını tahmin etmek için kullanılabilir. Bu modeller, "Bir ilacın dozajını ayarlarsak ne olur?" gibi soruların yanıtlanmasına yardımcı olur. Yaşam tarzı ayarlamalarına dayalı olarak hastanın sağlığındaki değişiklikleri tahmin etmek gibi risk faktörlerini tanımlamak için doğrusal regresyon kullanılabilir. Tanı için yaygın olarak kullanılan lojistik regresyon, hastanın tıbbi geçmişine ve diğer ilgili değişkenlere dayanarak bir hastalığın varlığına ilişkin olasılık oranını hesaplar.

Regresyonun faydaları

Regresyon algoritmaları ve modelleri, özellikle de doğrusal regresyon, birçok makine öğrenimi sisteminin temel bileşenleridir. Aşağıdaki faydalardan dolayı yaygın olarak kullanılırlar:

• Hızlı olabilirler.Regresyon teknikleri, birden fazla değişken (özellikler) ile bir hedef değer arasında hızlı bir şekilde ilişkiler kurabilir, bu da bunları keşfedici veri analizi için faydalı hale getirir ve makine öğrenimi modellerinin eğitimini hızlandırır.
• Çok yönlüdürler. Doğrusal, polinom ve lojistik regresyon gibi pek çok regresyon modeli iyi araştırılmıştır ve tahminden sınıflandırma görevlerine kadar çok çeşitli gerçek dünya problemlerini çözmek için uyarlanabilir.
• Uygulamaları kolay olabilir. Örneğin doğrusal regresyon modelleri, karmaşık matematik veya mühendislik teknikleri gerektirmeden uygulanabilir, bu da onları çeşitli beceri seviyelerindeki veri bilimcileri ve mühendisler için erişilebilir hale getirir.
• Anlaşılması kolaydır. Regresyon modelleri, özellikle doğrusal regresyon, değişkenler arasındaki ilişkilerin ve bunların tahmin edilen sonuç üzerindeki etkisinin genellikle açık olduğu yorumlanabilir çıktılar sunar. Bu, onları verilerdeki daha ayrıntılı ve daha derin analizlere ışık tutabilecek eğilimleri ve kalıpları belirlemek için faydalı kılar. Bazı durumlarda regresyon modelleri, kullanım durumuna bağlı olarak daha yüksek doğruluk için yorumlanabilirlikten vazgeçebilir.

Regresyondaki zorluklar

Regresyon modelleri birçok fayda sunarken, aynı zamanda kendi zorluklarını da beraberinde getiriyor. Çoğu zaman bu zorluklar, özellikle karmaşık sorunlarla veya sınırlı verilerle çalışırken performansın veya genellenebilirliğin azalmasına yansır. Regresyon analizinde karşılaşılan en yaygın sorunlardan bazıları aşağıda verilmiştir.

• Aşırı Uyum:Modeller sıklıkla önyargı ve varyans arasında denge kurmakta zorlanır. Bir model çok karmaşıksa, geçmiş verilere çok iyi uyum sağlayabilir (varyansı azaltır), ancak yeni verilerle karşılaştığında önyargılı hale gelebilir. Bunun nedeni genellikle modelin genelleştirilmiş bir soyutlamayı öğrenmek yerine eğitim verilerini ezberlemesidir.
• Yetersiz Uyum:Eldeki problem için fazla basit olan bir model yüksek yanlılığa maruz kalabilir. Hem eğitim verilerinde hem de görünmeyen verilerde yüksek hata oranları gösterecektir, bu da temel kalıpları öğrenmediğini gösterir. Yüksek önyargıyı düzeltmek için aşırı ayarlamalar yapılması, modelin verilerin karmaşıklığını yakalayamadığı yetersiz uyumlara yol açabilir.
• Karmaşık eğitim verileri:Regresyon modelleri genellikle eğitim için kullanılan gözlemlerin bağımsız olduğunu varsayar. Veriler karmaşık ilişkiler veya doğası gereği rastgelelik içeriyorsa, model doğru ve güvenilir tahminler oluşturmakta zorlanabilir.
• Eksik veya eksik veriler:Denetimli regresyon algoritmaları, kalıpları öğrenmek ve önemli durumları hesaba katmak için büyük miktarda veriye ihtiyaç duyar. Eksik veya tamamlanmamış verilerle uğraşırken model, özellikle kapsamlı veri kapsamı gerektiren karmaşık ilişkileri öğrenirken iyi performans göstermeyebilir.
• Tahmin edici değişken seçimi:Regresyon modelleri, doğru tahmin edici değişkenleri (özellikler) seçmek için insanlara dayanır. Çok fazla alakasız değişken dahil edilirse model performansı düşebilir. Tersine, eğer çok az veya yanlış değişken seçilirse, model sorunu doğru bir şekilde çözemeyebilir veya güvenilir tahminlerde bulunamayabilir.