Makine Öğreniminde Lojistik Regresyon Nedir?

Lojistik regresyon, istatistiksel analiz ve makine öğreniminde (ML) temel bir yöntemdir. Bu kapsamlı kılavuz, lojistik regresyonun temellerini açıklayacak ve çeşitli türleri, gerçek dünya uygulamalarını ve bu güçlü tekniği kullanmanın avantajlarını ve dezavantajlarını tartışacaktır.

İçindekiler

• Lojistik regresyon nedir?
• Lojistik regresyon türleri
• Lojistik ve doğrusal regresyon
• Lojistik regresyon nasıl çalışır?
• Uygulamalar
• Avantajları
• Dezavantajları

Lojistik regresyon nedir?

Logit regresyon veya logit modeli olarak da bilinen lojistik regresyon, özellikle ikili bir sonucun (yani iki olası sınıfın) olasılığını tahmin etmek için sınıflandırma görevleri için kullanılan bir tür denetimli öğrenme algoritmasıdır. Belirli bir olayın meydana gelme olasılığını tahmin eden aynı isimli istatistiksel yöntemlere dayanmaktadır. Örneğin lojistik regresyon, bir e-postanın spam olma olasılığını veya bir müşterinin bir satın alma işlemi gerçekleştirmesini veya bir web sitesinden ayrılma olasılığını tahmin etmek için kullanılabilir.

Model, olayın ilgili özelliklerini (“tahmin edici değişkenler” veya “özellikler” olarak adlandırılır) değerlendirir. Örneğin, etkinlik "bir e-posta geldi" ise ilgili özellikler kaynak IP adresini, gönderenin e-posta adresini veya içerik okunabilirlik derecelendirmesini içerebilir. Aşağıdaki forma sahip olan lojistik fonksiyonu kullanarak bu tahmin ediciler ile sonucun olasılığı arasındaki ilişkiyi modeller:

f(x) = 1 / ( 1 + e ^-x )

Bu işlev, olayın tahmini olasılığını temsil eden 0 ile 1 arasında bir değer üretir ("Bu e-postanın spam olma olasılığı %80'dir" diyebilir).

Lojistik regresyon, makine öğreniminde, özellikle ikili sınıflandırma görevlerinde yaygın olarak kullanılmaktadır. Sigmoid işlevi (bir tür lojistik işlev), genellikle herhangi bir ikili sınıflandırma modelinin çıktısını olasılığa dönüştürmek için kullanılır. Lojistik regresyon basit olmasına rağmen, olasılıkları modellemek için benzer lojistik fonksiyonların kullanıldığı sinir ağları gibi daha karmaşık modeller için temel bir teknik görevi görür.Logit modeliterimi, girdi özelliklerini tahmin edilen olasılıklarla eşleştirmek için bu logit işlevini kullanan modelleri ifade eder.

Lojistik regresyon türleri

Üç ana lojistik regresyon türü vardır: ikili, çok terimli ve sıralı.

İkili lojistik regresyon

İkili regresyon olarak da bilinen bu, lojistik regresyonun standart ve en yaygın biçimidir.Lojistik regresyonterimi niteleyiciler olmadan kullanıldığında genellikle bu türe atıfta bulunur. "İkili" adı tam olarak iki sonucu dikkate aldığından gelir; evet ya da hayır sorularına cevap vermek olarak düşünülebilir. İkili regresyon, evet veya hayır zincirleri veya ikili sorular olarak yeniden çerçevelenirse daha karmaşık soruları ele alabilir.

Örnek:Birbirini dışlayan üç seçeneğin olasılığını hesapladığınızı hayal edin: Bir müşterinin vazgeçip vazgeçmeyeceği (yani, ürünü kullanmayı bırakacağı), bir hizmetin ücretsiz sürümüne mi kaydolacağı, yoksa ücretli premium sürümüne mi kaydolacağı. Zincirleme ikili regresyon, aşağıdaki soru zincirini yanıtlayarak bu sorunu çözebilir:

• Müşteri vazgeçecek mi (evet mi hayır mı)?
• Değilse, müşteri ücretsiz hizmete kaydolacak mı (evet mi hayır mı)?
• Değilse, müşteri ücretli premium hizmete kaydolacak mı (evet mi hayır mı)?

Çok terimli lojistik regresyon

Multinomial regresyon olarak da bilinen bu lojistik regresyon biçimi, ikiden fazla potansiyel sonuca sahip soruları yanıtlayabilen ikili regresyonun bir uzantısıdır. Daha karmaşık sorunları çözmek için soruların zincirlenmesi ihtiyacını ortadan kaldırır. Multinomial regresyon, hesaplanan olasılıkların herhangi bir karşılıklı bağımlılığı veya sırası olmadığını ve dikkate alınan seçenekler kümesinin tüm olası sonuçları kapsadığını varsayar.

Örnek:Çok terimli regresyon, bir müşterinin satın aldığı araba için mevcut renkler listesinden hangi rengi isteyebileceğini tahmin ederken işe yarar. Ancak, yeşil, sarı ve kırmızı renklerin bir müşteri destek sorunu için önem etiketleri olarak değerlendirilmesi gibi sıranın önemli olduğu durumlarda olasılıkların hesaplanmasında pek işe yaramaz; sorun her zaman yeşil olarak başlar ve sonra sarıya iletilebilir ve daha sonra kırmızı (sarı her zaman yeşili ve kırmızı her zaman sarıyı takip eder).

Sıralı lojistik regresyon

Regresyon için orantılı olasılık modeli olarak da bilinen bu özel lojistik regresyon biçimi, sıralı değerler (sonuçlar arasındaki göreceli sıralamanın önemli olduğu durumlar) için tasarlanmıştır. Sıralı lojistik regresyon, sonuçların doğal bir sıraya sahip olduğu ancak kategoriler arasındaki mesafelerin bilinmediği durumlarda kullanılır.

Örnek:Bir otel misafirinin konaklamasını beş bölümlü bir ölçekte nereye sıralayacağının olasılığını hesaplamak için kullanılabilir: çok kötü, kötü, nötr, iyi ve çok iyi. Göreceli sıralama önemlidir; kötü her zaman nötrden daha kötüdür ve incelemelerin ölçekte hangi yönde ilerleyeceğine dikkat etmek önemlidir. Sıra önemli olduğunda, sıralı regresyon, olasılıkları hesaplanan değerler arasındaki ilişkileri ölçebilir (örneğin, kötünün, nötr olanın yarısı kadar sıklıkla ortaya çıkma eğiliminde olduğunu tespit edebilir).

Lojistik regresyon ve doğrusal regresyon

Farklı olmasına rağmen, lojistik regresyon ve doğrusal regresyon genellikle benzer bağlamlarda ortaya çıkar çünkü bunlar daha büyük, ilgili matematiksel araç setinin parçalarıdır. Lojistik regresyon genellikle ayrık sonuçlar için olasılıkları hesaplarken, doğrusal regresyon sürekli sonuçlar için beklenen değerleri hesaplar.

Örneğin, gelecekte bir gün için en muhtemel sıcaklığı tahmin etmeye çalışılırsa doğrusal regresyon modeli bu iş için iyi bir araç olabilir. Lojistik regresyon modelleri ise aksine, sabit bir seçim listesinden iki veya daha fazla seçeneğin olasılıklarını hesaplamaya veya tahmin etmeye çalışır. Lojistik regresyon modeli, belirli bir sıcaklığı tahmin etmek yerine, belirli bir günün sıcak, rahat veya soğuk sıcaklık aralıklarına düşme ihtimalini verebilir.

Ayrı kullanım durumlarını ele almak üzere oluşturulduklarından, iki model, tahmin ettikleri değerlerin istatistiksel özellikleri hakkında farklı varsayımlarda bulunur ve farklı istatistiksel araçlarla uygulanır. Lojistik regresyon tipik olarak Bernoulli dağılımı gibi ayrık değerlere uygulanan istatistiksel bir dağılım varsayar; doğrusal regresyon ise Gauss dağılımını kullanabilir. Lojistik regresyon genellikle etkili bir şekilde çalışmak için daha büyük veri kümeleri gerektirirken, doğrusal regresyon genellikle etkili aykırı değerlere karşı daha duyarlıdır. Ek olarak, lojistik regresyon hesapladığı olasılıkların yapısı hakkında varsayımlarda bulunurken doğrusal regresyon, eğitim veri kümesinde hataların nasıl dağıtıldığına ilişkin varsayımlarda bulunur.

Bu modeller arasındaki farklar, belirli ideal kullanım durumlarında daha iyi performans göstermelerine neden olur. Lojistik regresyon kategorik değerleri tahmin etmede daha doğru, doğrusal regresyon ise sürekli değerleri tahmin etmede daha doğru sonuç verecektir. Ancak çıktıları basit matematiksel hesaplamalarla yeniden tasarlanabildiği için bu iki teknik sıklıkla birbiriyle karıştırılır. Bir lojistik regresyon modelinin çıktısı, bir dönüşümden sonra, doğrusal bir modelin çıktısı ile aynı türden problemlere uygulanarak, iki ayrı modelin eğitim maliyetinden tasarruf edilebilir. Ama bu da işe yaramayacak; aynı şey tersi için de geçerlidir.

Lojistik regresyon nasıl çalışır?

Bir tür denetimli öğrenme algoritması olarak lojistik regresyon, iyi açıklamalı veri kümelerinden öğrenmeye dayanır. Veri kümeleri genellikle her biri için beklenen model çıktısıyla eşleşen özellik temsillerinin listesini içerir.

Lojistik regresyonu daha net anlamak için öncelikle aşağıdaki temel terminolojiyi kavramak önemlidir:

• Tahmin değişkenleri:Sonuçlara ilişkin olasılıklar hesaplanırken lojistik model tarafından dikkate alınan özellikler veya özellikler. Örneğin, bir müşterinin bir ürünü satın alma olasılığını tahmin etmeye yönelik öngörücü değişkenler, demografik verileri ve tarama geçmişini içerebilir.
• Özellik gösterimi:Tahmin edici değişkenlerin belirli bir örneği. Örneğin, yordayıcı değişkenler "posta kodu", "eyalet" ve "gelir aralığı" ise, özellik temsillerinden biri "90210", "Kaliforniya" ve "75K+/yıl" olabilir.
• Bağlantı işlevi:Bir regresyon modelinin temelinde yer alan ve yordayıcı değişkenleri belirli bir sonucun olasılığına bağlayan matematiksel işlev. Fonksiyon şu modeli takip edecektir:

θ = b(μ)

burada θkategori başına tahmin edilecek olasılıktır,bbelirli bir fonksiyondur (genellikle sigmoid olarak adlandırılan Sşeklindebir fonksiyondur) veμtahmin edilen değeri temsil eder (sürekli bir değer aralığından).

• Lojistik fonksiyon:Lojistik regresyonda kullanılan ve şu şekilde tanımlanan spesifik bağlantı fonksiyonu:

σ ( x ) =1 / ( 1 +e^-x)

Çıktıyı 0 ile 1 arasındaki bir olasılığa göre normalleştirir, tahmin değişkenlerindeki orantılı, çarpmaya dayalı değişiklikleri oranlardaki tutarlı, toplamsal değişikliklere dönüştürür.

• Logit fonksiyonu:Olasılık değerlerini log-odd'lara dönüştüren lojistik fonksiyonun tersi, tahmin değişkenlerinin bir sonucun ihtimaliyle nasıl ilişkili olduğunu açıklamaya yardımcı olur. Tahmin edici değişkenlerin bir sonucun olasılığıyla nasıl ilişkili olduğunu açıklamaya yardımcı olur. Şu şekilde tanımlanır:

logit p =σ ( p ) ^-1= ln ( p / ( 1 – p ) )

Belirli bir poranı için lojistik fonksiyonun tersini gerçekleştirir.

• Log kaybı:Çapraz entropi kaybı veya lojistik kayıp olarak da bilinen bu kayıp, sınıflandırma modellerinde tahmin edilen olasılıklar ile gerçek sonuçlar arasındaki farkı ölçer. İkili sınıflandırma için buna genellikle "ikili çapraz entropi" adı verilir.

Lojistik regresyon sürecinin merkezinde hangi bağlantı fonksiyonunun kullanılacağına karar verilir. İkili lojistik regresyon için bu her zaman lojistik fonksiyon olacaktır. Daha karmaşık regresyonlar diğer sigmoid fonksiyon türlerini kullanacaktır; En popüler sigmoid işlevlerinden biri softmax olarak bilinir ve ML modellerinde ve çok terimli regresyon kullanım durumlarında çok sık kullanılır.

Eğitim sırasında sistem aynı zamanda regresyonun ne kadar iyi performans gösterdiğini veya uyumunu hesaplayan bir kayıp fonksiyonuna da bağlı olacaktır. Sistemlerin amacının, tahmin edilen sonuç veya ihtimaller ile gerçek dünyada olanlar arasındaki mesafeyi azaltmak olduğu düşünülebilir (bazen bu mesafeye “sürpriz” de denir). Lojistik regresyon için kayıp fonksiyonu, çok popüler olan log kayıp fonksiyonunun bir varyasyonudur.

Gradyan iniş, maksimum olasılık tahmini ve stokastik gradyan iniş dahil olmak üzere lojistik regresyon modelini eğitmek için çeşitli standart ML eğitim algoritmaları kullanılabilir.

Lojistik regresyonun makine öğreniminde uygulamaları

Lojistik regresyon ML modelleri genellikle sınıflandırma görevleri için veya kısmi bilgilerden sınıfları tahmin etmek için kullanılır. Kullanım örnekleri finans, sağlık hizmetleri, epidemiyoloji ve pazarlama dahil olmak üzere birçok alanı kapsar. En iyi bilinen uygulamalardan ikisi, e-posta spam tespiti ve tıbbi teşhis içindir.

E-posta spam tespiti

Lojistik regresyon, e-postaların spam olup olmadığı gibi iletişimi sınıflandırmak için etkili bir araç olabilir, ancak karmaşık durumlarda sıklıkla daha gelişmiş yöntemler kullanılır. Gönderen adresi, hedef, mesajın metin içeriği, kaynak IP adresi vb. (bir e-postanın tüm özellikleri) tahmin değişkenleri olarak işaretlenebilir ve belirli bir e-postanın spam olma ihtimali hesaba katılabilir. E-posta spam filtresi araçları, ikili lojistik modellerini yeni e-posta iletilerine göre hızlı bir şekilde eğitip günceller ve yeni spam stratejilerini hızlı bir şekilde algılayıp bunlara tepki verir.

Spam filtrelerinin daha gelişmiş sürümleri, e-postaları spam olarak tanımlamayı daha kolay hale getirmek için ön işleme tabi tutar. Örneğin, bir komut dosyası, bir e-postadaki gönderenin IP adresi için spam olarak işaretlenen e-postaların bir yüzdesini ekleyebilir ve regresyonda bu bilgi dikkate alınabilir.

Tıbbi tanı

Lojistik regresyon modelleri yaygın olarak diyabet ve meme kanseri gibi tıbbi durumların teşhisine yardımcı olmak için kullanılır. Doktorlar ve tıbbi araştırmacılar tarafından gerçekleştirilen analizlerden öğrenir ve bunları temel alırlar.

Kanser tespiti gibi görüntü ağırlıklı bir teşhis için tıbbi araştırmacılar ve profesyoneller çeşitli testlerden, görüntülemelerden ve taramalardan veri kümeleri oluşturur. Bu veriler daha sonra işlenir ve metinsel değerlendirme listelerine dönüştürülür. Bir görüntü, piksel yoğunluğu, çeşitli piksel kümelerinin sayısı ve ortalama yarıçapı vb. gibi ayrıntılar açısından analiz edilebilir. Bu ölçümler daha sonra diğer testlerin ve değerlendirmelerin sonuçlarını içeren öngörücü değişkenler listesine dahil edilir. Lojistik regresyon sistemleri bunlardan öğrenir ve bir hastaya kanser teşhisi konma ihtimalinin olup olmadığını tahmin eder.

Lojistik regresyon sistemleri, tıbbi teşhisleri yüksek doğrulukla tahmin etmenin yanı sıra, hangi test sonuçlarının kendi değerlendirmeleriyle en alakalı olduğunu da gösterebilir. Bu bilgi, yeni bir hasta için testlerin önceliklendirilmesine yardımcı olarak tanı sürecini hızlandırabilir.

ML'de lojistik regresyonun avantajları

Lojistik regresyon, özellikle sonuçların nispeten hızlı bir şekilde üretilmesinin gerektiği ve verilere ilişkin içgörülerin önemli olduğu durumlarda, basitliği ve yorumlanabilirliği nedeniyle sıklıkla tercih edilir.

Hızlı, pratik sonuçlar

Pratik açıdan bakıldığında, lojistik regresyonun uygulanması basit ve yorumlanması kolaydır. Güvenilir bir performans sergiliyor ve veriler varsayımlar veya beklentilerle tam olarak örtüşmediğinde bile değerli bilgiler sağlıyor. Temel matematiksel modeller verimlidir ve optimize edilmesi nispeten basittir; bu da lojistik regresyonu birçok uygulama için sağlam ve pratik bir seçim haline getirir.

Veri özelliklerine ilişkin faydalı bilgiler

Teorik olarak lojistik regresyon, ikili sınıflandırma görevlerinde üstündür ve yeni verileri sınıflandırmada genellikle çok hızlıdır. Hangi değişkenlerin ilgilenilen sonuçla ilişkili olduğunu belirlemeye yardımcı olabilir ve daha fazla veri analizinin nereye odaklanması gerektiği konusunda fikir verebilir. Lojistik regresyon genellikle basit kullanım durumlarında yüksek doğruluk sağlar; Belirli veri kümeleri için doğruluk azalsa bile değişkenlerin göreceli önemine ve etkilerinin yönüne (olumlu veya olumsuz) ilişkin anlamlı bilgiler sağlamaya devam eder.

ML'de lojistik regresyonun dezavantajları

Lojistik regresyon, analiz ettiği veriler hakkında varsayımlarda bulunarak, temel algoritmaların kullanışlılığını sınırlama pahasına daha hızlı ve daha kolay anlaşılmasına yardımcı olur. Sürekli sonuçları veya doğrusal olmayan ilişkileri modellemek için kullanılamazlar, modelle olan ilişki çok karmaşıksa başarısız olabilirler ve çok fazla veriyi analiz ederlerse aşırı uyum sağlarlar.

Ayrık sonuçlarla sınırlıdır

Lojistik regresyon yalnızca ayrık sonuçları tahmin etmek için kullanılabilir. Sorun sürekli tahminler gerektiriyorsa doğrusal regresyon gibi teknikler daha uygundur.

Doğrusal ilişkileri varsayalım

Model, tahmin değişkenleri ile tahmin edilen olasılıklar arasında doğrusal bir ilişki olduğunu varsayar; bu, gerçek dünya verilerinde nadiren görülen bir durumdur. Bu genellikle doğruluğu artırmak için ek ön işleme ve ayarlamalar gerektirir. Ek olarak lojistik regresyon, sınıflandırma kararlarının, gerçek dünya senaryolarının karmaşıklığını yansıtmayabilecek basit doğrusal fonksiyonlar kullanılarak verilebileceğini varsayar. Sonuç olarak, lojistik regresyon genellikle alakalı kalabilmek için düzenli optimizasyon ve güncellemeler gerektirebilecek bir yaklaşımdır.

Karmaşık ilişkileri modellemede başarısız olabilir

Bir dizi yordayıcı değişkenin hesaplanan oranla doğrusal bir ilişkisi yoksa veya yordayıcı değişkenler birbirinden yeterince bağımsız değilse, lojistik regresyon tamamen çalışmayabilir veya yalnızca doğrusal ilişkilerin bir alt kümesini algılayabilir sistem hem doğrusal hem de diğer daha karmaşık özelliklerin bir karışımına sahip olduğunda.

Büyük veri kümelerini aşırı sığdırma

Daha büyük ve daha karmaşık veri kümeleri için, lojistik regresyon, modelin üzerinde eğitim aldığı belirli verilerle çok yakından hizalandığı ve genel kalıplar yerine gürültüyü ve küçük ayrıntıları yakaladığı aşırı uyum sağlamaya eğilimlidir. Bu, yeni, görünmeyen verilerde performansın düşmesine neden olabilir. Düzenlileştirme gibi teknikler aşırı uyumun azaltılmasına yardımcı olabilir, ancak karmaşık verilere lojistik regresyon uygulanırken dikkatli bir değerlendirme yapılması gerekir.