16 Aralık 2016 Cuma

Simpson Paradoksu ile Tanışın (Hangi Sonuç Doğru?)

Geçtiğimiz gün ekipten 4 arkadaş ile 2 kişilik 2 takım oluşturduk ve meşhur futbol maçı oyunlarından birini oynadık. Takımların birinde Kise-Özdemir (KÖ), diğerinde ise Altıntaş-Akbal (AA) yer aldı. Toplamda 5 maç yaptık. Mücadelenin sonunda AA takımı iyi oynadıklarını ve kazandıklarını iddia ediyordu. Benim bulunduğum KÖ takımı ise tam tersini düşünüyordu. Acaba hangi takım daha başarılı?

Her bir maç için gol sayılarını aşağıda belirttim. Kolaylık olsun diye maçtaki yüksek skorları yeşil renge boyadım. Sonuçlar şöyleydi :


Sizce AA takımı mı yoksa benim bulunduğum KÖ takımı mı daha başarılı?

Maçları tekil olarak incelersek 2 maç KÖ, 3 maç AA kazanmış. 3>2 (3 büyük 2'den) olduğuna göre AA takımı en fazla maç kazanan takım olmuş diyebiliriz. Peki ya AA takımı KÖ takımından daha başarılıdır diyebilir miyiz? Acele etmeyin! Verilere tekrar bakalım.

Tüm maçlardaki golleri de ek bir kolonda belirtelim. Toplam gol sayısıyla birlikte baktığımızda sonuçlar şöyle görünür:


Hepsini bir arada incelediğimizde KÖ takımı 11 gol atmışken, AA takımı 10 gol atabilmiş. 11>10 (11 büyük 10'dan) olduğuna göre KÖ takımı AA takımından daha başarılı bir oyunculuk sergilemiştir diyebiliriz.

Şaşırdınız mı? AA takımı buna şaşıracak. Bu mücadeleden katıksız bir üstünlük elde ettiklerini düşünüyorlardı. Ancak kazandığını sandıkları başarı, istatistiksel olarak yeterince güvenli değil. Bakış açısını değiştirip tüm sayıları ele aldığımızda KÖ takımının daha başarılı olduğunu görüyoruz. Üzgünüm AA takımı :)

Hangi Sonuç Doğru?


Yukarıda incelediğimiz durum bir tür paradokstur. Paradokslar içinden çıkılamaz bir zihinsel döngü oluşturur.

Paradokslara bir örnek verelim;

Küçük yaşta tahta geçen Fatih Sultan Mehmet sefere giderken babası Sultan Murat'ın ordunun başında durmasını ister fakat Sultan Murat bunu kabul etmez. Fatih babasını ikna etmek şu cümleyi kurar; "Eğer sen padişahsan geç ordunun başına. Yok eğer ben padişahsam emrediyorum ordunun başına geçeceksin!". Nihayetinde Sultan Murat ordunun başına geçmek zorunda kalır.

Matematik yalan söylemez ama İstatistik yalan söyleyebilir. Matematik paradoksların varlığını gözler önüne serer. Ancak çıktıları nasıl değerlendireceğiniz size kalmıştır. Sonuçların en işe gelir şekilde yorumlandığı alan da İstatistik olsa gerek.

Yukarıdaki maç mücadelesi örneğinde karşılaştığımız paradoksun istatistikte özel bir adı bile var. Buna Simpson Paradoksu veya Yule-Simpson Etkisi adı verilir. Bu tür istatistiksel sonuçlara baktığımızda detaydaki bir eğilimin bütünde olmadığını görürüz. Detaydaki çıktı ile bütündeki çıktı çelişebilir. Hangisinin doğru olduğuna karar vermek pek mümkün olmayabilir.

Simpson Paradoksu Nedir?


Bu fenomeni ilk olarak Edward H. Simpson 1951 yılında ortaya atmış, daha sonra Colin R. Blyth 1972 yılında adını Simpson'ın paradoksu olarak ilan etmiştir.

Simpson paradoksu istatistiğin çarpıtılabileceğini, farklı bakış açıları ile farklı sonuçların elde edilebileceğini gözler önüne serer. Bu durumun sebebi çoğu zaman gizli bir değişken olur. Bu değişken yüzünden farklı parçalarda görülen eğilim parçalar birleştiğinde görülmeyebilir. Hatta eğilim tersine dönebilir.

İyi Bilinen Bazı Örnekler


1. Cinsiyet Ayrımcılığı


1973 yılında Berkeley üniversitesi, adaylar arasında seçim yaparken kadınlardan çok erkekleri tercih ettiği iddiası ile dava edildi. Eleme sonuçlarına baktığımızda gerçekten ortada bir cinsiyet ayrımcılığının olabileceğini görüyoruz:


Fakat sonuçları detaylı bir şekilde incelersek başvuran kadınların erkeklere oranla daha fazla kabul edildiği ortaya çıkıyor. İşte en büyük altı bölümün eleme sonuçları:


İncelemenin sonunda davaya bakan bilir kişilerin şaşkın bir şekilde verdiği karar şu olmuş: "Veriler düzgün bir şekilde toplanırsa ... kadınlar lehine küçük ama istatistiksel olarak önemli bir önyargı var."

2. Böbrek Taşı Tedavisi


Böbrek taşı tedavisi ile ilgili gerçek hayat örneğinin de istatistiksel sonuçları bizi şaşırtıyor. Bu sefer iki farklı firmaya ait ilaçların küçük ve büyük böbrek taşı tedavisindeki sonuçlarını ele alıyoruz. Sonuçlar şöyle:


Başarı oranlarına baktığımızda A tedavisi hem küçük hem de büyük taş için başarılı sonuçlar üretmiş görünüyor. Ancak tüm hastaları birlikte düşünürsek B tedavisi daha başarılı. 

Bu durumda eğer böbrek taşı büyüklüğü tespit edilemezse B tedavisi tercih edilmeli. Aksi halde A tedavisi başarılı görünüyor. Daha etkili sonuçlar elde edebilmek için çeşitli kontrolleri yapıp detaylı tanı koyulması gerekir. Hatta daha detaylı tanılar için yeni sonuçların elde edilmesi gerekir.

Alınacak Ders Nedir?


Bu sonuçların paradoks oluşturmasının sebebi gizli bir değişkenin (lurking - confounding variable) olmasıdır. Sonucu etkileyen değişkenin ne olduğunu tespit etmek gerekir. Değişkenler arasındaki ilişki (Association) ve nedensellik (Causation) aynı şey değildir. Mesela yangından çok hasar gören yerlerde daha fazla itfaiye eri bulunur tespitinde gizli değişken yangının büyüklüğüdür. Yoksa itfaiye erleri hasarı arttırıyor çıkarımını yapmak doğru olmaz. (en azından öyle umut ederiz!)

Simpson paradoksu bakış açısı değiştiğinde, istatistiğin insanları nasıl aldatabileceğini anlatıyor. Karar verme sürecinde, sonucun mutlak doğru olduğunu hemen kabul etmeyip, bütünde geçerli olan bir eğilimin parçalarda da geçerli olup olmadığını kontrol etmek gerektiğini aşılıyor. İyi tarafından bakarsak, detaylı teşhis koyamadığımız durumlarda da karar vermemizi kolaylaştırabiliyor.

İlk örneğimiz olan maç mücadelesinin sonucunda umarız dostluk kazanır :)







2 Aralık 2016 Cuma

SQL Server 2016 New Features Etkinliği - Teşekkürler

29 Kasım 2016'da düzenlemiş olduğumuz SQL Server 2016 New Features etkinliğine 250'den fazla kayıt aldık. Kötü hava koşullarına ve trafiğe rağmen salonumuzu dolduracak kadar bir çoğunluğa ulaştık. O gün bizi dinlemeye gelen tüm katılımcılara özellikle teşekkür etmek istiyorum.

Ekibim SQL Server 2016 yeniliklerinden en etkili 6 başlığı seçti ve tüm gün bu konularda oturumlar düzenlemiş oldu. Yoğun olduğumuz bir dönemde hızla organize olup etkinliğe güzel içerikler hazırladıkları için taktire şayanlar. Ekibimi tebrik ediyorum.

Ayrıca giriş kısmında Microsoft'un yeni vizyonu hakkında bizleri haberdar eden Microsoft'dan Behice Funda'ya (Audience Marketin Lead) müteşekkiriz.

Bu organizasyonda emeği geçen ve birlikte bir ekip olarak çalıştığımız Bilge Adam'dan ilgili diğer arkadaşlarıma da Didem ve Gülcan nezdinde teşekkür ediyorum.

Abdullah Kise

Etkinlik programı şöyleydi :


9:3010:00Tanışma ve Açılış Konuşması
10:0010:45Real-Time Operational Analytics
11:0011:45End-to-End Mobile BI
12:0012:45Always Encrypted
Öğle Arası
14:0014:45Stretch Database
15:0015:45PolyBase (Big Data in Database)
16:0016:45In-database Advanced Analytics (R in Database)

Giriş Kısmı :