Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -3 (Workspaces, Datasets)

Power BI üzerinde gerçek zamanlı raporlama konusuna üçüncü yazımızla devam ediyoruz.

Bir önceki yazımızda Power BI üzerinde gerçek zamanlı raporlama yapmak için kullanacağımız Power BI REST API'den, Azure AD üzerinde uygulama kaydetmekten ve token almaktan bahsettik.

Power BI REST API yardımıyla Power BI portal üzerindeki nesneleri programatik olarak yönetebiliyoruz. İzlemek istediğimiz veriyi yine bu API yardımıyla portale gönderiyoruz. Power BI REST API'yi belli yetkiler çerçevesinde kullanabilmekteyiz. Bu güvenlik doğrulamasının yapılabilmesi için uygulamamızı Azure AD'ye kaydetmemiz ve bir Application ID elde etmemiz gerekti. Biz de önceki yazımızda bu gereği yerine getirdik. Hem uygulama kaydetmeyi hem de kayıt bilgileri ile token elde etmeyi el aldık. Bu yazıdakileri uygulayabilmek için bir önceki yazıda geçen işlemleri uygulamanız gerekmektedir.

Önceki yazıya şu linkten ulaşabilirsiniz:

http://www.abdullahkise.com/2017/12/power-bi-uzerinde-gercek-zamanl_31.html

Uygulamamızı geliştirmeye devam ediyoruz. Sıra Power BI nesneleri oluşturmada ve bunları görüntülemede.

Bu çalışmada genel olarak şu adımları atacağımızı ifade etmiştik:

1. Öncelikle Azure Active Directory servisi üzerinde OAuth 2.0 protokolüne göre güvenliğin/yetkilerin denetlenebilmesi için uygulamamızı kaydedeceğiz (register). Power BI hesapları arkaplanda Azure Active Directory Servisi ile yönetilmektedir.
2. Kayıt sırasında uygulamamızın Power BI API'yi hangi yetkilerle kullanabileceğini belirteceğiz.
3. Tamamen kodun işleyişine odaklanabilmek için Visual Studio'da bir Console projesi açacağız. Bu proje içerisinden gönderdiğimiz isteklerle gerekli nesneleri portalde oluşturacak, hemen ardından bir döngü ile ürettiğimiz verileri portale göndereceğiz.
4. İhtiyacımız olan sınıfları kullanabilmek için öncelikle Azure Active Directory ve Power BI API dll'lerini projemizin referanslarına ekleyeceğiz.
5. Kaydettiğimiz uygulama bilgilerini veya kullanıcı kimlik bilgilerini kullanarak Azure AD'den token alacağız. Bu token, API istekleri sırasında kullanılmaktadır. API'ye erişim yetkileri bu token sayesinde doğrulanmaktadır.
6. Projemiz içerisinden sırasıyla gerekli Power BI nesnelerini oluşturacağız ve veri göndermeye başlayacağız.
7. Gönderdiğimiz verileri Power BI portalde oluşturacağımız Dashboard (pano) üzerinde yayınlayacağız. Önceden tanımlı görselleri kullanarak akışı farklı bakış açıları ile izleyebileceğiz.

Çalışma Alanı (Workspaces -Group) Oluşturmak

Power BI'daki Dataset, Table, Report, Dashboard nesneleri Çalışma Alanları (Workspaces) içerisinde tutulur. Yetkilendirme ve çalışmaları ayırma açısından Çalışma Alanları bir hayli önemlidir. Çalışma alanına diğer kişileri davet ederek ortak çalışmalar yürütebilirsiniz. Ayrıca çalışmalarınızı Power BI App haline getirerek App menüsü altında derli toplu şekilde tutabilir, farklı kişilerle de paylaşabilirsiniz. 

Sol menüden Çalışma Alanı oluşturup, görüntüleyebilir, mevcutları düzenleyebilirsiniz. Varsayılan Çalışma Alanı 'My Workspace' dir.

Hemen bir önceki yazımızda Visual Studio üzerinde geliştirmeye başladığımız Console uygulamamızı açıp Power BI REST API'yi kullanarak bir Workspace oluşturalım.

Öncelikle gerekli kütüphaneleri yükleyelim. Power BI REST API kütüphanelerini yüklemek için Package Manager Console'a şu ibareyi yazıyoruz:

Install-Package Microsoft.PowerBI.Api

Kütüphaneler yüklendikten sonra aşağıdaki namespaceleri kullanalım ve bir PowerBIClient nesnesi örnekleyelim:

using Microsoft.PowerBI.Api.V2;

using Microsoft.PowerBI.Api.V2.Models;

PowerBIClient nesnesi önceki yazımızda elde ettiğimiz token bilgisini ve Api Base Uri istemekte. Api Uri kısmına "https://api.powerbi.com/" adresini veriyoruz. Hemen ardından PowerBIClient nesnesinin üzerinden CreateGroup metotuna ulaşıyoruz ve grubu oluşturuyoruz. Oluşturduğumuz gruba bir Id atanıyor. Bu Id'yi daha sonra kullanacağımız için bir değişken üzerinde tutalım. 

Bu arada kodlar daha açık görünsün diye Id'yi Console ekranından kopyalıyorum ve değişkene statik olarak atıyorum.

Kodu çalıştırdıktan sonra YeniGroup isimli Workspace'in oluştuğunu Power BI portal üzerinden doğrulayabiliriz.

Simdi sıra Çalışma Alanı içerisindeki Dataset ve Table nesnelerini oluşturmakta.

Veri Kümesi (Dataset) ve Tablo (Table) Oluşturmak

Power BI Portal üzerinde içerisinde tablolar barındıran farklı türden Datasetler oluşturabiliyoruz. Dataset türlerini defaultMode özellinde belirtiyoruz. Bu türler Push, Streaming, PushStreaming, AzureAS, AsOnPrem olarak belirtilebilir. Varsayılan tür Push olarak belirlenmiştir. Biz bu örneğimizde defaultMode'u Streaming olarak belirteceğiz. Bu şekilde saniyede 5 istek gönderebiliriz ve gerçek zamanlı Dashboard (pano) görsellerimizden daha yumuşak geçişli olanları kullanabiliriz. Ancak bu türü seçersek, veri akışı durduğunda sadece 1 saat daha görseller üzerindeki verileri görebiliyoruz. Yani bu türden Dataset'ler uzun süre veri tutamıyor ve portal üzerinden de rapor tasarlanmıyor. Sadece Dashboard tasarımı yapmak mümkün oluyor. Push seçildiğinde bunları yapabiliyoruz fakat bu durumda saniye 1 istek ve saatte 1 milyon satır limiti ortaya çıkıyor.

PowerBIClient nesne örneğimiz ile Dataset ve içerisinde Table oluşturalım. defaultMode özelliğini Streaming olarak belirtiyoruz ve API ile satır ekleyebilmek için addRowsAPIEnable özelliğini true olarak işaretliyoruz.

Örneğimizde bir tür rüzgar tribünü simülasyonu yapacağız. Aşağıdaki gibi bir kodla ihtiyacımız olan Dataset, Table ve Column nesnelerini oluşturabiliriz. 

Örneğimizdeki tabloyu oluştururken desteklenen veri tiplerine de değinmiş olduk. Şuradan da desteklenen tipleri inceleyebilirsiniz:

https://msdn.microsoft.com/en-us/library/mt203569.aspx

Power BI portal üzerindeki Dataset'lere erişmek isterseniz; My Workspace içerisindekiler için GetDataset, diğer Workspace içerisindekiler için GetDatasetInGroup metotlarını kullanabilirsiniz. 

Belirtilen Workspace'teki tüm Datasetler'i bir döngüyle getirebilirsiniz. Az önce oluşturduğumuz Workspace'in groupId'sini kullanarak oluşturduğumuz Dataset bilgisini görüntüleyelim. 

YeniDataSet isimli Dataset'e atanan Id'yi de bir değişken üzerinde tutalım. Daha sonra bu Id ile Dataset'e veri göndereceğiz. 

Buradaki kodlarda sadelik olsun diye Id'leri Console ekranından kopyalayıp statik olarak değişkene atadım. Sizler amaca uygun olarak bu kodları düzenlersiniz.

Bu yazımızda gerekli nesneleri oluşturmuş olduk. Bir sonraki yazımızda veri gönderme aşamasına geçebiliriz.

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -2 (Azure AD Üzerinde Uygulama Kaydetme ve Token Üretme)

Power BI üzerinde gerçek zamanlı raporlama konusuna devam ediyoruz.

Bir önceki yazımızda Power BI ile yeni tanışanlar için bir giriş yapmıştık ve seride atacağımız adımları özetlemiştik. Bu yazımızda geliştirme safhasına geçebiliriz. 

Önceki yazıya şu linkten ulaşabilirsiniz:

http://www.abdullahkise.com/2017/12/power-bi-uzerinde-gercek-zamanl.html

Bu çalışmada şu adımları atacağımızı ifade etmiştik:

1. Öncelikle Azure Active Directory servisi üzerinde OAuth 2.0 protokolüne göre güvenliğin/yetkilerin denetlenebilmesi için uygulamamızı kaydedeceğiz (register). Power BI hesapları arkaplanda Azure Active Directory Servisi ile yönetilmektedir.
2. Kayıt sırasında uygulamamızın Power BI API'yi hangi yetkilerle kullanabileceğini belirteceğiz.
3. Tamamen kodun işleyişine odaklanabilmek için Visual Studio'da bir Console projesi açacağız. Bu proje içerisinden gönderdiğimiz isteklerle gerekli nesneleri portalde oluşturacak, hemen ardından bir döngü ile ürettiğimiz verileri portale göndereceğiz.
4. İhtiyacımız olan sınıfları kullanabilmek için öncelikle Azure Active Directory ve Power BI API dll'lerini projemizin referanslarına ekleyeceğiz.
5. Kaydettiğimiz uygulama bilgilerini veya kullanıcı kimlik bilgilerini kullanarak Azure AD'den token alacağız. Bu token, API istekleri sırasında kullanılmaktadır. API'ye erişim yetkileri bu token sayesinde doğrulanmaktadır.
6. Projemiz içerisinden sırasıyla gerekli Power BI nesnelerini oluşturacağız ve veri göndermeye başlayacağız.
7. Gönderdiğimiz verileri Power BI portalde oluşturacağımız Dashboard (pano) üzerinde yayınlayacağız. Önceden tanımlı görselleri kullanarak akışı farklı bakış açıları ile izleyebileceğiz.

Azure Active Directory Üzerinde Uygulama Kayıt Etme

Geliştireceğimiz uygulamanın Power BI REST API'ye hangi yetkilerle erişebileceğini Azure Active Directory üzerinde belirliyoruz. Azure AD kayıt sırasında uygulamamız için bir Application Id üretiyor. Bu Application Id ile birlikte kullanıcı kimlik bilgilerini veya kayıt sırasında girdiğimiz diğer bilgileri kullanarak Azure AD'den bir token (jeton) alıyoruz. Token görüntüde değişik karakterlerden oluşan uzun bir metindir. Bu token sayesinde uygulamamız tanınıyor ve isteklerimiz kayıt sırasında belirttiğimiz yetkiler çerçevesinde cevaplanıyor. Uygulamamızın kimliği bu token sayesinde OAuth2.0 protokolüne göre doğrulanıyor.

Uygulamayı kayıt etmek için doğrudan Azure Portal üzerinden Azure AD servisine geçebilirsiniz veya dilerseniz Power BI portalden şu adımları atarak da aynı pencereye ulaşabilirsiniz:

Power BI Portale giriş yaptıktan sonra sağ üst köşedeki Settings (Ayarlar) ikonundan Admin Portal (Yönetim Portali) menüsünü tıklayalım. Açılan pencerede Users (Kullanıcılar) menüsünü tıklayıp Go to O365 Admin Center (O365 Yönetim Merkezine Git) butonu ile Office 365 yönetim merkezine geçelim. Yeni sekmede açılması gerek Office 365 yönetim merkezini görüntüleyebilmek için yönetici yetkilerine sahip olmanız gerekiyor. Eğer yönetici değilseniz sistem yöneticinizden bu konuda yardım isteyebilirsiniz.

Office 365 yönetim merkezinde sol menüde en altta bulunan Azure AD linkini tıklayarak yeni pencerede Azure AD servisine geçiş yapabilirsiniz. Burada App Registration (Uygulama Kaydı) menüsüne tıklıyoruz ve + butonu ile uygulama kayıt işlemini başlatıyoruz.

Uygulama kayıt penceresinde uygulamanın tipini seçip bir uygulama adı ve gerçekten var olması zorunlu olmayan fakat geçerli bir URL giriyoruz.

Uygulamayı kaydettikten sonra bir Application Id atanıyor. Şimdi kaydı tıklayıp Power BI API kullanımı için gerekli Read/Write yetkilerini Required Permissions (Gerekli İzinler) menüsünden giderek verebiliriz. Eğer Power BI API Servisi listede yoksa + ile ekleyebilirsiniz.

Artık kayıt ettiğimiz uygulama bilgileri ile Power BI REST API'ye erişecek olan projemizi geliştirmeye başlayabiliriz. Visual Studio üzerinde bir Console projesi başlatıyoruz ve projemize token üretmek için gerekli olan kütüphaneleri ekliyoruz. 

Kütüphaneleri Package Manager Console pencersi yardımıyla ekleyebiliriz. Bu pencereyi Tools / NuGet Package Manager / Package Manager Console menüsü ile açabiliriz. Açılan pencerede aşağıdaki komutu kullanarak gerekli ve ilişkili kütüphaneleri kolayca yükleyebiliriz.

Install-Package Microsoft.IdentityModel.Clients.ActiveDirectory

Token üretmek için gerekli kütüphaneler kısa zamanda yüklenecektir. Hemen kodlamaya geçebiliriz. AuthenticationContext sınıfını örnekleyip AcquireTokenAsync metoduna kayıt sırasında kullandığımız bilgileri giriyoruz ve bu örneğimizde Result.AccesToken properties ile token elde ediyoruz. Öncelikle şu namespacei eklemenizi işinizi kolaylaştıracaktır: using Microsoft.IdentityModel.Clients.ActiveDirectory;

Dilerseniz AcquireTokenAsync metoduna aşağıda gibi kullanıcı kimlik bilgilerini doğrudan belirterek giriş penceresini kullanmadan da token elde edebilirsiniz.

Bu yazımızda ilk adımı attık ve Azure AD üzerinde uygulamamızı kaydedip API kullanımı için gerekli yetkileri verdik. Hemen ardından kayıt bilgilerini ve kimlik bilgilerini kullanarak açtığımız Console projesi içerisinden token bilgisini aldık. Bu token bilgisini yetki doğrulaması yapılabilsin diye Power BI REST API taleplerinde kullanacağız.

Bir sonraki yazımızda Power BI REST API ile gerekli nesneleri Power BI'da oluşturacağız ve oluşturduğumuz bu nesnelere nasıl erişebileceğimizi ele alacağız.

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -1 (Giriş)

İnsan veya cihaz kaynaklı aktiviteleri gerçek zamanlı olarak izlemek, analiz etmek, özetlemek, raporlamak ve belli değerlerle karşılaşıldığında anında haberdar olmayı istemek, son yılların önemi giderek artan talepleri arasında. Artık hem müşteriler hem de teknoloji sağlayıcıları bu başlıklarda bir takım çalışmalar yapmakta veya bir an önce yapmak istemekte. 

Önceki yıllarda bu ihtiyaca cevap vermek zor ve pahalıydı. Gerçek zamanlı çalışmak bir lükstü. Ancak teknolojideki gelişmeler ve rekabet sayesinde artık çok daha kolay, ucuz ve kaliteli yöntemlerle bu ihtiyaçlara cevap üretmek mümkün.

Gerçek zamanlı akan veri işleme teknikleri durağan veri işleme tekniklerinden çok farklı bakış açıları ve teknolojiler gerektirir. Özellikle hız saniyede milyon/milyar transactiona ulaşıyorsa, akış esnasında verinin analiz edilmesi, özetlenmesi ve farklı hedeflere yönlendirilmesi gerekiyor üstüne bir de gerçek zamanlı tahminlemeler yapılması isteniyorsa, işin içine çok farklı teknik ve teknolojiler girecek demektir. 

Eğer ihtiyaç, veriyi akış esnasında analiz etmek değil doğrudan göstermek ise Microsoft Power BI ile bu ihtiyaca çok ucuz, kolay ve kaliteli bir biçimde cevap verebilirsiniz. Daha fazlası gerektiğinde ise Event Hub, IoT Hub, Stream Analytics, Azure ML gibi Microsoft Azure Servisleri hemen imdadınıza yetişir. Açık kaynak ürünlere nazaran inanılmaz pratik olan bulut servisleri sayesinde akan veri ile ilgili neredeyse tüm ihtiyaçlara cevap üretebilirsiniz. Buna ek olarak Microsoft SQL Server 2016/2017 ile birlikte duyurulan Operational Analytics, PolyBase, R in Database, Python in Database gibi yenilikler sayesinde de alışılmış yerel bir ortamda çalışmak mümkün.

Biz bu yazı serimizde akan verinin doğrudan Power BI'a nasıl yönlendirildiğine ve gerçek zamanlı raporlamanın nasıl yapıldığına odaklanacağız. Öncelikle Power BI ürünüyle yeni tanışanlar için bir giriş yapalım istiyorum.

Power BI, Gartner'in Magic Quadrant'ında lider konumunda olan bir Self-Serivce BI ürünü. Yani departman seviyesinde uçtan uca iş zekası ihtiyacına cevap üretebileceğiniz, üstelik teknik olmayan kişilerce de kullanılması amaçlanan kullanıcı dostu bir ürün. Excel'in Power BI eklentileri ve Power BI Desktop ile ücret ödemeden yerel kaynaklarınızı kullanarak çalışabilirsiniz. Eğer çalışma dosyalarınızı yayınlamak isterseniz Microsoft'un bir bulut hizmeti olan Power BI Portali (www.powerbi.com) bir noktaya kadar ücret ödemeden kullanabilirsiniz. Dilerseniz SQL Server 2017 ile birlikte duyurulan Power BI Report Server'ı edinerek yerel kaynaklarınız üzerinden de rapor paylaşım merkezi oluşturabilirsiniz. Bu raporlara tüm cihazlardan native uygulama olan Power BI App üzerinden veya tarayıcı üzerinden erişebilirsiniz.

Raporlama ihtiyacınızı Microsoft ürünleri ile nasıl seviyelendirebileceğinize bir göz atmak için:

Rapor ihtiyacını Seviyelendirme (Üst Yönetim, Yönetim, Veri Analistleri)

http://www.abdullahkise.com/2015/12/rapor-ihtiyacn-seviyelendirme-ust.html

Power BI dünyasına demolarla giriş yapmak için:

Power BI Demo Serisi ( Meşrubat Satışları - 1 ) - Video

http://www.abdullahkise.com/2017/05/power-bi-demo-serisi-mesrubatc.html

Power BI Demo Serisi ( Meşrubat Satışları - 2 ) - Video

http://www.abdullahkise.com/2017/05/power-bi-demo-serisi-mesrubat-satslar-2.html

Hemen yazı serimizin odağı olan, Power BI üzerinde gerçek zamanlı raporlamanın (Real Time Reporting) nasıl yapılacağı konusuna geçelim.

Öncelikle www.powerbi.com adresinden bir Power BI hesabı açalım. Eğer şirketinizin Office 365 aboneliği mevcutsa zaten Power BI kullanıcısı olabilirsiniz. Bu durumda portal sizi tanıyacaktır. Şirket mailinizi ve şifresini kullanarak giriş yapabilirsiniz.

Giriş yaptıktan sonra soldaki menüyü kullanarak bir çalışma alanı (Workspace) açabilir, Get Data ile bir kaynağa bağlanabilir, içinde tablolar (Tables) barınan veri setleri (Data Sets) oluşturabilirsiniz. Tarayıcı üzerinde veya yerel Power BI dosyaları vasıtası ile veri setinden raporlar (Reports) tasarlayabilir, tasarladığınız farklı raporlardaki görselleri bir araya getirebileceğiniz panolar  (Dashboards) açabilirsiniz.

Power BI üzerinde gerçek zamanlı raporlama yapmak için doğrudan Power BI REST API ile çalışacağız. Bu API ile iki şekilde çalışabiliriz; doğrudan http istekleri göndererek veya bu istekleri kapsülleyen Microsoft.PowerBI.Api dll'lini kullanarak. Power BI REST API sayesinde yukarıda bahsi geçen nesnelere yazdığımız bir uygulama içinden erişebilir, yeni nesneler oluşturabilir, var olanları kaldırabiliriz.

Power BI Rest Api Referans dokümanına şu linkten erişebilirsiniz:

https://msdn.microsoft.com/en-us/library/mt147898.aspx

Biz de örneğimizde bir Console uygulaması içerisinden Power BI portalde bir Workspace (çalışma alanı) oluşturacağız. Oluşturduğumuz bu Workspace'e bir Streaming DataSet (Veri Seti) göndereceğiz. DataSet içerisinde tanımladığımız Table'ın (tablo) formatına uygun veriyi rüzgar tribünü simülasyonu şeklinde, bir döngü ile sürekli olarak göndereceğiz. Sonrasında çeşitli görseller kullanarak Dashboard (pano) üzerinde bu gönderileri gerçek zamanlı izleyeceğiz.

Bu çalışmada hangi adımları atacağımızı özetleyelim;

1. Öncelikle Azure Active Directory servisi üzerinde OAuth 2.0 protokolüne göre güvenliğin/yetkilerin denetlenebilmesi için uygulamamızı kaydedeceğiz (register). Power BI hesapları arkaplanda Azure Active Directory Servisi ile yönetilmektedir.
2. Kayıt sırasında uygulamamızın Power BI API'yi hangi yetkilerle kullanabileceğini belirteceğiz.
3. Tamamen kodun işleyişine odaklanabilmek için Visual Studio'da bir Console projesi açacağız. Bu proje içerisinden gönderdiğimiz isteklerle gerekli nesneleri portalde oluşturacak, hemen ardından bir döngü ile ürettiğimiz verileri portale göndereceğiz.
4. İhtiyacımız olan sınıfları kullanabilmek için öncelikle Azure Active Directory ve Power BI API dll'lerini projemizin referanslarına ekleyeceğiz.
5. Kaydettiğimiz uygulama bilgilerini veya kullanıcı kimlik bilgilerini kullanarak Azure AD'den token alacağız. Bu token, API istekleri sırasında kullanılmaktadır. API'ye erişim yetkileri bu token sayesinde doğrulanmaktadır.
6. Projemiz içerisinden sırasıyla gerekli Power BI nesnelerini oluşturacağız ve veri göndermeye başlayacağız.
7. Gönderdiğimiz verileri Power BI portalde oluşturacağımız Dashboard (pano) üzerinde yayınlayacağız. Önceden tanımlı görselleri kullanarak akışı farklı bakış açıları ile izleyebileceğiz.

Bu yazımızda Power BI ile yeni tanışanlar için konuya bir giriş yapalım istedim. En sonda özetlediğimiz geliştirme aşamasına sonraki yazımızda odaklanıyoruz.

Eğer kendiniz hızlıca bir şeyler denemek isterseniz şu linkler size yol gösterecektir:

Overview of Power BI REST API

https://msdn.microsoft.com/en-us/library/dn877544.aspx

Power BI REST API reference

https://msdn.microsoft.com/en-us/library/mt147898.aspx

Power BI API - Apiary

https://powerbi.docs.apiary.io

Adım Adım Veri Bilimi - 3 (Temel İstatistik Kavramları)

Gelişmiş ve kullanıcı dostu haline gelmiş ürünler sayesinde veri analizi çalışmalarını sürdürmek her geçen gün daha kolay olmaktadır. Ürünlerin konforu veri analizi yapan kişilerin işlerini kolaylaştırmakla kalmayıp daha fazlasını yapabilmeleri için cesaret vermektedir.

Bu iyi bir şey. Ancak bazen bu rahatlık rehavete ve dikkatsizliğe dönüşebiliyor. Özellikle temel istatistiksel kavramlara yabancılaşma sonucu bu araçlar yanlış kullanılabiliyor. Hatalı çıktılar yıllarca fark edilmeden hatalı kararlar verilmesine sebep olabiliyor. Sonuç olarak telafisi mümkün olmayan zararlar ortaya çıkabiliyor. Araçların doğru kullanılabilmesi için temel dinamiklere hakim olmak şart. Diğer türlü hata yapmak kaçınılmaz olur.

Bir çalışmanın bilimsel olabilmesi için matematiksel (istatistiksel) bazı temellere dayandırılması gerekir. Veri Bilimi (Data Science) çalışmaları da bilimsel yöntemlerle sürdürüldüğü için Veri Bilimcilerinin (Data Scientist) matematiksel (istatistiksel) temel kavramlara hakim olması gerekir.

Bu sebeple Adım Adım Veri Bilimi serimizde bir takım temel İstatistik kavramlarına yer verelim istedim.

Bu konu ile ilişkili olan ve İstatistik biliminin tanımını yaptığımız "Adım Adım Veri Bilimi - 2 ( İstatistik Nedir?)" isimli şu makaleye bir göz atmanızı öneririm:

http://www.abdullahkise.com/2017/03/adm-adm-veri-bilimi-2-istatistik-nedir.html

Serideki bu kısmın önemini daha rahat anlayabilmek için bir soru üzerinde düşünelim istiyorum.

Soru: Bir yatırımım olsun. Ana para miktarı önemli değil. Ancak yine de somutlaştırmak için 100 tl ana param olsun diyelim. Yıl yıl gelir yüzdelerini ve ana paradaki artışı aşağıdaki tabloda görebilirsiniz. Merak ettiğim şey şu; yıllık ortalama yüzde kaç gelir elde ediyorum?

Günlük hayatta sıkça karşılaşabildiğimiz kolay bir soru. Cevabı üzerinde biraz düşünün. Yıllık ortalama yüzde kaç gelir elde ediyorum?

Kolay bir soru olduğu için hızlıca hesaplayabiliriz. Yıl yıl %10, %50, %30 gelir elde ediyorsam, bu durumda üçüncü yılın sonunda yılda ortama (10+50+30) / 3 yani %90/3 sonuç olarak %30 yıllık ortalama gelir elde ediyorum demektir. Yani bildiğimiz aritmetik ortalama aldık.

Kolay bir soru ama yine de sağlamasını da yapalım istiyorum. Bulduğumuz bu yıllık ortalamayı ana paraya uygulayalım. Yıl yıl gelirim şöyle olur:

Fakat o da ne? Olması gerekenden farklı bir sonuç elde ettim. İlginç değil mi? ortalamayı uyguladığımda üçüncü yılın sonunda, gerçekten elde ettiğim gelirden daha fazlası ile karşılaştım. 214.5 elde etmeliydim, 219.7 ile karşılaştım. Sağlamasını yaptığımda işlemin hatalı olduğunu gördüğüme göre bir yerde hata yaptım demektir. Acaba nerede?

Burada aritmetik ortalama kullandık. Hatalı oldu. O halde farklı bir ortalama deneyelim. Mesela az duyduğumuz, belki de normal hayatta hiç kullanmayacağımızı düşündüğümüz bir ortalamaya bakalım. Geometrik ortalamaya ...

Geometrik ortalama yıllık ortalama %28.9 'luk gelirim olduğunu söylüyor. Yıl yıl bu oran üzerinden sağlamasını yaptığımda üçüncü yılın sonunda gerçekten elde ettiğim gelirimle karşılaşıyorum. yani 214.5 ile. Sağlaması geometrik ortalamanın doğru olduğunu gösteriyor. Harika! 

Bu sonuç bir çok kişi tarafından beklenmediktir. Zaten benim dikkat çekmek istediğim şey de tam olarak budur. Temel istatistiksel kavramlara yabancılaşmış kişilerin veri analizi sırasında buna benzer beklenmedik hatalar yapma ihtimali çok yüksektir. Burada rehavetle verilmiş aritmetik ortalama kararı değil, temel kavramlara hakimiyet sonucu verilmiş geometrik ortalama kararı isabetli sonucu vermektedir. 

Bir çok ortalama çeşidi mevcut. Hangisinin tam olarak nerede kullanıldığını ilerleyen yazılarda ihtiyaç oldukça açıklarız. Biz konuya daha temelden girelim ve veri analizi için gerekli temel istatistiksel kavramları ele alalım. Kavramları literatürdeki sıkıcı tanımları ile ifade etmek istemiyorum. Mümkün olduğunca sezgisel ve kullanışlı tanımlarla kavramları ele alalım istiyorum. Önce veri dediğimiz şeyi tanıyalım.

Veri Nedir?

Veri dediğimiz şey sayılar, kelimeler, ölçümler, gözlemler veya kısaca bir şeyi tanımlayan olgulardır.

Verileri nitel ve nicel olarak 2 gruba ayırabiliriz:

1. Nitel (Qualitative): Bir şeyi tanımlamak, açıklamak için kullanılan bilgidir. Bu türden bilgiler daha çok tabloda tutulabilen kurallı bir yapıda değil de çeşitli biçimlerde tutulabilen serbest yapıda olur. İlgili konudaki gözlemler, dokümanlar, röportajlar vs. kaynakları oluşturur. Mesela "eğlenceli bir tatildi" ifadesi bu türden bir bilgidir.
2. Nicel (Quantitative): Bir şeyi saymak ve ölçmek için kullanılan bilgidir. Bu türden bilgiler genelde tabloda tutulabilen bir yapıda olur. Nicel verileri iki grupta inceleyebiliriz:
• Kesikli (Discrete): Sayılabilen, sayılması mantıklı taneli olan şeyler hakkındaki veriler bu gruba girer. Mesela bir ekibin çalışan sayısı 5 kişi olsun. Buradaki kişi sayısı olan 5 kesikli veridir. Ekibi iki grubu ayıralım dediğimizde bu gruplar 2,5 kişilik olamaz. Ara değerler yoktur.
• Sürekli (Continuous): Ölçülebilen, ölçülmesi mantıklı olan şeyler hakkındaki veriler bu gruba girer. Mesela çalışanların evle iş yeri arası uzaklıkları sürekli veridir. Ara değerlerin tümü mantıklıdır. Ancak bazı durumlarda sürekli veriler kesikli veriler olarak ifade edilebilir. Mesela evle iş yeri arası uzaklığını bazı kriterlere bakarak yakın ve uzak diye iki gruba ayırabiliriz. Böylece bu konudaki veri artık sürekli değil kesikli olur.

Verileri hareketine göre 2 gruba ayırabiliriz:

1. Yığın Veri (Batch Data): Bu türden veriler ile çalışmak görece daha kolaydır. Genelde konu hakkındaki tüm veri bir arada bulunur. Bu veri kümesi belli bir zaman diliminde bir araya getirilmiştir ve bir bütün olarak analiz edilir. Geleneksel veritabanlarındaki veriler bu kapsamda değerlendirilir. Mesela rapor yapmak için hazırladığınız tablolardaki veriler bir yığın halindedir. Durağandır.
2. Akan Veri (Stream Data): Bu türden veriler ile çalışmak görece daha karmaşıktır. Verileri yakalamak ve analiz etmek için özel teknik ve araçlar gerekmektedir. Geleneksel yöntemlerin dışına çıkmak gerekir. Kaynaktan parça parça ve neredeyse sürekli olarak üretilir. Analiz genelde gerçek zamanlı olarak yapılır. Mesela bir binadaki sıcaklık sensörlerinden gelen veriler bu türden verilerdir. Durağan değildir. Hareket halindedir. Üstelik bazen geleneksel yöntemlerle yakalanamayacak kadar da hızlı akar.

Verileri yapısına göre 3 gruba ayırabiliriz:

1. Yapılandırılmamış (Unstructured): Resim, düz metin, video, ses gibi serbest yapıda olan verilerdir. Kendi içinde bir takım standartları olsa da geleneksel yöntemlerle yakalamak, tutmak, işlemek ve değer üretmek pek mümkün değildir.
2. Yarı Yapılandırılmış (Semi Structured): csv, xml, json, yaml gibi belli kurallara uyan kısmen serbest yapıdaki verilerdir. Her bir kayıt aynı genel kurala uysa da bir birinden farklı tipte ve derinlikte olabilir.
3. Yapılandırılmış (Structured): Tablo yapısında tutulabilen verilerdir. Veri satır ve sütunların kesişimlerinde tutulur. Her satırda aynı sırada ve aynı tipte kolonlar yer alır. Bildiğimiz tablo mantığı yani. Hemen yeri gelmişken söyleyeyim. Bir araştırmaya göre şirketlerin kendisi hakkında ulaşabileceği verilerin sadece %20'si bu yapıdadır. Günümüzün trend konusu, geriye kalan %80 'lik dilimden, yani yukarıdaki ilk iki türdeki yapıdan değer üretmektir.

Bir önceki yazımızda bahsettiğimiz Betimsel İstatistik (Descriptive Statistics) teknikleri özellikle yapısal veriler üzerinde çalışma ile ilgili çözümler sunar. İlk etapta bu tekniklere odaklanacağız.

İstatistiksel çalışmanın temeli hakkındaki şu bilgileri önemine binaen, önceki yazımdan buraya aynen alıyorum:

İstatistiksel çalışmalarda bazen hakkında veri toplamak istediğimiz grubun tüm üyelerine erişebiliriz. Bazen de zaman, maliyetler vs. gibi bir çok nedenden dolayı grup üyelerinin tümüne ulaşmak mümkün olmayabilir. Bu durumda tüm üyelerine ulaşamadığımız gruba en çok benzeyen küçük bir grup üzerinde çalışmak ve çıkan sonuçlardaki hatayı göz ardı ederek tüm grup hakkında fikir edinmeyi ummak zorunda kalırız. 

İstatistiksel çalışmalarda çoğunlukla küçük bir grup üzerinde yapılan analizlerden elde edilen sonuçlara bakılarak büyük bir grup hakkında karara varılması amaçlanır. Büyük grup olarak nitelendirdiğimiz kitle (ana kütle) hakkında merak ettiğimiz soruların cevabını bu kitleyi (ana kütleyi) en iyi ifade eden küçük grupta yani örneklemde ararız. Sonra bulgularımızı genele yayar, kitleyi anlamak için kullanırız.  

Örneklem üzerinden kitle (ana kütle) hakkında fikir edinme yöntemleri oldukça kullanışlıdır. Mesela bu sayede ülkedeki tüm hayvanları yemeden et kalitesi hakkında fikir edinebiliyoruz. Çok şükür! 

Örneklem seçerken çok dikkatli olmak gerekir. Örneklem kitleyi en iyi ifade edecek şekilde seçilmelidir. Hem örneklem seçimi sırasında hem de veri toplarken ön yargıdan (biased) ve veri toplama sürecini sekteye uğratacak yaklaşımlardan (mesela uzun anketler) uzak durmak gerekir. Kitleyi temsil etmeyecek küçük belirgin bir gruptan çeşitli yönlendirmeler ve kısıtlı cevap seçeneklerine mahkum ederek elde edilen veriler çöptür ve yapılan analizler çöp olur.  

Örneklem seçimi rassal (rastgele) veya kitleyi ifade edecek şekilde iradi (istemli) olarak yapılabilir. Seçilen örneklemlerden veri toplanırken amaca uymayan ve sonucu etkileyen faktörlerin devrede olup olmadığı kontrol edilmelidir.

Yazının tümüne şu linkten ulaşabilirsiniz:

http://www.abdullahkise.com/2017/03/adm-adm-veri-bilimi-2-istatistik-nedir.html

Anakütle veya örneklem hakkında topladığımız veriler aşağıdakine benzer bir tablo formatında olabilir. Bu durumda tablodaki her bir satıra "Birim" (Observation) her bir kolona "Değişken"  (Variable) değişkenin aldığı her bir değere de "Şık" (Value) adı verilir.

Topladığımız bu veriler üzerinde daha rahat çalışmak için bir takım düzenlemeler yapabiliyoruz. Elde etiğimiz veri kümesinin karakteristiğini anlayabilmek için de bir takım teknikler kullanıyoruz.

Bu yazımızda verinin tanımına ve farklı açılardan nasıl incelendiğine bir göz attık. Bir sonraki yazımızda bu düzenlemelerin ve tekniklerin bazılarının neler olduğuna odaklanacağız.

Staj Okulu - 2017 Etkinliklerinden Görüntüler

Geçtiğimiz günlerde (10 Ağustos 2017) İstanbul Ticaret Üniversitesi Sütlüce Yerleşkesinde üniversiteli arkadaşlarla bir araya geldik. Türkiye'nin çeşitli üniversitelerinden katılımcıların olduğu bu etkinlikler serisinde bir birinden değerli gönüllü konuşmacılar bilgi ve birikimlerini paylaştı.

Biz de bu etkinlikte konuşmacı olarak yerimizi aldık. Tam gün süren iki oturumluk konuşmamızda Geleneksel İş Zekasından Büyük Veri konseptine bir çok konuda trendlerden bahsettik.  Önümüzdeki yıllarda veri odaklı uğraşların neler olacağını değerlendirdik. 

Özverilerinden dolayı katılımcı arkadaşlara ve Staj Okuluna teşekkür ediyorum.

Staj Okulu bünyesinde düzenlenen etkinlikler serisi yaklaşık 1,5 ay sürmektedir. Farklı sektörlerde uzmanlıkları olan konuşmacılar da davet üzerine gönüllü olarak destek vermektedir. 

Programın amacı üniversiteli arkadaşlara mezun olduklarında da fayda sağlayabilecekleri bakış açıları geliştirmelerine olanak tanımak, iş bağlantıları kurmalarını kolaylaştırmak ve verimli bir staj dönemi geçirmelerini sağlamaktır.

Çok kıymetli üniversiteli arkadaşları ve birbirinden değerli konuşmacıları bir araya getiren Staj Okulunu kutluyorum. Önümüzdeki yıllarda yapacakları gönüllü çalışmalarında başarılar diliyorum.

http://stajokulu.com/