10 Şubat 2018 Cumartesi

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting - Bonus (HTTP İstekleri ve Cevapları Kullanarak)

Power BI üzerinde gerçek zamanlı raporlama yapma konusuna önceki yazılarımızda değinmiştik. Yazılarımıza bir göz atarak siz de kolayca gerçek zamanlı raporlar hazırlayabilirsiniz. Takip etmek istediğiniz olaylardan anında haberdar olabilir, Power BI'ın bu hizmeti sayesinde projelerinizde fark oluşturabilirsiniz.

Bu konudaki yazılarımıza şu linklerden ulaşabilirsiniz:

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -1 (Giriş)

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -2 (Azure AD Üzerinde Uygulama Kaydetme ve Token Üretme)

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -3 (Workspaces, Datasets)

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -4 (Satır Gönderme ve Dashboard Tasarımı)

Yukarıdaki yazılarımızda gerçek zamanlı raporlamanın nasıl yapıldığını anlatırken Power BI REST API dll'ni kullanmıştık. Geliştirmeyi de .net platformunda C# ile yapmıştık. Elbette farklı platformlarda kullanabileceğiniz dll'ler de mevcut. Peki bu dll'leri kullanmadan platformdan bağımsız çalışmak mümkün mü? Hemen cevap verelim; mümkün.

Bu yazımızda Power BI REST API dll'ni kullanmadan doğrudan HTTP istek/cevapları ile gerçek zamanlı raporlamanın nasıl yapılabileceğine odaklanacağız. Bu yöntemle HTTP istek gönderip /alabilen herhangi bir platform tarafından üretilen olayları doğrudan Power BI'a iletebilirsiniz.

Buradaki geliştirmeyi .net platformunda C# ile yapacağız. Ancak benzer yöntemle aynı nesneleri farklı platformlarda da kullanabilirsiniz.

Hemen bir ön bilgi gerelim; hata kontrolleri, tasarım desenleri vs. gibi geliştirme teknikleri ilk bakışta kodun anlaşılmasını engelleyebileceği için odağımızın dışında bırakıyorum. Kodları sade biçimde yazıyorum ki dikkatimiz dağılmasın. Gerçek bir projede kodları nasıl zenginleştireceğiniz ve hangi kontrolleri yapacağınız size kalmış. 

Buradaki maksadım adım adım programı yazdırmak değil. Anahtar noktaları aktarmaktır.


Http Request (İstek) Gönderme


Bir Console projesi açıyorum ve projeye WebRegRes ismini verdiğim bir sınıf ekliyorum. Bu sınıf içerisinde HTTP istek/cevaplarını gönderip/almak için kullanacağım metotları bulunduracağım.

Öncelikle ihtiyacım olan tiplere kolayca ulaşmak için ilgili şu namespace'leri ekliyorum:

using System.Net; //HttpWebRequest
using System.IO; //Stream için

İstekleri oluşturmak için kullanacağımız metodun parametrelerinde Power BI nesnesinin Resource Uri'sini, istek yöntemini (GET, POST....) ve token bilgisini bekliyoruz.


Token güvenlikle ilişkili bir bilgidir. Bu bilgiyi isteğin header'ında göndermemiz gerekiyor. Token bilgisinin nasıl elde edildiğini görmek için şu yazımızı inceleyebilirsiniz:

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -2 (Azure AD Üzerinde Uygulama Kaydetme ve Token Üretme)

Resource Uri ise Power BI nesnelerine ulaşmak için kullanılan bir yoldur. Mesela satıra kadar ulaşmak için şu Uri'yi kullanırız:
https://api.powerbi.com/v1.0/myorg/groups/{SecilenGroupId}/datasets/{SecilenDataSetId}/tables/{TableAdı}/rows

Bu Uri ile sırasıyla Workspace (group olarak ifade ediliyor), DataSet, Table seçilerek satırlara kadar ulaşılır. Uri üzerinden JSON ifadeleri gönderilerek yeni nesneler oluşturabilir, var olan nesneleri silip, güncelleyebilirsiniz.

Bu yöntemin önceki yazılarımızda bahsettiğimiz yöntemden farkı, HTTP isteklerini ve JSON formatındaki mesajları açık şekilde göndermektir.

HTTP Response (Cevap) Yakalayıp Okumak


Şimdi sıra geldi isteklere gelen cevapları yakalamak için kullanacağımız metodu yazmaya. Gönderdiğimiz isteğe gelen cevabı aşağıdaki gibi kolayca alalım ve StreamReader nesnesi ile okuyalım.


HTTP Request ile JSON Post Etmek


Aslında yukarıda istek gönderecek metot yazmıştık. Yine aynı metodu kullanacağız fakat burada ek olarak JSON formatında veri gönderecek şekilde kapsülleyeceğiz. Metodumuz HttpWebRequest ve JSON istiyor. Böylece oluşturmak istediğimiz nesnelerin tanımlarını JSON formatında gönderebileceğiz.

Bu yeni metodumuzda mesjaı serileştirip gönderiyoruz hemen ardından ikinci sırada yazdığımız cevap alma metodunu kullanarak gelen cevabı döndürüyoruz.


Harika! Projemize eklediğimiz WebRegRes isimli sınıfı oluşturduk. Şimdi Power BI nesnelerine ulaşmak ve tablomuza satır göndermek için Main metoduna geçip kodlamaya devam edelim.

Power BI Üzerindeki Tabloya Satır Göndermek


Satırları tabloya iletmek için çeşitli bilgilere ihtiyacımız olacak. Bunlar;
  • Token bilgisi. Nasıl elde ediliğini 2. yazımızda anlatmıştık.
  • Workspace Id'si ve DataSet Id'si: Nesnelerin Resources Uri'sini kullanarak bu bilgilere ulaşabiliyoruz.
  • Table adı. DataSet tanımlarken belirttiğimiz DataSet içindeki bir nesnedir. Yine Uri ile ulaşılabilir.
  • JSON formatında satır. İster string birleştirme ile istersen NewJson kütüphanesi gibi bir kütüphane ile JSON formatında mesajlar oluşturabilirsiniz.
Kodlarımızda simülasyon amacıyla bir While döngüsü açıyorum ve içerisinde Random sınıfını da kullanarak anonim tip tanımlıyorum. Döngü her çalıştığında yeni bir satır oluşacak. 

Hemen arından bu satırı JSON formatına dönüştürüyorum ve WebRegRes sınıfındaki en son metodu kullanarak isteği Power BI'ya gönderiyorum.


İstekleri gönderirken Power BI Resources Uri'yi mutlaka belirtmeniz gerekir. Bu örneğimizdeki GroupDataSetResourceUri isimli değişkende satırların Resource Uri'sini önceden oluşturup tutmuştum. 

GroupDataSetResourceUri isimli değişkende tuttuğumuz bu Uri'yi şu şekilde oluşturabilirsiniz:


Peki, secilenGroupid ve secilenDataSetid nasıl elde edilecek? 

Workspace Id (Group Id) ve DataSet Id Elde Etmek


Bunun için nesnelerin Resources Uri'lerini kullanarak istekte bulunuruz. Gelen JSON formatındaki cevaplardan da bu nesnelerin Id'lerini elde edebiliriz.


Gelen JSON formatındaki cevapları okumak ve mesajın bir kısmındaki bilgiyi elde etmek için NewtonJson kütüphanesinden faydalanabilirsiniz.

Workspace ve DataSet Nesneleri  Oluşturmak

Nesneler hakkında bilgi alabileceğiniz gibi nesnelerin JSON formatındaki tanımlarını göndererek bu nesneleri uygulama tarafında da oluşturabilirsiniz. Workspace, DataSet oluşturmak satır oluşturmak gibidir. Satırı göndermek için ürettiğimiz JSON yerine aynı metoda ilgili nesnenin tanımını yazabilirsiniz. Satır oluşturmaktan farkı, karışıklık olmasın diye nesneyi tekil oluşturmaya özen göstermek, nesneye özel JSON tanımını doğru göndermek ve nesnenin Resources Uri'sini doğru belirtmektir. 

Bu konudaki çalışmalarınızı sağlıklı ve kolayca yürütebilmek için girişte belirttiğim yazılara göz atmanızı ve aşağıdaki kaynakları referans almanızı tavsiye ederim.

Power BI REST API reference (Resource Uri ve nesnelere erişim metotları hakkında bilgi sunar)

Power BI API - Apiary (Geliştirme için ortam ve örnek kodlar sunar)




4 Ocak 2018 Perşembe

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -4 (Satır Gönderme ve Dashboard Tasarımı)

Power BI üzerinde gerçek zamanlı raporlama konusuna dördüncü yazımızla devam ediyoruz.

Bir önceki yazımızda Power BI üzerinde gerçek zamanlı raporlama yapmak için Power BI REST API ile Workspace ve Dataset oluşturmuştuk.

Önceki yazıya şu linkten ulaşabilirsiniz:

Bu yazımızda Dataset içerisinde tasarladığımız tablonun formatına uygun satırları üretip portale göndereceğiz. Hemen ardından gönderdiğimiz verileri gerçek zamanlı izlemek için bir Dashboard (Pano) tasarımı yapacağız.

Bu çalışmada genel olarak şu adımları atacağımızı ifade etmiştik:
  1. Öncelikle Azure Active Directory servisi üzerinde OAuth 2.0 protokolüne göre güvenliğin/yetkilerin denetlenebilmesi için uygulamamızı kaydedeceğiz (register). Power BI hesapları arkaplanda Azure Active Directory Servisi ile yönetilmektedir.
  2. Kayıt sırasında uygulamamızın Power BI API'yi hangi yetkilerle kullanabileceğini belirteceğiz.
  3. Tamamen kodun işleyişine odaklanabilmek için Visual Studio'da bir Console projesi açacağız. Bu proje içerisinden gönderdiğimiz isteklerle gerekli nesneleri portalde oluşturacak, hemen ardından bir döngü ile ürettiğimiz verileri portale göndereceğiz.
  4. İhtiyacımız olan sınıfları kullanabilmek için öncelikle Azure Active Directory ve Power BI API dll'lerini projemizin referanslarına ekleyeceğiz.
  5. Kaydettiğimiz uygulama bilgilerini veya kullanıcı kimlik bilgilerini kullanarak Azure AD'den token alacağız. Bu token, API istekleri sırasında kullanılmaktadır. API'ye erişim yetkileri bu token sayesinde doğrulanmaktadır.
  6. Projemiz içerisinden sırasıyla gerekli Power BI nesnelerini oluşturacağız ve veri göndermeye başlayacağız.
  7. Gönderdiğimiz verileri Power BI portalde oluşturacağımız Dashboard (pano) üzerinde yayınlayacağız. Önceden tanımlı görselleri kullanarak akışı farklı bakış açıları ile izleyebileceğiz.

Bir Dataset İçerisindeki Tabloya Veri Göndermek


Önceki yazılarda başlattığımız Console uygulamasını açıp geilştirmeye devam edelim.
Göndereceğimiz satırları rahatça hazırlayabilmek için bir Class açıp YeniKayıt isimli bir tip tanımlıyoruz.


Hemen ardından PowerBIClient nesne örneğimiz üzerinden PostRowsInGroup metotu ile satırları göndermeye başlayabiliriz. Bu metotun istediği groupId ve datasetKey parametrelerini daha önceki yazılarımızda değişkenlerde tutmuştuk. tableName parametresine bir önceki yazıda oluşturduğumuz tablo adını veriyoruz. En son parametreye de satırların olduğu nesnemizi veriyoruz. 

Simülasyon örneğimizde bir while döngüsü içerisinde Random sınıfı ile rastgele değerler üretip gönderiyoruz.


Kodları, aynı nesneleri tekrar oluşturmayacak şekilde düzenleyip projeyi başlatalım. 



Akışın sağlıklı olduğunu gördüğümüzde akan veriyi izlemek için Power BI portale geçip bir Dashboard tasarlayalım.


Gerçek Zamanlı Raporlama için Dashboard Tasarlamak


www.powerbi.com adresinden portale giriş yapıyoruz. Sol menüden oluşturduğumuz YeniGroup isimli Workspace'i seçelim. Sağ üst köşedeki 'Create' butonu ile bir Dashboard (Pano) oluşturalım. 

Oluşturduğumuz Dashboard ekranında üstteki 'Add tile' butonu ile görselleri eklemeye başlayalım. Çeşitli görseller mevcut. Biz REAL - TIME DATA grubundaki CUSTOM STREAMING DATA butonu ile veri izlemeye odaklanalım.


Veri akşını yumuşak bir animasyonla bize sunan görselleri bu menüden seçiyoruz. Açılan pencerelerden adım adım oluşturduğumuz Dataseti ve görseli seçelim. Her bir görselin kendine ait alanları var. Uygun alanları tablonun kolonları ile eşleştirelim. Son ekranda görsele başlık ve link verebilirsiniz. 

Görselleri 'Add tile' butonu ile teker teker ekliyoruz. Böylece aşağıdakine benzer bir görüntüyü kolayca elde edebilirsiniz.


Sonuç


Eğer akış esnasında çeşitli filtrelemeler veya hesaplamalar yapmak ve bunları farklı hedeflere iletmek sizin için önemliyse gelişmiş bir çok ürünü / Azure Servislerini tercih edebilirsiniz. Bu hedeflerden birini de Power BI olarak belirleyebilirsiniz. Azure Stream Analytics servisi akan veriyi Power BI'a kolayca yönlendirebilmektedir.

Eğer Power BI haricinde bir maliyete girmek istemiyorsanız ve akışı farklı hedeflere yönlendirmek öncelikleriniz arasında değilse Power BI REST API'den faydalanabilirsiniz. Yazı serimizdeki yönlendirmeleri kendi projelerinize uygulayarak kolayca gerçek zamanlı raporlar tasarlayabilirsiniz.

Aslında bu konu oldukça geniş bir konu. Bu seride hızlıca ve kolayca neler yapabileceğimize odaklandık. 

Detaylar için:

Limitler için:

Kodlama ve testler destek için:

Dilerseniz tüm işlemleri doğrudan Http istekeri ile Json alışverişleri halinde de yapabilirsiniz. Böylece her platform üzerinden veri akışını Power BI'a iletebilirsiniz. Hatta bazı adımları kod ile değil de Power BI Portal üzerinden yapabilirsiniz. 

Bunların nasıl yapıldığına da farklı bir yazıda değiniriz.

3 Ocak 2018 Çarşamba

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -3 (Workspaces, Datasets)

Power BI üzerinde gerçek zamanlı raporlama konusuna üçüncü yazımızla devam ediyoruz.

Bir önceki yazımızda Power BI üzerinde gerçek zamanlı raporlama yapmak için kullanacağımız Power BI REST API'den, Azure AD üzerinde uygulama kaydetmekten ve token almaktan bahsettik.

Power BI REST API yardımıyla Power BI portal üzerindeki nesneleri programatik olarak yönetebiliyoruz. İzlemek istediğimiz veriyi yine bu API yardımıyla portale gönderiyoruz. Power BI REST API'yi belli yetkiler çerçevesinde kullanabilmekteyiz. Bu güvenlik doğrulamasının yapılabilmesi için uygulamamızı Azure AD'ye kaydetmemiz ve bir Application ID elde etmemiz gerekti. Biz de önceki yazımızda bu gereği yerine getirdik. Hem uygulama kaydetmeyi hem de kayıt bilgileri ile token elde etmeyi el aldık. Bu yazıdakileri uygulayabilmek için bir önceki yazıda geçen işlemleri uygulamanız gerekmektedir.

Önceki yazıya şu linkten ulaşabilirsiniz:


Uygulamamızı geliştirmeye devam ediyoruz. Sıra Power BI nesneleri oluşturmada ve bunları görüntülemede.

Bu çalışmada genel olarak şu adımları atacağımızı ifade etmiştik:
  1. Öncelikle Azure Active Directory servisi üzerinde OAuth 2.0 protokolüne göre güvenliğin/yetkilerin denetlenebilmesi için uygulamamızı kaydedeceğiz (register). Power BI hesapları arkaplanda Azure Active Directory Servisi ile yönetilmektedir.
  2. Kayıt sırasında uygulamamızın Power BI API'yi hangi yetkilerle kullanabileceğini belirteceğiz.
  3. Tamamen kodun işleyişine odaklanabilmek için Visual Studio'da bir Console projesi açacağız. Bu proje içerisinden gönderdiğimiz isteklerle gerekli nesneleri portalde oluşturacak, hemen ardından bir döngü ile ürettiğimiz verileri portale göndereceğiz.
  4. İhtiyacımız olan sınıfları kullanabilmek için öncelikle Azure Active Directory ve Power BI API dll'lerini projemizin referanslarına ekleyeceğiz.
  5. Kaydettiğimiz uygulama bilgilerini veya kullanıcı kimlik bilgilerini kullanarak Azure AD'den token alacağız. Bu token, API istekleri sırasında kullanılmaktadır. API'ye erişim yetkileri bu token sayesinde doğrulanmaktadır.
  6. Projemiz içerisinden sırasıyla gerekli Power BI nesnelerini oluşturacağız ve veri göndermeye başlayacağız.
  7. Gönderdiğimiz verileri Power BI portalde oluşturacağımız Dashboard (pano) üzerinde yayınlayacağız. Önceden tanımlı görselleri kullanarak akışı farklı bakış açıları ile izleyebileceğiz.

Çalışma Alanı (Workspaces -Group) Oluşturmak


Power BI'daki Dataset, Table, Report, Dashboard nesneleri Çalışma Alanları (Workspaces) içerisinde tutulur. Yetkilendirme ve çalışmaları ayırma açısından Çalışma Alanları bir hayli önemlidir. Çalışma alanına diğer kişileri davet ederek ortak çalışmalar yürütebilirsiniz. Ayrıca çalışmalarınızı Power BI App haline getirerek App menüsü altında derli toplu şekilde tutabilir, farklı kişilerle de paylaşabilirsiniz. 

Sol menüden Çalışma Alanı oluşturup, görüntüleyebilir, mevcutları düzenleyebilirsiniz. Varsayılan Çalışma Alanı 'My Workspace' dir.



Hemen bir önceki yazımızda Visual Studio üzerinde geliştirmeye başladığımız Console uygulamamızı açıp Power BI REST API'yi kullanarak bir Workspace oluşturalım.

Öncelikle gerekli kütüphaneleri yükleyelim. Power BI REST API kütüphanelerini yüklemek için Package Manager Console'a şu ibareyi yazıyoruz:
Install-Package Microsoft.PowerBI.Api


Kütüphaneler yüklendikten sonra aşağıdaki namespaceleri kullanalım ve bir PowerBIClient nesnesi örnekleyelim:
using Microsoft.PowerBI.Api.V2;
using Microsoft.PowerBI.Api.V2.Models;

PowerBIClient nesnesi önceki yazımızda elde ettiğimiz token bilgisini ve Api Base Uri istemekte. Api Uri kısmına "https://api.powerbi.com/" adresini veriyoruz. Hemen ardından PowerBIClient nesnesinin üzerinden CreateGroup metotuna ulaşıyoruz ve grubu oluşturuyoruz. Oluşturduğumuz gruba bir Id atanıyor. Bu Id'yi daha sonra kullanacağımız için bir değişken üzerinde tutalım. 

Bu arada kodlar daha açık görünsün diye Id'yi Console ekranından kopyalıyorum ve değişkene statik olarak atıyorum.


Kodu çalıştırdıktan sonra YeniGroup isimli Workspace'in oluştuğunu Power BI portal üzerinden doğrulayabiliriz.


Simdi sıra Çalışma Alanı içerisindeki Dataset ve Table nesnelerini oluşturmakta.

Veri Kümesi (Dataset) ve Tablo (Table) Oluşturmak


Power BI Portal üzerinde içerisinde tablolar barındıran farklı türden Datasetler oluşturabiliyoruz. Dataset türlerini defaultMode özellinde belirtiyoruz. Bu türler Push, Streaming, PushStreaming, AzureAS, AsOnPrem olarak belirtilebilir. Varsayılan tür Push olarak belirlenmiştir. Biz bu örneğimizde defaultMode'u Streaming olarak belirteceğiz. Bu şekilde saniyede 5 istek gönderebiliriz ve gerçek zamanlı Dashboard (pano) görsellerimizden daha yumuşak geçişli olanları kullanabiliriz. Ancak bu türü seçersek, veri akışı durduğunda sadece 1 saat daha görseller üzerindeki verileri görebiliyoruz. Yani bu türden Dataset'ler uzun süre veri tutamıyor ve portal üzerinden de rapor tasarlanmıyor. Sadece Dashboard tasarımı yapmak mümkün oluyor. Push seçildiğinde bunları yapabiliyoruz fakat bu durumda saniye 1 istek ve saatte 1 milyon satır limiti ortaya çıkıyor.

PowerBIClient nesne örneğimiz ile Dataset ve içerisinde Table oluşturalım. defaultMode özelliğini Streaming olarak belirtiyoruz ve API ile satır ekleyebilmek için addRowsAPIEnable özelliğini true olarak işaretliyoruz.

Örneğimizde bir tür rüzgar tribünü simülasyonu yapacağız. Aşağıdaki gibi bir kodla ihtiyacımız olan Dataset, Table ve Column nesnelerini oluşturabiliriz. 


Örneğimizdeki tabloyu oluştururken desteklenen veri tiplerine de değinmiş olduk. Şuradan da desteklenen tipleri inceleyebilirsiniz:

Power BI portal üzerindeki Dataset'lere erişmek isterseniz; My Workspace içerisindekiler için GetDataset, diğer Workspace içerisindekiler için GetDatasetInGroup metotlarını kullanabilirsiniz. 

Belirtilen Workspace'teki tüm Datasetler'i bir döngüyle getirebilirsiniz. Az önce oluşturduğumuz Workspace'in groupId'sini kullanarak oluşturduğumuz Dataset bilgisini görüntüleyelim. 


YeniDataSet isimli Dataset'e atanan Id'yi de bir değişken üzerinde tutalım. Daha sonra bu Id ile Dataset'e veri göndereceğiz. 

Buradaki kodlarda sadelik olsun diye Id'leri Console ekranından kopyalayıp statik olarak değişkene atadım. Sizler amaca uygun olarak bu kodları düzenlersiniz.

Bu yazımızda gerekli nesneleri oluşturmuş olduk. Bir sonraki yazımızda veri gönderme aşamasına geçebiliriz.

31 Aralık 2017 Pazar

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -2 (Azure AD Üzerinde Uygulama Kaydetme ve Token Üretme)

Power BI üzerinde gerçek zamanlı raporlama konusuna devam ediyoruz.

Bir önceki yazımızda Power BI ile yeni tanışanlar için bir giriş yapmıştık ve seride atacağımız adımları özetlemiştik. Bu yazımızda geliştirme safhasına geçebiliriz. 

Önceki yazıya şu linkten ulaşabilirsiniz:
http://www.abdullahkise.com/2017/12/power-bi-uzerinde-gercek-zamanl.html


Bu çalışmada şu adımları atacağımızı ifade etmiştik:
  1. Öncelikle Azure Active Directory servisi üzerinde OAuth 2.0 protokolüne göre güvenliğin/yetkilerin denetlenebilmesi için uygulamamızı kaydedeceğiz (register). Power BI hesapları arkaplanda Azure Active Directory Servisi ile yönetilmektedir.
  2. Kayıt sırasında uygulamamızın Power BI API'yi hangi yetkilerle kullanabileceğini belirteceğiz.
  3. Tamamen kodun işleyişine odaklanabilmek için Visual Studio'da bir Console projesi açacağız. Bu proje içerisinden gönderdiğimiz isteklerle gerekli nesneleri portalde oluşturacak, hemen ardından bir döngü ile ürettiğimiz verileri portale göndereceğiz.
  4. İhtiyacımız olan sınıfları kullanabilmek için öncelikle Azure Active Directory ve Power BI API dll'lerini projemizin referanslarına ekleyeceğiz.
  5. Kaydettiğimiz uygulama bilgilerini veya kullanıcı kimlik bilgilerini kullanarak Azure AD'den token alacağız. Bu token, API istekleri sırasında kullanılmaktadır. API'ye erişim yetkileri bu token sayesinde doğrulanmaktadır.
  6. Projemiz içerisinden sırasıyla gerekli Power BI nesnelerini oluşturacağız ve veri göndermeye başlayacağız.
  7. Gönderdiğimiz verileri Power BI portalde oluşturacağımız Dashboard (pano) üzerinde yayınlayacağız. Önceden tanımlı görselleri kullanarak akışı farklı bakış açıları ile izleyebileceğiz.

Azure Active Directory Üzerinde Uygulama Kayıt Etme


Geliştireceğimiz uygulamanın Power BI REST API'ye hangi yetkilerle erişebileceğini Azure Active Directory üzerinde belirliyoruz. Azure AD kayıt sırasında uygulamamız için bir Application Id üretiyor. Bu Application Id ile birlikte kullanıcı kimlik bilgilerini veya kayıt sırasında girdiğimiz diğer bilgileri kullanarak Azure AD'den bir token (jeton) alıyoruz. Token görüntüde değişik karakterlerden oluşan uzun bir metindir. Bu token sayesinde uygulamamız tanınıyor ve isteklerimiz kayıt sırasında belirttiğimiz yetkiler çerçevesinde cevaplanıyor. Uygulamamızın kimliği bu token sayesinde OAuth2.0 protokolüne göre doğrulanıyor.

Uygulamayı kayıt etmek için doğrudan Azure Portal üzerinden Azure AD servisine geçebilirsiniz veya dilerseniz Power BI portalden şu adımları atarak da aynı pencereye ulaşabilirsiniz:

Power BI Portale giriş yaptıktan sonra sağ üst köşedeki Settings (Ayarlar) ikonundan Admin Portal (Yönetim Portali) menüsünü tıklayalım. Açılan pencerede Users (Kullanıcılar) menüsünü tıklayıp Go to O365 Admin Center (O365 Yönetim Merkezine Git) butonu ile Office 365 yönetim merkezine geçelim. Yeni sekmede açılması gerek Office 365 yönetim merkezini görüntüleyebilmek için yönetici yetkilerine sahip olmanız gerekiyor. Eğer yönetici değilseniz sistem yöneticinizden bu konuda yardım isteyebilirsiniz.

Office 365 yönetim merkezinde sol menüde en altta bulunan Azure AD linkini tıklayarak yeni pencerede Azure AD servisine geçiş yapabilirsiniz. Burada App Registration (Uygulama Kaydı) menüsüne tıklıyoruz ve + butonu ile uygulama kayıt işlemini başlatıyoruz.


Uygulama kayıt penceresinde uygulamanın tipini seçip bir uygulama adı ve gerçekten var olması zorunlu olmayan fakat geçerli bir URL giriyoruz.

Uygulamayı kaydettikten sonra bir Application Id atanıyor. Şimdi kaydı tıklayıp Power BI API kullanımı için gerekli Read/Write yetkilerini Required Permissions (Gerekli İzinler) menüsünden giderek verebiliriz. Eğer Power BI API Servisi listede yoksa + ile ekleyebilirsiniz.


Artık kayıt ettiğimiz uygulama bilgileri ile Power BI REST API'ye erişecek olan projemizi geliştirmeye başlayabiliriz. Visual Studio üzerinde bir Console projesi başlatıyoruz ve projemize token üretmek için gerekli olan kütüphaneleri ekliyoruz. 

Kütüphaneleri Package Manager Console pencersi yardımıyla ekleyebiliriz. Bu pencereyi Tools / NuGet Package Manager / Package Manager Console menüsü ile açabiliriz. Açılan pencerede aşağıdaki komutu kullanarak gerekli ve ilişkili kütüphaneleri kolayca yükleyebiliriz.

Install-Package Microsoft.IdentityModel.Clients.ActiveDirectory


Token üretmek için gerekli kütüphaneler kısa zamanda yüklenecektir. Hemen kodlamaya geçebiliriz. AuthenticationContext sınıfını örnekleyip AcquireTokenAsync metoduna kayıt sırasında kullandığımız bilgileri giriyoruz ve bu örneğimizde Result.AccesToken properties ile token elde ediyoruz. Öncelikle şu namespacei eklemenizi işinizi kolaylaştıracaktır: using Microsoft.IdentityModel.Clients.ActiveDirectory;


Dilerseniz AcquireTokenAsync metoduna aşağıda gibi kullanıcı kimlik bilgilerini doğrudan belirterek giriş penceresini kullanmadan da token elde edebilirsiniz.


Bu yazımızda ilk adımı attık ve Azure AD üzerinde uygulamamızı kaydedip API kullanımı için gerekli yetkileri verdik. Hemen ardından kayıt bilgilerini ve kimlik bilgilerini kullanarak açtığımız Console projesi içerisinden token bilgisini aldık. Bu token bilgisini yetki doğrulaması yapılabilsin diye Power BI REST API taleplerinde kullanacağız.

Bir sonraki yazımızda Power BI REST API ile gerekli nesneleri Power BI'da oluşturacağız ve oluşturduğumuz bu nesnelere nasıl erişebileceğimizi ele alacağız.

29 Aralık 2017 Cuma

Power BI Üzerinde Gerçek Zamanlı Raporlama - Real Time Reporting -1 (Giriş)

İnsan veya cihaz kaynaklı aktiviteleri gerçek zamanlı olarak izlemek, analiz etmek, özetlemek, raporlamak ve belli değerlerle karşılaşıldığında anında haberdar olmayı istemek, son yılların önemi giderek artan talepleri arasında. Artık hem müşteriler hem de teknoloji sağlayıcıları bu başlıklarda bir takım çalışmalar yapmakta veya bir an önce yapmak istemekte. 

Önceki yıllarda bu ihtiyaca cevap vermek zor ve pahalıydı. Gerçek zamanlı çalışmak bir lükstü. Ancak teknolojideki gelişmeler ve rekabet sayesinde artık çok daha kolay, ucuz ve kaliteli yöntemlerle bu ihtiyaçlara cevap üretmek mümkün.

Gerçek zamanlı akan veri işleme teknikleri durağan veri işleme tekniklerinden çok farklı bakış açıları ve teknolojiler gerektirir. Özellikle hız saniyede milyon/milyar transactiona ulaşıyorsa, akış esnasında verinin analiz edilmesi, özetlenmesi ve farklı hedeflere yönlendirilmesi gerekiyor üstüne bir de gerçek zamanlı tahminlemeler yapılması isteniyorsa, işin içine çok farklı teknik ve teknolojiler girecek demektir. 

Eğer ihtiyaç, veriyi akış esnasında analiz etmek değil doğrudan göstermek ise Microsoft Power BI ile bu ihtiyaca çok ucuz, kolay ve kaliteli bir biçimde cevap verebilirsiniz. Daha fazlası gerektiğinde ise Event Hub, IoT Hub, Stream Analytics, Azure ML gibi Microsoft Azure Servisleri hemen imdadınıza yetişir. Açık kaynak ürünlere nazaran inanılmaz pratik olan bulut servisleri sayesinde akan veri ile ilgili neredeyse tüm ihtiyaçlara cevap üretebilirsiniz. Buna ek olarak Microsoft SQL Server 2016/2017 ile birlikte duyurulan Operational Analytics, PolyBase, R in Database, Python in Database gibi yenilikler sayesinde de alışılmış yerel bir ortamda çalışmak mümkün.

Biz bu yazı serimizde akan verinin doğrudan Power BI'a nasıl yönlendirildiğine ve gerçek zamanlı raporlamanın nasıl yapıldığına odaklanacağız. Öncelikle Power BI ürünüyle yeni tanışanlar için bir giriş yapalım istiyorum.

Power BI, Gartner'in Magic Quadrant'ında lider konumunda olan bir Self-Serivce BI ürünü. Yani departman seviyesinde uçtan uca iş zekası ihtiyacına cevap üretebileceğiniz, üstelik teknik olmayan kişilerce de kullanılması amaçlanan kullanıcı dostu bir ürün. Excel'in Power BI eklentileri ve Power BI Desktop ile ücret ödemeden yerel kaynaklarınızı kullanarak çalışabilirsiniz. Eğer çalışma dosyalarınızı yayınlamak isterseniz Microsoft'un bir bulut hizmeti olan Power BI Portali (www.powerbi.com) bir noktaya kadar ücret ödemeden kullanabilirsiniz. Dilerseniz SQL Server 2017 ile birlikte duyurulan Power BI Report Server'ı edinerek yerel kaynaklarınız üzerinden de rapor paylaşım merkezi oluşturabilirsiniz. Bu raporlara tüm cihazlardan native uygulama olan Power BI App üzerinden veya tarayıcı üzerinden erişebilirsiniz.

Raporlama ihtiyacınızı Microsoft ürünleri ile nasıl seviyelendirebileceğinize bir göz atmak için:
Rapor ihtiyacını Seviyelendirme (Üst Yönetim, Yönetim, Veri Analistleri)

Power BI dünyasına demolarla giriş yapmak için:
Power BI Demo Serisi ( Meşrubat Satışları - 1 ) - Video
http://www.abdullahkise.com/2017/05/power-bi-demo-serisi-mesrubatc.html

Power BI Demo Serisi ( Meşrubat Satışları - 2 ) - Video
http://www.abdullahkise.com/2017/05/power-bi-demo-serisi-mesrubat-satslar-2.html

Hemen yazı serimizin odağı olan, Power BI üzerinde gerçek zamanlı raporlamanın (Real Time Reporting) nasıl yapılacağı konusuna geçelim.

Öncelikle www.powerbi.com adresinden bir Power BI hesabı açalım. Eğer şirketinizin Office 365 aboneliği mevcutsa zaten Power BI kullanıcısı olabilirsiniz. Bu durumda portal sizi tanıyacaktır. Şirket mailinizi ve şifresini kullanarak giriş yapabilirsiniz.

Giriş yaptıktan sonra soldaki menüyü kullanarak bir çalışma alanı (Workspace) açabilir, Get Data ile bir kaynağa bağlanabilir, içinde tablolar (Tables) barınan veri setleri (Data Sets) oluşturabilirsiniz. Tarayıcı üzerinde veya yerel Power BI dosyaları vasıtası ile veri setinden raporlar (Reports) tasarlayabilir, tasarladığınız farklı raporlardaki görselleri bir araya getirebileceğiniz panolar  (Dashboards) açabilirsiniz.


Power BI üzerinde gerçek zamanlı raporlama yapmak için doğrudan Power BI REST API ile çalışacağız. Bu API ile iki şekilde çalışabiliriz; doğrudan http istekleri göndererek veya bu istekleri kapsülleyen Microsoft.PowerBI.Api dll'lini kullanarak. Power BI REST API sayesinde yukarıda bahsi geçen nesnelere yazdığımız bir uygulama içinden erişebilir, yeni nesneler oluşturabilir, var olanları kaldırabiliriz.

Power BI Rest Api Referans dokümanına şu linkten erişebilirsiniz:

Biz de örneğimizde bir Console uygulaması içerisinden Power BI portalde bir Workspace (çalışma alanı) oluşturacağız. Oluşturduğumuz bu Workspace'e bir Streaming DataSet (Veri Seti) göndereceğiz. DataSet içerisinde tanımladığımız Table'ın (tablo) formatına uygun veriyi rüzgar tribünü simülasyonu şeklinde, bir döngü ile sürekli olarak göndereceğiz. Sonrasında çeşitli görseller kullanarak Dashboard (pano) üzerinde bu gönderileri gerçek zamanlı izleyeceğiz.



Bu çalışmada hangi adımları atacağımızı özetleyelim;
  1. Öncelikle Azure Active Directory servisi üzerinde OAuth 2.0 protokolüne göre güvenliğin/yetkilerin denetlenebilmesi için uygulamamızı kaydedeceğiz (register). Power BI hesapları arkaplanda Azure Active Directory Servisi ile yönetilmektedir.
  2. Kayıt sırasında uygulamamızın Power BI API'yi hangi yetkilerle kullanabileceğini belirteceğiz.
  3. Tamamen kodun işleyişine odaklanabilmek için Visual Studio'da bir Console projesi açacağız. Bu proje içerisinden gönderdiğimiz isteklerle gerekli nesneleri portalde oluşturacak, hemen ardından bir döngü ile ürettiğimiz verileri portale göndereceğiz.
  4. İhtiyacımız olan sınıfları kullanabilmek için öncelikle Azure Active Directory ve Power BI API dll'lerini projemizin referanslarına ekleyeceğiz.
  5. Kaydettiğimiz uygulama bilgilerini veya kullanıcı kimlik bilgilerini kullanarak Azure AD'den token alacağız. Bu token, API istekleri sırasında kullanılmaktadır. API'ye erişim yetkileri bu token sayesinde doğrulanmaktadır.
  6. Projemiz içerisinden sırasıyla gerekli Power BI nesnelerini oluşturacağız ve veri göndermeye başlayacağız.
  7. Gönderdiğimiz verileri Power BI portalde oluşturacağımız Dashboard (pano) üzerinde yayınlayacağız. Önceden tanımlı görselleri kullanarak akışı farklı bakış açıları ile izleyebileceğiz.

Bu yazımızda Power BI ile yeni tanışanlar için konuya bir giriş yapalım istedim. En sonda özetlediğimiz geliştirme aşamasına sonraki yazımızda odaklanıyoruz.

Eğer kendiniz hızlıca bir şeyler denemek isterseniz şu linkler size yol gösterecektir:

Overview of Power BI REST API

Power BI REST API reference

Power BI API - Apiary