Stream Processing with Azure Databricks (Spark Engine) | Data Revolution 2021 Web Seminerleri

Devcosci Bilişim'in organize ettiği Data Revolution-2021 Web Seminerleri tüm hızıyla devam ediyor.

27 Ocak 2021 tarihinde düzenlenen "Stream Processing with Azure Databricks (Spark Engine)" isimli canlı yayını kaçıran arkadaşlarımız youtube üzerinden kaydına ulaşabilir.

Sıradaki etkinliklere kayıt olmak için:
https://www.devcosci.com.tr/Egitim/PlanlananEtkinlikler

Video İçeriği:

• Farklı Bakış Açıları ile Veri Türleri
• Büyük Veri Nedir?
• Veri Analizi Süreçleri
• Veri Analizi Sürecinde Karşılaşılan Ana Mücadele Noktaları
• Lambda Architecture
• Stream Processing (ve Real-Time Analytics) Konsepti
• Azure Event Hub (Azure IoT Hub) Servisinin Açılması
• Azure Databricks (Spark Engine) Servisinin Açılması
• Azure Databricks Üzerinde Stream Processing

https://youtu.be/WAc27iNeV9o

MS Data Scientist Roadshow - Velocity Oturumundaki Dökümanlar

Dün (26 Mayıs 2017) Microsoft tarafından Data Scientist Roadshow isimli bir etkinlik düzenlendi. Açılış konuşmasının Microsoft Genel Müdür Yardımcısı Cavit Yantaç tarafından gerçekleştirildiği bu etkinlikte birbirinden değerli MVP'ler konuşmacı oldu.

Data Science odaklı en güncel teknolojilerin aktarıldığı bu etkinlikteki ilk oturumda Big Data 'nın Velocity özelliğine odaklandık. Oturum esnasında yaptığımız demolar ile, Azure Servislerini kullanarak Big Data problemlerine kolayca çözümler üretebileceğimizi deneyimledik.

Oturum esnasında kullandığım sunum ve bazı kodlara aşağıdaki linkten erişebilirsiniz:
https://1drv.ms/f/s!Ap5-WHzOJRrTuTI6kF62SW3B6U8G

Oturum esnasında kullandığım sunum ve bazı kodlara aşağıdaki linkten erişebilirsiniz:
https://1drv.ms/f/s!Ap5-WHzOJRrTuTI6kF62SW3B6U8G

2015 - Microsoft Açık Akademi Yaz Okulu Etkinliği Video Kayıtları (2 gün)

2015 yazında Microsoft'ta düzenlenen açık akademi etkinliklerinde gerçekleştirdiğim iki günlük sunuma ait video kayıtlarını blogumda da paylaşayım istedim.

Türkiye'nin çeşitli üniversitelerinden davet edilen meraklı ve yetenekli katılımcıların olduğu bu etkinlikte farklı sektörtörlerden çok değerli profesyoneller konuşmacı olarak görev aldı. Ben de bu etkinlikte 2 tam gün konuşma yaptım ve veri odaklı teknolojilerdeki son durumu paylaştım. Zaman zaman teknik konular dışına çıkarak iş görüşmeleri, sektör, karıyer vs. gibi konularda da konuşma fırsatı bulduk.

Bu etkinliğe katılmak istemiş ancak fırsat bulamamış arkadaşlarım için video kayıtlarını paylaşayım istedim.

Not: 300 civarı genç katılımcının olduğu salonda tam günlük etkinliği dinamik bir şekilde yapabilmek ve dikkatleri toplayabilmek için bazı standartların dışına çıkmamız gerekti. İzlerken sakin olun, her şey kontrol altında :)

Tanıtım Videosu:

https://youtu.be/cYssO6Rs2Ec

1. Gün 1. Oturum

https://youtu.be/201C-mzNv7Q

1. Gün 2. Oturum

https://youtu.be/IPamO__sVL0

1. Gün 3. Oturum

https://youtu.be/531cFCfGteg

1. Gün 4. Oturum

https://youtu.be/qf8CJqBKfcY

2. Gün 1. Oturum

https://youtu.be/9fSlSgtgqA8

2. Gün 2. Oturum

https://youtu.be/KniPtZBtbmU

2. Gün 3. Oturum

https://youtu.be/T8ysMGoI2VM

Veri Yönetimi Ekibi - Büyük Veri Etkinliğinden Görüntüler

26 Ağustos 2015 Çarşamba günü İTÜ Teknokent'te gerçekleştirdiğimiz tam günlük Büyük Veri Etkinliğine Türkiye'nin çeşitli noktalarından katılım sağlayan tüm katılımcılarımıza, Hadoop oturumunda konuşmacı olarak görev alan Techbase kurucularından Veysel Taşçıoğlu'na, öz verisini esirgemeyen Bilge Adam çalışanlarına, Attuntiy Replicate ürünü hakkındaki sorulara cevap vermek amacıyla yurttışından gelerek aramıza katılan Menachem.Brouk'a ve Veri Yönetimi Ekibinin kıymetli üyelerine teşekkür ediyoruz.

Gelmek isteyip de gelemeyenler için bir not; Veri Yönetimi Ekibi çok yakında benzer etkinliklerle tekrar karşınızda olacak.

İşte etkinlikten bir kaç sahne :

Konuşmacı olduğum "Smart World through IoT" oturumundan bazı anlar : Oturumda salon sıcaklığını Arduino Cihazı ile dinleyip, sıcaklık değişimini Event Hub, Stream Analytics teknolojilerinden de faydalanarak Power BI dashboardlarında gerçek zamanlı olarak görüntülemiştik. Etkinlik sonrasında oturumdan keyif aldığını özellikle dile getiren katılımcılarımız oldu. Sizlerin ilgisi sayesinde çok daha keyifli çalışmalarla yeni dönemde de karşınızda olacağız.

Veri Yönetimi Ekibi - Büyük Veri Etkinliği - Günün Planı

26 Ağustos 2015'te İTÜ Teknokent ARI 3'te yapacağımız Büyük Veri etkinliğinde daha ilk günden yoğun talep üzerine kontenjan limitine ulaştık. Limiti iki kez arttırdık ancak buna rağmen katılmak isteyip katılamayan arkadaşların olduğunu gördük.

İyi haber; Artık benzer çalışmalarla yıl boyu sizlerin karşınızda olmayı planlıyoruz.

Kayıt olmayı başarabilenler için günün planıyla birlikte hatırlatmamızı yapalım:

Tarih : 26 Ağustos 2015 - Çarşamba
Saat : 10:00 - 17:00
Adres : İ.T.Ü. Ayazağa ARI Teknokent ARI:3, Kat:-1 Maslak/İstanbul

Etkinlikte görüşmek üzere...

Nesnelerin İnterneti (IOT - Internet of Things) ile Yeni Akıllı Dünya

IOT ile ilgili uzun bir yazı yazmayı planlıyordum. Sonra söylenecek o kadar çok şey olduğunu farkettim ki, daha özet ve anahtar noktaların olduğu bir yazı yazmaya karar verdim.

Nedir bu IOT ?

Kevin Ashton tarafından ortaya atılan IOT kavramı; elektronik cihazları, yazılımları ve bu cihazlar arasındaki haberleşmeyi kapsamaktadır. Haberleşme ilk zamanlarda radyo frekansları ile yapılmıştır. Ancak haberleşme yöntemlerindeki gelişim ve değişim kavramın giderek daha çok ürünü içerisine almasına ve kullanım alanının genişlemesine vesile olmuştur. IOT özellikle internet ağı üzerinden bir biri ile haberleşen ve aksiyonlar alabilen cihazları, yazılımları ifade etmek için kullanılır. Daha yerel olarak makineler arası iletişimi ifade eden M2M kavramı da bir şekilde IOT ile ilişkilidir.

IOT sadece bir birlerine veri gönderen cihazları değil bu veriden anlam çıkaran ve gerektiğinde plan yapabilen, şaşırtıcı akıllı sistemleri ifade etmektedir. Akıllı saatler, gözlükler, bileklikler, ev aletleri, araç içi cihazlar, cep telefonları günlük yaşamda karşımıza çıkan IOT ürünlerinden bazılarıdır.

Neden IOT?

Günümüzdeki beklentiler ve birim zamanda karar verme ihtiyacı o kadar çok arttı ki artık doğru adımları atmak için insan üstü bir çaba gerekir oldu. Bu yükü, alet kullanma becerisi mükemmel seviyede olan insan oğlunun icadı olan elektronik cihazlar yardımıyla hafifletmek mümkün.

Elektronik cihazlar fiziksel dünya etkilerini sensörler yardımıyla elektriksel güce çevirirler, aktuatörler yardımıyla da elektriksel güç fiziksel dünya tepkilerine çevrilebilir. Etki ve tepkinin nasıl yorumlacanağı ise cihazların beyni olan mikroişlemciler üzerinde tanımlanır. Sensörler sayesinde insan üstü hassasiyette çevre takibi yapılabilir. Ortamın ısısı, gaz, radyasyon, basınç, hız, ışık, kuvvet, yoğunluk, uzaklık, kimyasal durum vs. gibi bir çok şey okunabilir. Bu değerler kritik seviyelere ulaştığında cihazın gerekli aksiyonları alması veya bilgileri başka cihazlara yönlendirmesi hayat kurtarır.

Örneğin siz uyurken bir yangın durumunda en yakın itfaiye ve ambulansın konum bilgisi verilerek çağrılması, bu çağrıyı alan tarafların trafik bilgisi baz alınarak yol tarifi alması, sağlık personelinin gelirken sağlığınızla ilgili ktirik bilgileri takip etmesi ve daha olayların başında odanın havalandırılmasının sağlanması, alarmınızın çalıp sizi uyandırarak olup bitenler hakkında bilgi vermesi ve belki sizin için bir kaçış planın hazırlanması mümkün. Çok uzak bir geleceğe ait bilim kurgu senaryosundan veya Bond filminden alıntı bir sahneden bahsetmiyorum. Kısmen veya tamamen hayata geçmiş olan bir çalışmadan bahsediyorum. Benzer senaryolar çoktan bazı ülkelerde hayata geçirilmiştir.

Neden şimdi?

Eskiden çok maliyetli olan bu cihazlar şimdilerde oldukça ucuzladı, gelişti ve kullanımı kolaylaştı diyebiliriz. Hatta kendi kişisel çabanızla bile çok az elektronik ve yazılım bilgisi ile evinizi düşük bir maliyetle akıllı eve çevirebilirsiniz. Merak edenler için açık kaynak donanım statüsünde olan "Arduino"ya bir göz atmalarını tavsiye ederim. Üzerinde mikroişlemci bulunan bu cihaza bir çok sensör bağlayabilir, isterseniz sensörlerden gelen bilgiler doğrultusunda çeşitli nesneleri kontrol edebilirsiniz. Arduino ürününe entegre edebileceğiniz bir çok sensör ve modül yer almaktadır. Wireless, Bluetooth, GSM modülleri sayesinde cihazlar arası iletişimi sağlayarak kendi IOT çalışmalarınızı hayata geçirebilirsiniz. Çalışmalarınıza özel Arduino ürününü keşfetmek isterseniz şu linkte bir göz atabilirsiniz: https://www.arduino.cc/en/Main/Products

İçerisinde bir kaç sensörün gömülü olduğu hazır cihazlar da mevcut. Ancak bana Arduino ile çalışmak daha eğlenceli ve sınırsız gibi geldi.

Maliyetlerin düşmesinin yanısıra internet ve sanayide ciddi değişiklikler oldu. Buharlı makinelerden sonra elektronik cihazların ve bilgisayarların devreye girmesi ile çağ atlanıldı. Şimdilerde ise el değmeden üretim neredeyse bir hedef haline geldi. Bu durum başta insan hatası gibi bir çok faktörü ortadan kaldırdığı için maliyetleride bir hayli düşürerek karlılığı arttırdı. Elbette el yapımı ürünlerin benzersiz güzelliğinden tamamen vazgeçmek mümkün değil.

İnternet tarafındaki değişime dönersek eğer; önceleri kısıtlı noktalarda kurulan internet ağının genişlemesi sayesinde internet daha fazla insana hitap eder hale gelmiş, sadece statik bir kaynak olmaktaktan çıkıp insanların iletişim kurabildiği bir ağ haline dönüşerek Internet of People kavramına adım atmamızı sağlamıştır. Nihayet akıllı cihazların da bu internet ağını kullanarak bir birleri ile iletişim kurmasıyla şimdilerde bu kavram yerini Internet of Things'e bırakmıştır.

Araştırmalara göre 2020 yılında 50 milyar cihazın internete bağlı olacağı ve üretilen 44 Zettabayte verinin %80'nin bu cihazlardan geleceği tahmin ediliyor. Bunun mümkün olabilmesi için cihazların kimlikleri sayılabilecek IP adresleri IPv4 (en fazla 4.3 milyar cihaz) yerine IPv6 alt yapısı ile üretilecek. Cihazların sahip olma maliyeti düşecek. Yeni teknolojiler hayatımıza dahil olacak. Ufku açılan insanların beklentiler yükselecek. Yeni şeyler deneme cesareti artacaktır.

Her şey yolunda mı?

Altyapı ve cihaz maliyetinin düşüklüğü IOT'nin yaygınlaşması için yeterli kıvama gelmiş durumda. Talep giderek artıyor. Bir öngörüye göre IOT'nin eknomik etkisinin 2.7 trilyon dolardan 2025 yılında 6.2 trilyon dolara yükseleceği tahmin ediliyor. Ciddi bir artış. Ancak henüz çözümlenemeyen bir şay var: gizlik ve mahremiyet.

Gizlilik ve mahremiyet hala çok önemli, öyle de olmalı. Akıllı telefonlardaki uygulamalar telefonumuzu didik didik etse de yine de mahramiyeti korumak için elimizden geleni yapmak istiyoruz. Bu mesele mevcut bilgisayarlarımızda bile hala çözülememişken her yerimizi saracak olan diğer akıllı cihazlarda nasıl çözülür bilinmez. Gizlilik ve mahremiyetin şimdilik IOT'nin yaygınlaşmasını frenleyen en büyük nedenlerden biri olmaya devam edecek gibi görünüyor.

Maliyetin düşmesi, internet anlayışının değişmesi, cihazların akıllanması, beklentilerin artması ve rekabetin kızışması IOT çözümlerinin yayılmasını tetikliyor. Gizlilik ise hala çözülmeyi bekleyen bir düğüm.

IOT ile neler yapılabilir? 

Uzun uzun metinsel senaryolardan bahsetmek istemiyorum. Hayal gücünüze bağlı. Yapmak isteyip de yapamadığınız hemen her şeyi bırakın makineler yapsın. Sizin için kanının son damlasına kadar çalışacak olan bu hizmetkarlar sayesinde kralları kıskandıracak bir yaşam kalitesine ulaşmak mümküm. Doneler belli; sensörler ile dinle, matematiksel algoritmalar ile yorumla, istediğin cevabı üret. 

IOT çalışmalarını şu şekilde kolaydan zora doğru seviyelendirebiliriz:

1. Sensörlerden gelen verilerin dinlenip gerçek zamanlı raporlara dökülmesi. Belki bir yandan da verinin üzerinde çalışmak isteyebilirsiniz.
2. Cihazlara uzaktan verilen komutlar yardımıyla akıllı tepkilerin oluşturulması.
3. Cihazların kendi aralarında konuşarak yukarıda bahsettiğimiz senaryoya benzer şekilde bir yaşam planı çıkarması.

Libelium'a ait bir akıllı dünya projesi:

Bazı IOT projeleri:

• Akıllı Şehirler : Park durumu, yapıların sağlık durumu, anlık gürültü haritaları, trafik durumuna göre veya iklim şartlarına göre yönlendirmeler, akıllı ışıklandırma, sokak temizliği için akıllı yönlendirmeler.
• Akıllı Çevre : Orman yangını tespiti, hava kirliliği, toprak kayması, depremler gibi çeşitli doğal afetler için erken uyarılar, yabani hayatın incelenmesi
• Akıllı Akarsular : İçilebilir suyun kalitesinin anlık olarak monitörlenmesi, kimyasal atık tespiti, yüzme havuzu yönetimi, denizlerin kirlilik seviyeleri, su sızıntıları, nehir taşkınları
• Akıllı Ölçümleme : enerji tüketimi ve yönetimi, yakıt veya su tank seviyeleri, su basınçları
• Güvenlik ve Acil Durum : radyosyon seviyesi ve gazlardaki patlama riski
• Parekende Satışlar : Tedarik zinciri kontrolü, NFC ödemeleri, akıllı alışveriş uygulamaları, raf yönetimi
• Lojistik : teslimat kalitesi, nesnelerin bulunması ve en yakın mesafe hesapları, depo uygunluğu, hassas nesnelerin takip edilmesi
• Endüstiyel Kontrol : iç mekan atmosferlerinin kontrolu, anlık sıcaklık monitörleme, gerçek zamanlı uyarı ve kaza önleme mekanizmaları
• Akıllı Tarım : bitkilerin sağlıklarının kontrolü, sulama ve toprak yapısının kontrolü, hava durumu takibi,
• Akıllı Hayvancılık : Yavruların sağlığı, hayvanların konumlarının takibi, iç mekan oksijen ve sıcaklık takibi
• Sağlık : düşmelerin tespiti, sporcu sağlığı, hasta sağlığının izlenmesi, ultraviole ışınlarına maruz olmanın tespiti

İşte IOT'li hayattan bir güne ait senaryo :

https://www.youtube.com/watch?v=ZgWbWCv0J5E

Kameralar, sensörler ve matematiksel algoritmalar sayesinde şaşırtıcı derecede akıllı çalışan atletik quadcopter şovu:

https://www.youtube.com/watch?v=w2itwFJCgFQ

Gerçekten çok başarılı değil mi? Aslında yanıbaşınızda daha gelişmiş cihazlar da mevcut; Mobile cihazlarınız. Cihazlarındaki sensörleri incelemek isteyen meraklılara mağazalarında "sensor" kelimesini aratmalarını ve oyu yüksek bir uygulamayı yüklemelerini öneririm. İnanın elinizdeki cihaza saygınız artacak.

Ve son olarak bir not düşelim: IOT ile uğraşırken bir şekilde kendizi BigData konsepti içerisinde bulacağınızın farkında olun. Bu konsept oldukça zor ve boğucu gelebilir. Tavsiyem daha rahat kullanılabilir Microsoft veri ve analitik hizmetlerine bir göz atmanız yönünde. Bulut üzerinde bir çok hazır servis işinizi kolaylaştıracaktır. Örneğin gerçek zamanlı raporlama için Power BI, saniyede milyonlarca üretilen veriyi yakalamak için Event Hub, bu verileri işlemek için Stream Analytics, veriyi çeşitli algoritmalar ile inceleyip eğilim ve anlam çıkarmak için Azure Machine Learnings ve daha fazlası için HDInsight kullanmak isteyebileceğiniz hizmetlerden sadece bir kaçı. http://azure.microsoft.com/

MS IOT çözümleri için şu siteye bir göz atabilirsiniz:
http://www.microsoft.com/en-us/server-cloud/internet-of-things.aspx

Google'un arama motoru verilerinden yola çıkarak dünya üzerinde grip salgını trendini görüntülediği şu çalışma da bir göz atmaya değer doğrusu: https://www.google.org/flutrends/

Microsoft'un resimden yaş tespiti yapan şu çalışmasına da göz atmadan geçmeyin derim: http://how-old.net/

Faydalı olması dileğiyle...

Veri Yönetimi Ekibi - Büyük Veri Etkinliğine Davetlisiniz (26 Ağustos 2015)

Veri Yönetimi Ekibi tarafından gerçekleştirilecek olan bu etkinlik diğerlerinden çok farklı olacağa benziyor. Etkinlikte Büyük Veri ile ilişkili çeşitli teknolojileri ve platformları konu alan bir birinden değerli oturumlar sizleri bekliyor.

Heyecanlandık ve en azından genel başlıkları şimdiden sizlerle paylaşalım istedik. Detayları pek yakında yine burada olacak.

Kayıt için : 

Tarih : 26 Ağustos 2015 - Çarşamba
Saat : 10:00 - 17:00
Adres : İ.T.Ü. Ayazağa ARI Teknokent ARI:3, Kat:-1 Maslak/İstanbul

https://www.egitimtakvimi.com/EgitimTakvimi/EgitimDetay/2089?Title=B%C4%B0LGE-ADAM-%C4%B0LE-B%C3%9CY%C3%9CK-VER%C4%B0-ETK%C4%B0NL%C4%B0%C4%9E%C4%B0

	26 Ağustos 2015 Çarşamba günü gerçekleştirilecek olan, Bilge Adam Veri Yönetimi Ekibi'nin profesyonel kadrosundaki değerli danışmanların sunumlar gerçekleştireceği etkinliğimize davetlisiniz.	- Big Data - Azure Data Services - Azure Machine Learning - Stream Analytics - Attunity Replicate - Power BI - SQL Server 2016 New Features for DP
Uzman Kadromuz ile Tanışın.

Kayıt için : 

Tarih : 26 Ağustos 2015 - Çarşamba
Saat : 10:00 - 17:00
Adres : İ.T.Ü. Ayazağa ARI Teknokent ARI:3, Kat:-1 Maslak/İstanbul

https://www.egitimtakvimi.com/EgitimTakvimi/EgitimDetay/2089?Title=B%C4%B0LGE-ADAM-%C4%B0LE-B%C3%9CY%C3%9CK-VER%C4%B0-ETK%C4%B0NL%C4%B0%C4%9E%C4%B0

Veri Yönetimi Ekibi & 2015 Kış seminerleri - Abdullah Kise (Web Semineri Kayıtları) - Azure (NoSQL, Big Data)

Veri Yönetimi Ekibinde Birim Müdür Yardımcılığı görevini üstlenen Abdullah Kise (bendeniz) tarafından gerçekleştirilen 2015 kış webseminerlerine ait video kayıtları :

Document DB ve Azure Search

https://youtu.be/VC8adVPMCmE

Abdullah Kise : "Bu web seminerinde; JSON formatta, dokuman bazlı NoSQL veri depolayan DocumentDB sayesinde bilindik yöntemlerle ilişkisel olmayan very modelleri ile çalıştırabilirsiniz. Ayrıca Azure Search sayesinde arama motoru fonksiyonlarını kendi uygulamalarınız içerisinde konumlandırabilirsiniz. Bu oturumda .NET LINQ, SQL Query expression ve Javascript dillerinden de faydalanarak, her iki hizmet için sonuç odaklı demolar yapıyor olacağız."

HDInsight ile Microsoft Büyük Veri Çözümü

https://youtu.be/VC8adVPMCmE

Abdullah Kise : "Bu web seminerinde; Microsoft’un Big Data çözümü olan HDInsıght platformu üzerinde büyük veri ile kullanıcı dostu yöntemlerden faydalanarak çalışın. C#, .NET LINQ, Power Query vs. kullanın. Bu oturumda HDInsıght kullanımına odaklanıyor olacağız."

Keyifli seyirler...

NoSQL Dünyası - 1 (Veri Yönetiminin Evrimi ve Yeni Cesur Dünya)

İnsanoğlu daha rahat düşünme, kendini ifade etme, birbirleri ile haberleşme, bir hatırayı ölümsüzleştirme, bir bölgenin haritasını çıkarma, sanatsal ve kültürel miras aktarma gibi daha birçok ihtiyaca, yüzlerce yıl önce yazı veya çizimlerle cevap verebildiğini fark etmiştir. Olayları ve fikirleri kalıcı hale getirmek için birçok teknik denemiş, talep arttıkça devrimsel değişiklikler yapmaya cesaret bulmuştur. Bilgileri daha uzun süre saklayabilme ve yayma isteği taş duvarları, kil tabletleri, bitki temelli papirüsü, hayvan derisinden parşömeni ve en son günümüzde yaygın olarak kullanılan selülozdan yapılma kâğıdı kullanmaya sevk etmiştir.

Eski çağlardan beri kütüphanelerinde yazılı metinlerin çok olduğu bölgelerde daha fazla bilim ve sanat üretilmiş, bu yönetimler daima güçlü olmuşlardır.  Amerika’daki “Library of Congress” ve İngiltere’deki “British Library” kütüphaneleri, bünyesinde barındırdıkları 150 milyon kayıtlı öge ve kabul ettikleri yıllık 1.75 milyon ziyaretçi sayısı ile dünyanın en büyük kütüphaneleri olmuşlardır. Türkiye’nin en iyi kütüphanesi olarak kabul edilen “Atatürk Kitaplığı” kütüphanesinde ise yaklaşık 500 bin yazılı eser bulunmaktadır. Vatikan Kütüphanesi’nde bulunan Osmanlı arşivlerinin elimizdekilerden daha iyi durumda olduğunu da düşünürsek içinde bulunduğumuz dünyanın dinamiklerinin bu şekilde olmasına şaşırmamalıyız.

Elektrik ve elektronik devrimi

Tarihin derinliklerinden gelen daha fazla veri toplama ve analiz edip anlam çıkarma çabası 1940’larda kullanılan ve bugünkü bilgisayarlar ile benzer mantıkta çalışan 30 tonluk ENIAC’ı üretmeyi de tetiklemiştir. İlk olarak Amerika tarafından savaşta kullanılması planlanan bu alet, topu topu hafızasında 200 sayı saklayabiliyor, saniyede 385 adet çarpma işlemi yapabiliyor, 60 saniye yol alan bir savaş topunun menzilini 20 saatlik bir çalışma ile hesaplayabiliyordu. Yine de devrim niteliğinde bir veri depolama ve işleme aracı olarak kabul gördü, geliştirildi ve bu sayede günümüzde çok yüksek işlem gücüne sahip bilgisayarlar üretilebildi.

Bilgisayarlar ilk üretildiklerinden bu yana veri depolama ve işleme konusunda bir hayli önemli noktalarda konumlandırıldı. Bilginin bir güç olduğunu çok önceden fark eden insan, doğal olarak daha fazla bilgi depolama ihtiyacı hissetti. Bu sebeple verinin tutarlılığının korunması, belli bir düzende olması, kolay ve hızlı erişim sağlanabilmesi, gerektiğinde zahmetsizce bakımının yapılabilmesi, karar vermeyi kolaylaştıracak şekilde sonuçlar üretilebilmesi ve güvenlik altında olması için çeşitli veri yönetim sistemleri geliştirildi.

Veri yönetim sistemleri neler?

1960’lardan bu yana birçok veritabanı yönetim sistemi (DBMS) kullanıldı ve kısmen veya tamamen terkedildi. Bazen veriler bir ağaç yapısında hiyerarşik (HDBMS) olarak, bazen bir ağ mantığında birbirleri ile ilişkilendirilerek (NDBMS), bazen de bağımsız varlıklar (entity) ve aralarındaki özel ilişkiler şeklinde (RDBMS) depolandı. Gerçek dünyanın nesne yönelimli (Object Oriented) programlama yaklaşımı ile rahatça ifade edilebildiğine karar verildiği dönemlerde, aynı sistem veritanları için de kullanılmaya çalışıldı (ODBMS - ORDBMS). Tüm bu sistemler bir dönem popüler olsa da en çok talep gören ve standartları oturmuş olan ilişkisel veritabanı yönetim sistemi yani RDBMS oldu.

http://en.wikipedia.org/wiki/Database

İlişkisel veritabanı yönetim sistemi nasıl çalışır?

Uzun zamandır en fazla kabul gören ilişkisel veritabanı yönetim sistemi, MSSQL, ORACLE, MySQL gibi ürünlerin mimarisini oluşturmaktadır. Bu sistem gereği veriler satır ve sütunlar halinde tablo dediğimiz yapılarda tutulur, tablolar arası ilişkiler primary ve foreign key olarak isimlendirilen anahtarlar yardımıyla ifade edilir ve verilere hızlı erişim için indeksler dediğimiz çeşitli ağaç yapıları kullanılır. İstemciler RDBMS’de belirli yapıda tutulan verileri ANSI/ISO standartları ile geliştirilip korunan SQL dili ile çağırır. Bununla birlikte karar yapıları, döngüler gibi programatik çalışmalar ise tercih edilen ürünün SQL temelli genişletilmiş hali (T-SQL, PL/SQL, SQL – PL ) ile gerçekleştirilir.

RDBMS verinin bütünlüğünü, sağlamlığını, tutarlılığını, güvenliğini sürdürme konusunda çok güçlüdür. Birden fazla istemcinin aynı kaynağa erişmesi sırasında çıkabilecek tutarsızlıkları en aza indirmek için sistem ACID (Atomicity, Consistency, Isolation, Durability) özelliklerini sağlamakla yükümlüdür. Bu özellikler bazen bir satır kaydı bazen komple veritabanını kilit altına alarak diğer istemcilerin mantıksız bir işlem yapmasını engelleme eğilimindedir. Bununla birlikte yıllarca veri girişi sırasında gerçekleşen insan hataları sebebiyle çeşitli anomaliler oluşsa da bunun sebebi sistem değil sistemden yeterince faydalanamamak olmuştur. Neyse ki veritabanlarını ekleme, silme, güncelleme konusunda en uygun hale getirmek için çeşitli fikirler ortaya atılmış ve bu fikirler tasarımcılar tarafından benimsenmiştir. Bunlara normalizasyon kuralları denir. Tüm bu sistemsel yaklaşımlar RDBMS’in güçlü yanını oluşturur. Tabi aynı zamanda en zayıf yanını da.

Depolanan verilerden nasıl kolayca fayda üretebilirim?

Verileri işe yarar şekilde depolayabilmek için geliştirilen sistemler ve tutarlılığını sağlayabilmek için ortaya konulan bir nevi etik kurallar, belli yapıdaki verileri saklama problemlerini neredeyse çözmüştür. Tabi bu durum insanları başka bir ihtiyaca cevap aramaya yönlendirmiştir. Verileri daha kolay nasıl analiz edebilirim ve yolumu belirlemek için sonuçları nasıl birleştirebilirim? Bu ihtiyaca cevap bulabilmek için geleneksel veritabanlarına farklı bir bakış açısı ile yaklaşılmış ve veriambarları doğmuştur. Veriambarı temel olarak günlük hayatta sayısal konular üzerinde düşünürken aklımızdan geçirdiklerimize bakılarak ortaya konulmuş bir modeldir. Basitçe bir biri ile alakalı sayısal ağırlıklı veriler bir tabloda (Fact – örneğin satış), o sayısal verileri incelemek istediğimizde kullandığımız metinsel ağırlıklı veriler diğer tablolarda (Dimension – örneğin müşteri, bölge, zaman) tutulur ve bunlar arasında sayısal tablolardan konu odaklı metinsel ağırlıklı tablolara ilişkiler kurulur. Bu yaklaşım sayesinde veri giriş etkinliğini arttırmak için normalizasyon kurallarını uyguladığımız OLTP modelden çok daha hızlı analiz yapma imkânı veren denormalize OLAP model doğdu.

Özellikle firmalar arasında giderek artan rekabet yüzünden birim zamanda verilecek karar miktarı da arttı. Dolayısıyla insanüstü bu ihtiyaç karşısında karar vermeyi kolaylaştıracak sistemlere daha fazla kafa yorulur oldu (iş zekâsının doğuşu). Bu uğraş nihayet veriambarı mantığında çalışan ancak bazı hesapların önceden yapılıp içerisinde saklandığı yapıları, yani OLAP küplerinin (Cube) hayatımıza girmesini sağladı. OLAP küpleri sayesinde muhtemel soruların cevapları önceden hazır olduğu için geleneksel sistemlerden çok daha fazla analiz performansı ve esnekliği sağlanmaktadır.

Acaba her şey bu kadar mı?

Buraya kadar konuştuğumuz yolda çeşitli safhalarda yeni yaklaşımlar geliştirilmeye devam ediliyor. Ortaya atılan tüm bu sistemler birçok açıdan güvenilir ve tutarlı olduğu için kabul gördü ve yaygın olarak kullanıldı. Ancak artık göz ardı edilemeyecek kadar büyüyen ve kuruluşların kararlarını doğrudan etkileyebilecek güce sahip dünyaya açılan başka bir yol daha var. Nihayet kuruluşlar bu dünyayı görüp ciddiye alınması gerektiğine ikna oldular ve merakları sayesinde temelleri 2000’lerde atılan yeni veritabanı yönetim sistemlerinin (NoSQL, NewSQL) geliştirilmesine motivasyon oluşturdular.

Bu yeni cesur dünyada verileri RDBMS’te olduğu gibi belli kalıptaki satır ve sütunlara sahip tablolarda tutmak bazen mümkün olmaz. Farklı gruptaki veriler arasında ilişki kurmak veya verilerin doğruluğunu, tutarlılığını sağlamak için kilit mekanizması kullanarak erişimi kısıtlamak işimize gelmez. Veriler bazen o kadar hızlı üretilir ki onu yakalayıp saklamak yerine o anda bir şeye karar vermek isteyebiliriz.

Yeni cesur dünyada neler var?

Bu yeni dünyada daha fazla veri (Big Data), çok daha fazla kullanıcı (Big User), çok çeşitli veri türleri (structed, semi-structered, unstructured), bulut tabanlı hizmetler ve sadece bir birleriyle konuşarak kararlar alabilen geveze akıllı cihazlar yer alır (IoT). Mobil cihazlar, televizyonlar, SMS/MMS, GPS cihazları, log üreten yazılımlar ve cihazlar, sensorlar, konuşmayı metne çeviren yazılımlar, Web uygulamaları, bulut hizmetleri, video ve fotoğraf üreten dijital kamera teknolojileri, sosyal iletişim araçları, bilgisayar oyunları devasa miktarda veri üretir. 64 KB’lık belleğe sahip bir bilgisayar desteğiyle aya çıkan insanoğlu artık sıradan bir günde sadece Twitter’da 1 terabayt mesaj üretmektedir.

IDC'nin bir araştırmasına göre 3 milyar insan 2013-2014 yıllarında aylık olarak 35 milyar saat internet ortamında vakit geçirmektedir. Bu popülasyonun 1.75 milyarı akıllı telefon kullanıcıları olarak tespit edilmiştir. Bu araştırma sonucunda internete bağlı 20 milyar cihazın 2014 yılında 4.4 Zetabayt (1 zetabayt = 1 milyar terabayt) veri ürettiği gözlenmiş ve bu sayıların 2020 yılına kadar 44 zetabayt veriye ve 32 milyar internete bağlı cihaza erişeceği ön görülmüştür.

http://www.emc.com/leadership/digital-universe/2014iview/internet-of-things.htm

Bu kadar büyük veriyi ve hızla değişen istemci talebini yönetebilmek için sisteminizi iki farklı modelde ölçeklendirebilirsiniz:

Dikey Ölçeklendirme (Vertical Scaling – Scale Up): Tek bir cihaza donanım yatırımı yapmak manasına gelir. Örneğin CPU, Memory, Disk artırımı yapmak bu kapsamdadır. Sanallaştırma ile bu yöntem daha pratik hale gelmiş olsa da donanım yatırımı yapmak pahalı ve riskli olabilmektedir.

Yatay Ölçeklendirme (Horizontal Scaling – Scale Out): Daha ucuz cihazları birleştirerek güçlü bir sistem oluşturma esasına dayanır. Böyle bir sistemi büyütüp küçültmek daha az maliyetli ve daha az risklidir.

Aslında her şey yolunda gidiyor gibiydi.

Cihazları güçlendirmek veya sisteme yeni bir cihaz eklemek yeni dünyanın getirilerine kısmen cevap verebilmektedir. Kısmen diyoruz çünkü mesele sadece çok veri (Big Data) veya çok kullanıcı (Big User) değil. İşi daha da zorlu hale getiren, veriyi yazma-okuma işlemlerinde belirli bir kalıpla sınırlanmama ve yüksek hızda cevap alma tutkusudur. Geleneksel veri tiplerinin yanı sıra, bir belge, koordinat, hiyerarşik bir düzen, bölgesel türde bilgi, grafiksel gösterim veya bir video saklanmak istenebilir. Hatta her bir kayıt bir birinden farklı özelliğe de sahip olabilir. Örneğin en basiti müşteriler hakkında bilgi toplamak istediğinizde bazı müşteriler için bir, bazı müşteriler için birden fazla telefon numarası ile karşılaşırsınız. Bununla birlikte bazı müşterileriniz telefon numarası vermeyip e-posta veya fiziksel adres bilgilerini sizlerle paylaşmak isteyebilir. Belki sadece koordinat bilgilerini tutmak zorunda kalacağınız müşterileriniz bile olabilir. Kim bilir belki de bazı müşteriler ile iletişime geçmek için bir prosedürle ilerlemeniz gerekebilir. Bu durumda gerekli belgeleri müşteri bilgileri ile birlikte tutmak isteyebilirsiniz. RDBMS yapısal verileri (Structured) yani bir tabloda tutulmaya uygun verileri yönetme konusunda uzmandır. Ancak etrafımıza baktığımızda birçok kaynak yapısal olmayan (unstructured) türden verileri üretmektedir. Buna cevap olarak NoSQL çözümlerinde veri girişi için bir şema zorunluluğu bulunmamaktadır (elbette kurallar var). Yapısal olmayan veriler için en uygun ortamı NoSQL çözümleri sağlamaktadır.

Geleneksel sistemlerde yeni dünya için çözümler üretildi mi?

Microsoft SQL Server yıllar içerisinde yeni yetenekler kazandı ve yapısal olan veya olmayan veriyi binary da olsa tutma becerisine kavuştu. Compression, Partition, FileStream, FileTable, InMemory OLTP, ColumnStore, Buffer Pool Extention, AlwaysOn gibi yenilikler ile bir yere kadar ihtiyaçlara cevaplar üretilebildi. RDBMS ürünleri yeni dünya ihtiyaçlarına cevap verme konusunda çokça çabalasa da yeterince tatmin etmiştir diyemeyiz. Çünkü RDBMS ürünleri verilerin tutarlı olması konusuna (Consistency) odaklanmış durumdadır ve ACID özelliklerini sağlama konusunda son derece yeteneklidir. Bu yetenekler daha az makinenin daha fazla kısıtla çalışmasına veya tek bir süper makinenin saniyeler içerisinde inanılmaz boyutlara ulaşan taleplerin altında ezilmesine sebebiyet vermektedir.

Peki, nasıl mücadele edilebiliyor?

Bu hız tutkusu bazı tavizler vermeyi zorunlu hale getirmiştir. Yeni dünya tutarlılıktan (Consistency) daha çok erişebilirliğe (Availability) önem vermektedir. Bu eğilime cevap vermek için ortaya atılan NoSQL çözümleri tek bir makinenin sınırlarından kurtulup binlerce makinenin birlikte çalışmasına olanak vermiştir. Tutarlılık derdi ön planda olmayan NoSQL çözümleri geleneksel veritabanlarındaki kilit mekanizmasına benzer bir mekanizmayı kullanmayıp eşzamanlı çalışma imkânı sunmaktadır. Zaten CAP Teoremi gereği dağıtık sistemler birlikte çalışabilmesi için tutarlılık (Consistency), erişebilirlik (Availability) ve sistemin bir kısmı zarar gördüğünde işleyişin devam etmesine olanak tanıyan parça toleransı (Partition Tolerance) özelliklerinden en fazla ikisini sağlayabilmektedir. Verileri bu türden yönetme yaklaşımına BASE (Basically Available Soft-state services with Eventual-consistency) adı verilmektedir. Bir sonraki yazımızda bu konulara odaklanacağımız için bu kısmı özet bir ifade ile geçmek istiyorum; RDBMS ürünlerindeki ACID yaklaşımı veri tutarlılığına odaklanırken, NoSQL ürünlerindeki BASE yaklaşımı daha çok erişebilirliğe odaklanmaktadır. Mesela Facebook’ta bir arkadaşlık isteğini kabul ettiğinizde başka bir bilgisayarda henüz kabul edilmemiş olarak göründüğünü fark etmişsinizdir. Tabi ki iş yüküne bağlı olarak güncel bilgiler diğer makinelere de bir süre sonra yansımaktadır.

Artık tamamen NoSQL çözümlerine mi yönelmeliyiz?

Yeni dünyada ihtiyaca özel çözümlerin bir arada kullanılması fikri ön plana çıkmaktadır. RDBMS ürünleri verinin tutarlılığının kritik olduğu yerlerde (mesela finans) tercih edilmesi gereken ve genelde ücretli ürünlere ait bir sistem olarak karşımıza çıkarken, NoSQL ise işlemlerin sürekli devam etmesi gereken durumlarda (mesela sosyal medya) tercih edilen ve genelde ücretsiz ürünlere ait sistemler olarak kaşımıza çıkmaktadır.

Bu yazımızda bazı safhaları baypas eder verinin evrimine odaklandık. Büyüyen veriye, yüksek hız tutkusuna, daha fazla paydaşın olduğuna ve veri türlerinin çeşitliliğine vurgu yaptık. Geleneksel veritabanlarının yıllar içerisinde tutarlılığı sağlama konusunda çok güçlü hale geldiğine fakat yeni dünyada bu gücü besleyen yeteneklerin dezavantaj oluşturduğuna değindik. Hız için tutarlılıktan taviz vermek ve değişen talebe ayak uydurmak için dağıtık mimarinin avantajlı olduğunu ifade ettik. Bir sonraki yazımızda dağıtık mimariler hakkında ortaya atılan ve NoSQL çözümlerini doğrudan etkileyen CAP teoremine ve BASE-ACID yaklaşımlarına odaklanacağız.

Serinin Devamı;
NoSQL Dünyası - 2 (Veri Tutarlılık Modelleri ACID vs BASE)http://www.abdullahkise.com/2016/02/nosql-dunyas-2-veri-tutarllk-modelleri.html

NoSQL Dünyası - 3 (CAP Teoremi)http://www.abdullahkise.com/2017/01/nosql-dunyas-3-cap-teoremi.html

Veri Yönetimi Ekibi - Microsoft Web Semineri Serisini Kaçırmayın ! (SQL Server 2014, Power BI, Azure Machine Learning, Document DB, HDInsight, NoSQL, Big Data)

İlki 13 Şubat 2015 Cuma 11:00 - 12:00 saatleri arasında düzenlenecek olan ve her hafta tamamı en güncel teknolojiler üzerine tasarlanmış yeni başlıklar içeren bu benzersiz web semineri serisini kaçırmayın ! Başlıkları tıklayarak takviminize hatırlatıcı ekleyebilir, seminer saati geldiğinde aktif olan linklerden oturumlara dahil olabilirsiniz. Faydalı olması dileğiyle, Microsoft tarafından yapılan duyurunun orjinali: Bilge Adam SQL Server uzmanları tarafından gerçekleştirilecek yeni web seminer serimize katılarak Microsoft SQL Server 2014 hakkındaki son yenilikleri öğrenin. SQL Server 2014 ile gelen teknik gelişmeleri günlük hayatta nasıl kullanırım? İş Zekası konusunda Power BI kurumlara nasıl yardımcı oluyor? Büyük Veri ve Veri Ambarı teknolojileri hakkında son yenilikler neler? Tüm bu soruların cevapları ve çok daha fazlası yeni web seminerlerimizde!

PowerPivot ile Modelleme (Gerçekleşti)

Bu web seminerinde; PowerPivot ile Veri modelleme konusunda uygulamalı anlatım ile demo gerçekleştirilecek. Ayrıca PowerPivot ile oluşturulan PivotTable ile klasik PivotTable arasındaki teknik ve uygulamalı farklılıklar üzerine odaklanılacak. 13 Şubat 2015 - Cuma 11:00 - 12:00 Turgay Kadiroğlu

Microsoft Azure üzerinde SQL Server (Gerçekleşti)

Bu web seminerinde; Azure platformu üzerinde SQL Server temellerinin incelenmesine odaklanılacaktır. 20 Şubat 2015 - Cuma 11:00 - 12:00 Ali Batuhan Karaçoban

PowerQuery & PowerView (Gerçekleşti)

Bu web seminerinde; PowerBI teknolojilerinden PowerQuery ve PowerView uygulamalarını birlikte kullanarak raporlama. Grafik, tablo ve haritalar yardımıyla dashboard'lar oluşturma konusunda detaylar incelenecek. 27 Şubat 2015 - Cuma 11:00 - 12:00 Turgay Kadiroğlu

SQL Server 2014 ile Buluta Yedekleme  (Gerçekleşti)

Bu web seminerinde; SQL Server 2014 yenilikleri kapsamında lokal sistemlerdeki veritabanlarının Azure platformu üzerine backup alınması işlemleri ele alınıyor olacaktır. 6 Mart 2015 - Cuma 11:00 - 12:00 Abdullah Altıntaş

PowerMap ile Sinematik Turlar (Gerçekleşti)

Bu web seminerinde; PowerBI eklentilerinden PowerMap ile 3 boyutlu dünya haritaları ve custom haritalar kullanarak sinematik raporlar dizayn ededeceğiz. 13 Mart 2015 - Cuma 11:00 - 12:00 Merve Sağlam

Microsoft Azure Üzerinde SQL Server 2014 Performans Ayarları (Gerçekleşti)

Bu web seminerinde; Azure depolama sisteminde SQL Server 2014 disk performansının maksimize edilmesi ve azure virtual network bağlantısı örnek aktarımlarla gösterilecektir. 20 Mart 2015 - Cuma 11:00 - 12:00 Ali Batuhan Karaçoban

Office 365 için PowerBI (Gerçekleşti)

Bu web seminerinde; Office 365 platformu üzerinde PowerBI uygulamalarına odaklanacağız. Özellikle Soru&Cevap, Data Refresh, Office 365 ayarları konuları üzerinde durulacaktır. 27 Mart 2015 - Cuma 11:00 - 12:00 Turgay Kadiroğlu

Azure SQL Database (Gerçekleşti)

Bu web seminerinde; Azure platformu üzerinde SQL veritabanı servisinin kullanımı aktarılacaktır. 3 Nisan 2015 - Cuma 11:00 - 12:00 Abdullah Altıntaş

SQL Server 2014 Bellek İçi Veri Ambarı (Gerçekleşti)

Bu web seminerinde; SQL Server 2014 ile birlikte gelen Clustered Column Store indexler anlatılacaktır. 10 Nisan 2015 - Cuma 11:00 - 12:00 Özgür Erecekler

Document DB ve Azure Search (Gerçekleşti)

Bu web seminerinde; JSON formatta, dokuman bazlı NoSQL veri depolayan DocumentDB sayesinde bilindik yöntemlerle ilişkisel olmayan very modelleri ile çalıştırabilirsiniz. Ayrıca Azure Search sayesinde arama motoru fonksiyonlarını kendi uygulamalarınız içerisinde konumlandırabilirsiniz. Bu oturumda .NET LINQ, SQL Query expression ve Javascript dillerinden de faydalanarak, her iki hizmet için sonuç odaklı demolar yapıyor olacağız. 17 Nisan 2015 - Cuma 11:00 - 12:00 Abdullah Kise

SQL Server 2014 Bellek İçi OLTP (Gerçekleşti)

Bu web seminerinde; SQL Server 2014 ile birlikte özellikle performans noktasında ön plana çıkan In-Memory tablolar, indexler ve complied procedure’lere odaklanacağız. 24 Nisan 2015 - Cuma 11:00 - 12:00 Ali Batuhan Karaçoban

Azure Machine Learning’e Giriş (Gerçekleşti)

Bu web seminerinde; Azure üzerinde Machine Learning uygulamaları örneklerle anlatılacaktır. 1 Mayıs 2015 - Cuma 11:00 - 12:00 Özgür Erecekler

SQL Server 2014 Arabellek Havuzunu Genişletme (Gerçekleşti)

Bu web seminerimizde; SQL Server 2014 ile beraber Buffer Pool Extension özelliğinin nasıl kullanabileceğini inceliyor olacağız. 8 Mayıs 2015 - Cuma 11:00 -12:00 Abdullah Altıntaş

HD Insıght ile Microsoft Büyük Veri Çözümü (Gerçekleşti)

Bu web seminerinde; Microsoft’un Big Data çözümü olan HDInsıght platformu üzerinde büyük veri ile kullanıcı dostu yöntemlerden faydalanarak çalışın. C#, .NET LINQ, Power Query vs. kullanın. Bu oturumda HDInsıght kullanımına odaklanıyor olacağız. 15 Mayıs 2015 - Cuma 11:00 -12:00 Abdullah Kise

Web Seminerlerine Nasıl Katılacağım ? Web seminerlerine online olarak katılmak için seminer günü başlıktaki linkleri tıklıyoruz. Linkler seminer saatinden 10 dakika önce aktif olacaktır. Aktif olan linkler aşağıdaki pencereye yönlendirmektedir. Sayfanın üstündeki ilk butonu (aşağıda yeşil dikdörtgen ile işaretledim) kullanarak indirdiğiniz dosya ile seminere dahil olabilirsiniz. Bu dosya Live Meeting uygulaması ile açılır. Eğer bilgisayarınızda Live Meeting uygulaması mevcut değilse ikinci butonu (aşağıdaki resimde kırmızı dikdörtgen ile işaretledim) kullanarak uygulamayı indirip bilgisayarınıza kurabilirsiniz.