22 Nisan 2016 Cuma

Etkinlik - Microsoft Container ve DevOps - 27 Nisan 2016 Çarşamba

Microsoft Container ve DevOps Çözümler Etkinliği

27 Nisan 2016, 9:00
Point Hotel Barbaros
Esentepe Yıldız Posta Cad. No:29 Şişli
Istanbul - TURKEY


Kayıt için :
https://www.microsoftevents.com/profile/form/index.cfm?PKformID=0x180216c078

Geleneksel Uygulama Yaşam Döngüsü’nü (ALM) ileriye taşıyacak olan DevOps yaklaşım ve yöntemlerini daha yakından tanımak, iyi bildiğiniz “Agile development” ve “continuous delivery” senaryolarında daha hızla başarıya ulaşıp, iş sonuçlarını görebilmek için, sizleri DevOps etkinliğimize davet etmek istiyoruz. Microsoft Redmond’da DevOps konusunda çalışan üst düzey teknoloji lideri Oğuz Pastırmacı bu tam günlük eğitimde container teknolojileri, Windows Server container kavramı ve Microsoft’un DevOps vizyonuna dair tüm konuları sizlerle paylaşacak.
 
Eğitmen: Oğuz Pastırmacı
 
Ajanda

09:00 – 9:30Container teknolojilerine giriş
09:30 – 10:30Docker
10:30 – 10:45Kahve arası
10:45 – 12:00Windows Server Containers
12:00 – 13:00Öğle Yemeği
13:00 – 13:30DevOps nedir ve Microsoft’un DevOps yaklaşımı 
13:30 – 14:00Infrastructure as Code
14:00 – 14:15Kahve Arası
14:15 – 14:45Configuration Management
14:45 – 15:30Continuous Integration (CI) ve Continuous Deployment (CD)
15:30 – 16:00Release Management

Yer: Point Otel Barbaros
Tarih:
27 Nisan 2016
Saat:
09.00-17.30


Eğitmen:
Oğuz Pastırmacı, Microsoft Redmond
Sorularınız için:
a-fayata@microsoft.com

Kayıt İçin :
https://www.microsoftevents.com/profile/form/index.cfm?PKformID=0x180216c078

19 Nisan 2016 Salı

SQL Server 2016 Lansmanına Davetlisiniz! - 20 Nisan 2016 Çarşamba - Swissotel



20 Nisan 2016 Çarşamba - Swissotel


Tüm programa şu linkten erişebilirsiniz:
https://www.microsoft.com/turkiye/KurumsalCozumlerZirvesi/images/ajanda.png

Etkinlikte Görüşmek üzere,

13 Nisan 2016 Çarşamba

Farkında mıyız? - 1 (Türkiye'deki Trafik Kazaları İstatistikleri)

Geçtiğimiz günlerde ayaküstü sohbet ederken konu bir şekilde trafik kazalarına geldi. Önceki yıllara nazaran daha az kaza olduğuna ve kazalarda daha az kayıp verildiğine dair bir kanı hakimdi aramızda.

Şöyle bir hafızamızı yokladığımızda son zamanlarda daha az kaza haberi duyduğumuzu fark ettik. Gerçekten kazalar azaldı mı yoksa gündeme getirilmeyecek kadar sıradanlaştı mı ben emin olamadım.

Duble yolların, eski tek şeritli yollar düşünüldüğünde şehirler arası yolculuğu rahat ve güvenli hale getirdiğini hepimiz biliyoruz. Araçlarda kazaları engelleyebilecek veya hasarı en aza indirebilecek teknolojilerin yaygınlaştığını da görüyoruz.

Büyüklerin tabiriyle araçlar artık daha yiğit. Yollar daha güvenli (Avrupa standartlarında). Denetimler daha sıkı. Bu durumda kazaların azaldığı ihtimali mantıklı görünüyor.

Ancak her nimetin bir de külfeti olur. Daha fazla güven veren araçlar ve yollar daha fazla risk almayı kolaylaştırıyor olabilir. Daha fazla hız, daha fazla manevra, daha cesur rota belirleme vs. eğilimi ortaya çıkabilir.

Mevcut durum düşünüldüğünde


Trafikteki araç sayısının hızla artması, İstanbul gibi büyük şehirlerde keşmekeşe yol açıyor. Ehliyet kurslarındaki eğitimle bu trafiğe hemen çıkmak çok tehlikeli. Trafiğe kapalı alanlarda veya akşam geç saatlerde sokaklar boşken pratik yapmak faydalı olacaktır.

Acemi sürücülerin yanı sıra bir de sözüm ona usta sürücüler var: Makas atan, tampon takibi yapan, emniyet şeridinde son surat giden, ambulansların peşine takılıp -hak hukuk dinlemeden- ambulansa yol veren sürücüleri tehlikeye atan, ışıkları ciddiye almayan, sol şeridi kapatıp arkadan gelenleri sağından sollamaya zorlayan, sol şeritte son suret gelip önündeki aracın dibinde biten, önündekine zaman tanımayarak selektör-yakın mesafe tacizinde bulunan çok bilmişler bunlar.

Bu durumda bilinen tek şey, aptalca riskler alarak insanların hayatlarını tehlikeye attıkları. Yoksa ne kendilerinin ne de çevredekilerin milisaniyeler içerisinde olacaklara müdahale edebilecek güçleri yok. Bilenler bilir; Gitmek değil gerektiğinde durabilmektir önemli olan. Atladıkları bir şey var; Hakim olabilecekleri kesin bile olmayan tek şey kendileri, karşıdakinin nasıl bir manevra yapacağı ise meçhul. Bütün bunlar bir yana, bilerek ve isteyerek çarpan bile mevcut bu memlekette.

Her gün bir kaza görüyorum. Televizyonda değil, yolda, gerçekten. Herkes merakla izliyor. İzleyenler yüzünden trafik sıkışıyor. Fakat kaza yerini iki metre geçince hiç bir ders çıkarmadan aynı alışkanlıklara devam ediliyor.

Gerçekten kazalar azaldı mı? Can kayıpları düştü mü? Yoksa bunlar sıradanlaştı mı? Bu cevapları sayılar verebilir. Hadi! hep birlikte inceleyelim.

Gerçek verilere bakalım


Verileri http://www.tuik.gov.tr/ adresinden temin ettim. Sizler çeşitli konulardaki istatistiklere bu siteden erişebilirsiniz.

İşte 2002 ile 2014 yılları arasında trafiğe çıkan araç ve trafik kazalarındaki hasar/kayıp durumları :

Resmi tıklayarak büyütebilirsiniz.

Büyük resme baktığımızda bazı şeylerin iyiye, bazı şeylerin ise kötüye gittiğini görebiliyoruz.

Öncelikle sağ üst köşedeki sayılara odaklanalım. 2002-2014 yılları arasında yaklaşık 12 milyon kaza olmuş. Bu kazalardan 10 milyonu maddi hasarla, 1.5 milyonu ölüm ve yaralanma ile sonuçlanmış. 10 yılın bilançosu göz önünde bulundurulduğunda araba alacakların kazasız araba vaatlerine kanmamaları gerektiği aşikar.

10 yıl içerisinde yapılan bu kazalarda 2.5 milyon yaralı, 54 bin ölü kayıtlara geçmiş. Bu insanlar belki bir gün yanımızdan geçip gitmişti, belki her gün konuştuğumuz kişilerdi, belki de aynı kandandık. Ama artık aramızda değiller veya yaşam kaliteleri hiç bir zaman eskisi gibi olmayacak.

Sonuçlara biraz daha yakından bakalım:


Her yıl 1 milyon civarı araç trafiğe dahil oluyor. 2002 yılında 8.5 milyon araç sayısı on yıl sonra yani 2014'te 19 milyona çıkıyor. Bu araçların büyük çoğunluğu İstanbul'da yer almakta. Tatillerde fark etmişsinizdir; 34 plakalı araçlar her yerde!



Araç sayısı arttıkça kaza sayısı da artıyor doğal olarak. Buradaki ilişkiyi sayılardan değil de oranlardan incelemek çok daha anlamlı olacak.

Maddi hasarlı kazaların, trafikteki araçlara oranı şöyle:


Grafikten de anlaşılacağı üzere daha fazla araba daha fazla kazaya sebep olmuş. Ancak dikkat ederseniz maddi hasarlı kazalar son yıllarda azalmış. Acaba bu güzel haber mi?  Devamına bir göz atalım.

Yaralanmalı ve ölümlü kazaların, trafikteki araçlara oranı şu şekilde:


Bu grafiği incelediğimizde maddi hasarlı kazalar son yıllarda oransal olarak azalmışken, ölümlü ve yaralanmalı kazaların oranı artmış. Bir üstteki grafikteki haber hiçte iyi değilmiş. İşte istatistik!

Başka bir grafiğe bakalım. Bu sefer sadece kazalara odaklanalım. Maddi hasarlı kazalar ile ölümlü ve yaralanmalı kazaların değişimini birlikte inceleyelim.

Sonuçlar şu şekilde görünüyor:



Bu grafik tüm kazaları ve kaza çeşitlerindeki değişimi birlikte görmek için iyiydi, fakat farkındalığı arttırmak için tek başına yeterli değildi. Hadi! şu kazalara biraz daha yakından bakalım ve oranlara odaklanalım.

Ölüm ve yaralanma ile sonuçlanan kazaların, tüm kazalara oranını inceleyelim:


2009, 2010 ve 2011 yıllarında kazalarda ölüm oranları bir hayli düşmüş. Sanırım bu dönemde kazalar düşük hızlarda gerçekleşmiş. Şehir içinde veya yolların yeni yapıldığı dönemlerde şehirler arasında gerçekleşmiş olabilir. Sadece bir tahmin. Ama gerçek olan bir şey var ki, o da bu yıllardan önce ve sonra kazalardaki ölüm ve yaralanma oranı daha yüksekmiş.

Şimdi sadece tüm kazalardaki ölüm oranlarına odaklanalım:


Grafikte sevindirici haberler var. Son yıllarda kazalardaki ölüm oranı azalmış. Bu konudaki kanımız kısmen doğruymuş.

Bir de son olarak ölümlü ve yaralanmalı kazalara bakalım. Bu tür kazalardaki ölüm ve yaralanma vak'alarında yıllara göre nasıl bir değişim söz konusu acaba?



Kazalardaki ölümler son yıllarda sayıca azalmış. Trafikteki araç sayısındaki artış göz önünde bulundurulduğunda sonuçların iyiye gittiği kabul edilebilir. Yaralanmalı sayılarda ise artış devam ediyor. 

Ölümleri azaltmak için alınan tedbirlerin işe yaradığını söyleyebiliriz. Acemi ve duyarsız sürücülerin sebep olduğu kazalar can yakmaya devam edeceğe benziyor. Kazalar günümüz şartlarında kolay kolay sonlanacak gibi görünmüyor. İnsan tek başına en büyük kaza tetikleyicisi olduğu sürece bu böyle devam eder. Belki yıllar sonra insanın devrede olmadığı daha güvenli ulaşım sistemleri ile kazalar son bulur. İnşallah ölümlü kazaların son bulduğu, yaralıların hayatlarına kaldığı yerden devam ettiği bir trafik ekosistemine yakın zamanda kavuşuruz.

Araçlar hayatımızın bir parçası. Kazasız belasız bir sürüş için sadece kendi hatalarınızı gidermeniz yetmeyecektir. Başkalarının da hatalarını savuşturabilecek şekilde bir sürüş alışkanlığı geliştirmeniz gerekecektir. Bu sürüş tarzına "Defansif Sürüş" denir. Bu konuya göz atmak isterseniz şuradan başlayabilirsiniz:
http://www.uzmantv.com/defansif-surus-teknikleri-nelerdir

Defansif sürüş teknikleri eğitimleri veren çeşitli kurslar da mevcut. Belki bunlardan yararlanmak isteyebilirsiniz.

Kasasız ve keyifli sürüşler temennisiyle...

Not: Merak edenler için söyleyelim; raporları Power BI'da hazırladım. www.powerbi.com adresinden ürün hakkındaki bilgilere erişebilirsiniz.

Power BI Portal üzerinde raporu incelemek isterseniz :

12 Nisan 2016 Salı

SQL Server 2016 Yenilikleri - 3 (Operational Analytics)

SQL Server 2016 Yenilikleri Serimizin ilk iki yazısında InMemory OLTP ve InMemory DW (ColumnStore) alanında duyurulan gelişmelerden bahsetmiştik. Yazılara bir göz atmak isterseniz aşağıdaki linkleri kullanabilirsiniz

InMemory DW (ColumnStore) tarafındaki gelişmeler için:
http://abdullahkise.blogspot.co.uk/2016/03/sql-server-2016-yenilikleri-1-in-memory.html

InMemory OLTP (Memory Optimized) tarafındaki gelişmeler için :
http://abdullahkise.blogspot.co.uk/2016/03/sql-server-2016-yenilikleri-2-in-memory.html

Bu yazımızda iki alandaki gelişmeleri bir araya getireceğiz ve gerçek zamanlı analizler yapabildiğimiz 'Operational Analytics' konseptinden bahsedeceğiz.


Önce biraz geçmişe bakalım


Geleneksel bir sistemde Insert, Update, Delete iş yükünü karşılayan veritabanlarında normalizasyon kuralları uygulanır. I,U,D işlemlerinin optimum kalitede yapılabildiği bu veritabanı modelleri OLTP kısaltmasıyla anılır. Sıklıkla iş süreçlerinin takibi için kullanılan sistemler zamanla çeşitlenir ve farklı mantıklarda tasarlanmış birden fazla OLTP kaynak, yamalanmış sürecin bir parçası olur.

Sonra bu kaynaklardaki veriler iş kararları vermek amacıyla ele alınmak istendiğinde işin içinden çıkılamaz. Çünkü artık kaynaklar arası bir standart kalmamış, veriler kirlenmiştir. Bu durumda devreye veriambarları girer. Veriambarları (DW, DWH) analiz etmeye yani SELECT etmeye en müsait şekilde modellenmiş veritabanlarıdır. Veriler  ETL dediğimiz veri aktarım ve dönüştürme süreçlerinden geçirilerek bir takım ara katmanlara, sonrasında da veriambarına aktarılır.

Veriambarlarında verinin kolayca analiz edilebileceği Dimensional Model yaklaşımı benimsenir. Artık elimizdeki sistem bir OLAP sistemi olarak anılır. Tabi daha fazla hız ve esneklik bekleyenler için bir adım daha atılır; OLAP Cubelerinin oluşturulması (Multidimensinal, Tabular). En basit söylemle Cubeler veriyi, yapıyı ve ek hesaplamaları üzerinde tutar. Böylece önceden hazırlanmış veriye bir nevi koordinat sistemi mantığıyla erişmek mümkün olur. Tekrar tekrar hesaplama yapılmaz. Bundan sonraki aşamada da veri bir takım raporlama araçlarıyla görüntülenebilir.

Bahsettiğimiz bu geleneksel sürecin avantajları olduğu gibi dezavantajları da var. Bu dezavantajlara kısaca değinelim:

  • ETL İşlemlerinin yükü:
Öncelikle verileri temizlemek ve standartlaştırmak için ETL işlemleri yapmanız gerekir. Bu işlemler bazen çok karmaşık olabilir. Bunun yanında sisteme girilen verinin raporlanması için belli bir süre geçmesi gerekir. Bazen bu gecikme dakikalar seviyende, bazen de günler seviyesinde olabilir.

  • Küplerin 'Process' edilmesi:
Kaynaklardan veriambarına yapılan aktarımlar ETL süreçlerinde ele alınır. ETL süreçlerine benzer şekilde veriambarından 'OLAP Cube'lerine de veri aktarımı yapılır. Bu sürece Cube Processing denir. Benzer şekilde burada da bir karmaşıklık ve gecikme söz konusudur.

  • Yazılım, Donanım, Geliştirme ve Bakım planı:
Sistemdeki karmaşıklık hem geliştirme hem de bakım planının ciddi şekilde ele alınmasını gerektirir. Verinin çeşitli kademelere aktarılması ve çoğaltılması yazılım/donanım yatırımı konusunda titiz olmayı gerektirir.

Özetlersek; geleneksel analitik sistemlerde veri çoklanır ve verinin gelmesi için zamana ihtiyaç vardır. Maliyetli ve yavaş (en azından gerçek zamanlı sayılmaz) bir sistem.

Tabi ki, eğer birden fazla kaynak varsa, bunları bir araya getirmek için veriambarı tasarlamak çoğu zaman en sağlıklı ve en güvenli yol olur. Bazen bu adım atılmadan sistemde performans artışı sağlanamayabilir. 

Index, paralelizm vb. konfigurasyonların yetmediği yerlerde okuma ve yazma iş yüklerini ayırmak genellik net çözümdür.

Veriambarı zorunluluğunun olduğu sistemlerde gerçek zamana yakın bir raporlama yapmak için veriambarından raporlama yapılır. OLAP Cube'lerinin avantajlarından faydalanmak isteniyorsa, Multimensional için sadece yapının korunduğu, verinin veriambarından her defasında temin edildiği ROLAP modu, Tabular için benzer şekilde verinin veriambarından temin edildiği DirectQuery modu tercih edilir. Böylece yapı her ne kadar OLAP Cube olsa da veri veriambarının performansına ve güncelliğine bağlı olarak sunulur. Geleneksel sistemlerin gerçek zamanlı raporlama konusunda geldiği nokta özetle buydu. 


Oyuna sonradan dahil olan çözümlerle düşünelim


SQL Server 2012 ile duyurulan 'ColumnStore Index'ler zamanla gelişti ve Select konusunda 100 kat performans sunan InMemory DW çözümü, SQL Server 2016 ile birlikte son derece başarılı bir noktaya ulaştı. Benzer şekilde SQL Server 2014 ile birlikte duyurulan InMemory OLTP'de 'Memory Optimized Table'lar üzerinden INSERT, UPDATE, DELETE konusunda 30 kat'a varan performans sunabildi ve geliştirilerek SQL Server 2016 ile birlikte bir çok prangadan kurtuldu.

Artık Disk Based bir tablo ve/veya Memory Optimized bir tablo üzerinde RowStore veya ColumnStore index kullanmak mümkün. Bu indexleri belli şartlar altında çeşitli kombinasyonlarda kullanarak hem yazma iş yükünü hem de okuma iş yükünü aynı tabloda toplayabiliriz. Bu durum yüksek performansın sonucu olan gerçek zamanlı raporlama yapmaya imkan verir. Artık raporlarınızı ister bu tablodan isterseniz direk tabloya erişimle veri getirecek şekilde konfigure edilmiş OLAP Cubelerden gerçek zamanlı olarak elde edebilirsiniz. Böylece bir takım senaryolar için ETL ve DW süreçlerine ihtiyacınız kalmaz. Veri doğrudan gerçek zamanlı olarak kaynaktan temin edilir.


Nasıl yapılır?

  1. Operasyonel işlemlerin yüklendiği tablo RowStore veya Memory Optimized olabilir.
    • INSERT, UPDATE, DELETE performansını arttıracak bir çok ipucu var. Mesela BTree indexleri kaldırabilirsin (bunun yerine ColumnStore tavsiye edilir.), constrainleri kapatabilirsin, flagler kullanabilirsiniz vs.
    • Memory Optimized tablolar IUD işlemlerinde 30 kat performans sunar. Kısıtlar göz önünde bulundurularak bu tür tablolar tercih edilebilir.
  2. Yavaş değişen (Warm) veriler için filtrelenmiş (Where koşulu ile belli şarttaki verilerin indexlendiği) Nonclustered ColumnStore indexler tanımlanabilir (Şimdilik Memory Optimized tabloda filtreleme özelliği kullanılamıyor). 
    • Mesela girilen siparişlerden sadece teslimat bekleyenleri filtrelemek isteyebilirsiniz. Sadece ihtiyacınız olan aralık indexlenmiş olur. Böylece fragmantasyonu en aza indirmiş olursunuz. Daha az veri yazıldığı için yazma performansına olan negatif etki en aza iner.
    • İhtiyaç duyulan diğer noktalar için de RowStore indexler kullanım amacı ve yetenekleri göz önünde bulundurularak tanımlanabilir.
  3. Çok sık güncellenen kısım için (Hot) Btree index, daha az güncellenen (Warm) veya neredeyse hiç güncellenmeyen kısım için (Cold) (Daha çok okuma yapılan) ColumnStore index tanımlanabilir. 
    • Burada asıl mesele doğru indexi fazla yük getirmeyecek şekilde doğru aralık için kullanmaktır. Tabi ek olarak Query Optimizer da en verimli yolu tercih edecektir.
    • ColumnStore indexlerdeki fragmantasyonu azaltmak için COMPRESSION_DELAY ifadesi ile sıkıştırma işlemini dakika cinsinden geciktirmek mümkün. Böylece her 1 milyon satır için sıkıştırma işlemi yapmak yerine, istenen aralıklarda buna vakit ayrılabilir.
Bir sipariş sistemini düşünürsek:
  • Alınan siparişler - Çok sık veri girişi olur (Hot Data) - Memory Optimized tablo önerilir.
  • Teslimatı bekleyenler - Zaman zaman durumlarında değişiklik olur (Warm Data) - Filtrelenmiş NonClustered indexler önerilir.
  • Teslim Edilmiş Siparişler - Neredeyse hiç değişiklik olmaz (Cold Data) - Filtrelenmiş ColumnStore önerilir.

Özetlemek gerekirse;

Senaryonun gereklilikleri göz önde bulundurularak, InMemory OLTP, InMemory DW ve geleneksel performans arttırıcı yöntemler bir araya getirilirse maksimum yazma ve maksimum okuma avantajı elde edilebilir. Böylece ETL ve DW süreçlerine gerek kalmadan yazma ve okuma iş yükünü üstlenebilen bir tablo üzerinden gerçek zamanlı raporlama yapmak mümkün olur.

SQL Server 2016 ile birlikte çok gelişmiş araçlar elimizde olacak. Bunları doğru şekilde bir araya getirdiğimizde etkileyici kazanımlar elde edeceğimiz aşikar.