2017 Yılı Büyük Veri (Big Data) Alanındaki Eğilimler

İş zekası ve analiz alanında lider kuruluşlardan biri olan Tableau, 2017 yılı Büyük Veri alanındaki en önemli 10 eğilimi listeleyen bir rapor yayınladı. Tableau, her yıl gelenek haline getirdiği bir market analiz çalışması ile, büyük veri alanındaki mevcut durumu analiz etmekte ve sonraki sene için, tahminlerde bulunmaktadır. 

Bu çalışmaya göre; 2016 yılı, büyük veri alanı açısından bir dönüm noktasıydı. Bu alanda, çözüm gerçekleştiren (saklama, işleme, analiz) kurum sayısında artışlar yaşandı. 2017 yılında da, büyük veri sistemleri sayısında artışlar beklenmektedir.

Raporda öne çıkan eğilimler, aşağıdaki bölümde listelenmiştir:

2017 Yılı Büyük Veri Alanındaki Eğilimler

1) Hadoop platformunda büyük veriye hızlı ve daha kolay erişim: (Hadoop platformunu hızlandırmak.)

Hadoop verisi üzerinden daha hızlı analiz çıkarmak isteyen kullanıcılar için, SQL, önemli bir kanaldır. Bu potansiyel ve beklentiler, SQL sorgulama dilini destekleyen teknolojilerin uyarlanmasını hızlandırdı. Bu alandaki önemli teknolojiler ve uyarlamaları;

• Bellekte çalışan (inMemory) daha hızlı veritabanları (Exasol,MemSQL), 

• Hadoop temelli veritabanları (Kudu gibi) 

• Hadoop - SQL teknolojileri (Apache Impala, Hive LLAP, Presto, Phoenix, Drill)

Detaylı analizler içinde, Hadoop teknolojileri üzerinde OLAP yaklaşımının kullanılması hız kazanmaya başladı. (AtScale, Jethro Data, Kyvos Insights) Bu hızlı sorgulama araçları, klasik veriambarı ve büyük veri yaklaşımındaki sınırları daha bulanık hale getirmiştir.

2) Farklı veri kaynaklarının analizi: (Büyük veri sadece Hadoop değildir.)

Önceki yıllarda, Hadoop ortamında analitik yaklaşımı ve araçlarında yükselişler gözlendi. Fakat, karmaşık ve farklı veri kaynaklarına sahip kurumlar, sadece Hadoop temelli bir yaklaşım düşünmüyorlar. Kayıt Sistemleri, Bulut veriambarları, Yapısal ve yapısal olmayan, hem Hadoop hem de Hadoop olmayan çok farklı veri kaynakları bulunmaktadır.

Sadece Hadoop temelli geliştirilen araçlar, gündemden düşecektir. İlişkisel veritabanları da büyük veri vizyonuna hazır hale gelmektedirler. Örneğin, son zamanlarda SQL Server 2016 JSON desteği eklemiştir. Müşterilerin, daha kapsamlı analiz talepleri bulunduğu göz önüne alındığında, farklı veri kaynaklarını destekleyen platformların gelişeceği tahmin edilmektedir. Platfora örneği bu eğilimin erken bir göstergesidir.

3) Veri havuzlarından en başından itibaren istifade edilmesi: (Çevik Yaklaşım)

Verinin toplanması ve sonra kullanılması yaklaşımının sonuna gelinmiştir. Kurumlar, tekrarlanabilir ve çevik yöntemler ile veri havuzunun kullanımını talep edeceklerdir. Personel, veri ve veri platformu yatırımları öncesinde, iş kazanımlarını dikkatli olarak ele alacaklardır. Bu durum; İş ve bilgi teknolojileri (IT) uzmanları arasındaki iş ortaklığını arttıracaktır.

4) Olgun mimariler,  genel amaçlı alt yapı bileşenlerini kabul etmez. (One-size-fits  all frameworks)

Hadoop, sadece saklanan yığın (batch) verinin işlenmesine yönelik bir platform değildir. Anlık analizler içinde kullanılan çok amaçlı bir platformdur. Kurumlar, farklı kullanım amaçlarına cevap verebilecek mimarileri takip ederek, bu hibrid gereksimlere cevap vereceklerdir. Mimarilerin esnekliği, teknoloji tercihlerini etkileyecektir.

5) Büyük veri yatırımlarını, büyüklük ve hız değil, çeşitlilik sürükler. 

Gartner, büyük veriyi 3V olarak tanımlar. (High-Volume, High Velocity, High Variety)  3 parametrede büyürken, yatırımlar için en büyük sürekleyici olarak, çeşitlilik görülmüştür. (New Vantage Partners çalışması)

Analitik platformlar, farklı kaynaklara ve formatlara erişim kabiliyeti üzerinden değerlendirilecektir. (JSON, Nested Types Relational/NOSQL, Avro ,Parquet, XML)

6) Spark ve Makine öğrenmesi, büyük veriyi ışıklandırır.

Apache Spark, Hadoop ekosisteminin bir bileşeni iken, şimdi büyük kurumlar tarafından büyük veri platformu tercihi olmaktadır. Veri mimarları, BI analistleri ve IT yöneticileri ile yapılan bir çalışmada, cevap verenlerin yaklaşık %70’i Spark çözümünü, düşüşte olan MapReduce yaklaşımına tercih ettiklerini bildirmişlerdir. MapReduce yaklaşımı, yığın (batch) işleme temelli ve gerçek zamanlı akan bilginin  işlenmesine uygun değildir.

Büyük veri üzerindeki işleme kabiliyetleri, Makine öğrenmesi, AI ve çizge (Graph) algoritmalarının platformlara özellik olarak eklenmesine sebep olmuştur. Microsoft-Azure Makine öğrenmesinin duyurulması ve Microsoft ürünleri ile entegrasyon, daha geniş bir kitlenin dahil olmasını destekleyecektir. Makineler öğrendikçe ve sistemler veriden daha hızlı sonuçlar çıkardıkça, servis sunan yazılım sağlayıcıları, “Son kullanıcılara nasıl eriştirebiliriz” vizyonu ile hareket edeceklerdir.

7) IoT, Bulut ve büyük verinin yakınlaşması ile, self-servis analitik için yeni imkanlar:

Sahadaki her bir cihazın, bağlı olduğu merkezlere veri göndermesi gittikçe yaygınlaşmaktadır. IoT, yapısal ve yapısal olmayan çok fazla veri üretmektedir. Bu verinin, bulut ortamlarındaki servisler ile paylaşılmasında artışlar vardır.

Bulut ortamındaki veri kaynaklarına bağlanan ve birleştiren analitik araçlarının talebinde artış yaşanmaktadır. Bu çeşitlilik ve erişim imkanları, IoT yatırımları için, gizli imkanı keşfetmeye yardımcı olacaktır.

8) Self-Servis veri hazırlamanın ana akım olması: (Son kullanıcılar, büyük veriyi şekillendirmeye başlıyor.)

Hadoop verisinin, iş kullanıcılar tarafından erişilebilir hale getirilmesi, projenin en büyük zorluklarından birisidir. Self-Servis analitik platformlarının yükselişi, bu yolculuğu geliştirmekte ve bariyerleri düşürmektedir. Çekiş gücünün artışı devam edecektir.

9) Büyük veri yaklaşımının kurumsal standartlara eklenmesi:

Kurumsal IT için, Hadoop temel bir bileşen olma yolunda ilerlemektedir. Kurumsal sistemleri çevreleyen, güvenlik ve yönetişim standartlarında daha fazla yatırımlar göreceğiz.

Hadoop platformunda, veri ve MetaVeri’ nin rol temelli yetkilendirilmesi, veri sınıflandırma, merkezileştirilmiş güvenlik yönetimi gibi özellikler, kurumsal uyarlamalarda yaşanan uyarlama zorluklarını azaltacaktır.

10) Analiz açısından değerli büyük verilerin bulunması için MetaVeri katalogları oluşturulması:

Hadoop ile, çok fazla veri işlenebilir hale gelmiştir. Fakat, daha kolay bulunması için organize değildir. MetaVeri katalogları, analiz için önemli olan ilgili verinin keşfedilmesi ve anlaşılması için, kullanıcılara yardımcı olur. Kullanıcılar, self-servis analiz araçlarını kullanarak, bu katalogları sorgulayabilirler. Alation, Waterline gibi firmaların ürünleri: Bu firmalar, makine öğrenmesi kullanarak, Hadoop platformunda verinin bulunmasını otomatik hale getirmişlerdir. (Tag kullanarak dosyaların katalog hale getirilmesi, veri varlıkları arasındaki ilişkilerin bulunması, Ekranlar üzerinden sorgulama önerileri yapılması.)

Self-Servis analitik araçlarının gelişim seyri içinde; MetaVeri katalogları ile analizin farkındalığının artması ve self-servis keşif için daha fazla talep gelmesi beklenmektedir. 

CRYPTTECH -Cyber Security Intelligence