Büyük veriyi anlayabilmek için dijital dönüşümün gerekliliklerini kavramak gerekir. teknolojik ihtiyaç, kavram, uygulamalar ve büyük verilerin araçları kısaca analiz edilecektir. Her gün dijital dünyada, 2,5 kentilyon bayt veri oluşuyor, bu o kadar büyüktür ki son iki yıldaki veri tüm geçmişteki veri miktarına eşdeğerdir. Bu veriler her yerde bulunur: iklim bilgisi toplamak için kullanılan sensörler, sosyal medya sitelerine mesajlar, dijital resim ve videolar, satın alma işlem kayıtları ve cep telefonu GPS sinyalleri. Buna büyük bir veri, İngilizce adıyla “Big Data” deriz. [1] Büyük veriler dört “V” ile tanımlanmıştır: Hacim(Volume), Hız(Velocity), Çeşitlilik(Variety) ve Değer(Value). Bunlar, Bilgi Mimarinize Büyük Veriler eklemeniz gerekip gerekmediğini belirlemek için makul bir belirteç haline gelir.
Hacim
Verilerin miktarı. Büyük veriler twitter veri yayınları, bir web sayfasındaki tıklamalar, ağ trafiğini, ışık hızında veriyi yakalayan sensör özellikli ekipman gibi bilinmeyen değere sahip ve düşük yoğunluklu verileri yüksek miktarda işleme tabi tutmayı gerektirir. [2]
Hız
Verinin alındığı ve belki de işlendiği hız oranıdır.Yüksek hızlı veri normalde diske yazılması yerine doğrudan belleğe akar. [2]
Çeşitlilik
Yeni yapılandırılmamış veri türleri. Metin, ses ve video gibi yapılandırılmamış ve yarı yapılandırılmış veri türleri, hem anlam hem de destekleyici meta veriler elde etmek için ek işleme tabi tutulmayı gerektirir.
Değer
Teknolojik gelişme, veri saklama ve hesaplama maliyetinin katlanarak azalması, böylece istatistiksel örneklemenin, diğer tekniklerle uygulanabilir hale gelen anlamlandırmaların elde edilebileceği bol miktarda veri sağlamasıdır. Bununla birlikte, değer tespiti, akıllı ve anlayışlı analistler, iş dünyası kullanıcıları ve yöneticileri kapsayan yeni keşif süreçleri gerektirir. Gerçek Büyük Veri ise, doğru soruları sormayı, kalıpları tanımayı, bilinçli varsayımlar yapmayı ve davranış tahmin etmeyi öğrenen bir insandır. [2]
Verilerinizi Anlamlı Hale Getirin
Veri hacimleri patlıyor, insan ırkının önceki tüm geçmişinden çok, son iki yılda daha fazla veri yaratıldı. [3] Verilerin yaratılması şaşırtıcı bir hızda büyüyor. Uzmanlar günümüzden 2020’ye kadar yıllık veri üretiminde %4300’lük bir artışa işaret ediyor. Verilerin analogdan dijital teknolojilere geçişi, bireylerin ve şirketlerin veri üretimindeki hızlı artış bu artışı sürüklüyor. [4]
Büyük Verilerin Yapısı
Büyük veriler, veri yapısı ve analizlerini geleneksel bilgi mimarilerinden farklı olarak ele alır. Geleneksel bir veri ambarı yaklaşımı, verilerin standartlaştırılmış ETL süreçlerinden geçmesini ve sonunda “önceden yazılmış şema” olarak bilinen önceden tanımlanmış şemalarla eşleşmesini bekler. Geleneksel yaklaşımın eleştirisi, önceden tanımlanmış şemada değişiklik yapmak için uzun süreci gerektirir. Büyük verilerin temyizinin bir yönü, verilerin ‘tanımlanmış’ bir veri yapısı gerektirmeden yakalanabilmesidir. Aksine, yapı, verinin kendisinden ya da “okumada şema” olarak da bilinen bir başka algoritmik süreç ile türetilir. Bu yaklaşım, HDFS / Hadoop ve Spark gibi yeni düşük maliyetli, bellek içi paralel işleme donanım / yazılım mimarileri tarafından desteklenir.
Büyük veriler, veri yapısı ve analizlerini geleneksel bilgi mimarilerinden farklı olarak ele alır.
Büyük Verilerin Kullanım Alanları
Buna ek olarak, Büyük Veri, büyük hacimlerinden dolayı “verileri analitik yeteneklerin veriye getirilmesi” ile geleneksel işlemler “veri toplama, çıkarma, dönüştürme ve yükleme yoluyla analitik kabiliyetlere getirme” prensiplerini kullanmaktadır. Verilerin taşınması yüksek maliyetini ortadan kaldırır.
- Müşterileri Anlama ve Hedefleme.
- İş Süreçlerini Anlama ve Optimize Etme.
- Kişisel Niceleme ve Performans Optimizasyonu.
- Sağlık ve Halk Sağlığının İyileştirilmesi.
- Spor Performansının İyileştirilmesi.
- Bilim ve Araştırmanın İyileştirmesi.
- Makine ve Cihaz Performansını İyileştirme.
- Güvenlik ve Yasa Uygulama Geliştirilmesi.
- Şehirlerin ve Ülkelerin Geliştirilmesi ve Optimize Edilmesi.
- Finansal Ticaret.
Büyük Veri Araçları Nelerdir?
Büyük veri uygulamasında kullanılabilecek çeşitli araçlar vardır ve bunları aşağıdaki dört konuda gruplamak mümkündür:
A. Depolama
Büyük veri depolama alanının temel gereksinimleri, çok büyük miktarda veriyi idare edebilmek ve büyümeye ayak uydurmak için ölçeklendirme yapabilmesi ve verilerin analitik araçlara iletilmesi için gerekli olan saniyedeki giriş / çıkış işlemlerini (IOPS) sağlayabilmesidir. [7]
B. Veri Madenciliği
Veri madenciliği, web sayfalarından veritabanlara veri ayıklamak yerine, bir veritabanı içindeki bilgileri bulmak için kullanılan bir işlemdir. Veri keşfinin amacı, elde ettiğiniz verilerle ilgili öngörüler ve kararlar vermektir. [6]
C. Veri Temizleme
Verilerinizle ilgili bilgileri gerçekten incelemeden önce temizlemeniz gerekir. Temiz, iyi yapılandırılmış bir veri kümesi oluşturmak her zaman iyi bir uygulamadır; ancak bazen her zaman mümkün değildir. Veri setleri, özellikle web’den aldığınız zaman, tüm şekil ve boyutlarda olabilir (bazıları iyi, bazıları çok iyi değil!). [6]
D. Analiz
Veri madenciliği, önceden tanımlanmamış desenler ile veriler üzerinde inceleme iken, veri analizi verinin parçalanması ve bu desenlere göre değerlendirilmesidir. Gelecekte neler olacağı hakkında sorularınızı bile sorabilirsiniz! [6]
