Blog

“Veri ambarı nedir?” sorusunun kısa bir şekilde cevabı kurumsal şirketlerin kendilerini daha iyi anlamalarına ve verilerini maksimum düzeyde anlamlandırarak doğru stratejiler oluşturmalarını sağlayan bir veri yönetim sistemi olmasıdır. Çoğu zaman iş zekası uygulamalarını desteklemek amacıyla tasarlanan veri ambarı, şirketlerin öngörüler elde edebilmelerini ve karar süreçlerini geliştirmelerini sağlamaktadır. Veri ambarları bünyelerinde çoğunlukla geçmişe ait büyük miktarlardaki verileri bulundurmaktadır ve şirketler tarafından sadece analiz ve sorgulama yapma amacıyla kurulur. Veri ambarlarında bulunan veriler çoğunlukla uygulama yazılımlarının günlük dosyaları ve işlem uygulama yazılımları benzeri birçok farklı kaynaklardan elde edilmektedir. Veri ambarı çok fazla sayıda kaynaktan gelen büyük verileri merkezi hale getirme ve birleştirme işlevi görmektedir. Ayrıca veri ambarları, veri bilimciler ve iş analistleri için eşsiz bir tarihi kayıt oluşturmaktadır. Veri ambarları tüm bu özellikleri sayesinde kurumsal şirketlerin tek doğrululuk kaynağı olarak görülmektedir. Veri ambarı, yapılandırılmış olan verilerin (veritabanı tabloları, Excel çalışma sayfaları) ve yarı yapılandırılmış olan verilerin (XML dosyaları, web sayfaları) saklandığı, raporlama ve analiz süreçlerinde kullanılan merkezi bir depo olmakta olup veri ambarlarındaki veriler; satış noktası sistemleri, iş uygulamaları ve ilişkisel veritabanlarından temin edilip veri ambarına giriş yapmadan önce çoğunlukla temizlenip standartlaştırılmaktadır. Şirketler veri ambarlarında bulunan verilerden veri araştırma, veri görselleştirme ve diğer BI kullanım alanlarında faydalanma imkanı bulmaktadırlar.

Veri Ambarlarının Faydaları

Kurumsal şirketler için veri ambarlarının faydaları saymakla bitmemektedir. Veri ambarı ve iş zekası ilişkisi sayesinde kullanıcılar, yönetmekte oldukları kuruluşlarını nasıl yönettiklerine dair karar verme aşamalarında güvenilir veriler sayesinde daha bilinçli ve akıllı bir şekilde yöntem geliştirmektedirler. Veri ambarları kullanıcılara bu aşamada yardımcı olmaktadır. Kurumsal şirketler için veri ambarlarının birçok faydası bulunmaktadır. Veri ambarlarının kurucusu olarak kabul edilen William Inmon tarafından tanımlanmış olan veri ambarlarının kullanıcılara sunmuş olduğu en önemli dört büyük fayda bulunmaktadır. Bunlar:

• Veri ambarları özne odaklı olarak çalışmaktadır. Veri ambarları eşsiz donanım sistemleri sayesinde sadece belirli bir konu ya da işlev alanı hakkında verileri analiz edebilmektedirler.
• Veri ambarları çeşitli kaynaklardan gelen farklı veri türleri arasında tutarlılık sağlamakta olup entegre bir şekilde çalışmaktadır.
• Veri ambarları verilerin kalıcılığını sağlamaktadır. Veri ambarına girmiş olan bir veri kararlıdır ve asla değişmez.
• Veri ambarları zamana dayalı olarak çalışmaktadırlar. 

İyi bir donanım sistemine sahip olan bir veri ambarı, veri sorgulamalarını çok hızlı bir şekilde gerçekleştirmektedir. Veri ambarları kullanıcılarının en maksimum düzeyde veri verimi elde etmelerini sağlamakta olup aynı zamanda kullanıcılarına ister yüksek seviyede isterlerse de oldukça geniş bir kapsamda ve ayrıntılı bir seviyede çok farklı türde taleplerini karşılayacak daha detaylı bir inceleme yapmak amacıyla veri miktarlarını azaltmaları için gerekli olan esnekliği sağlamaktadır.

Veri Ambarı Mimarisi

Veri ambarı mimarisi, her kurumun özel gereksinimlerine göre belirlenmekte olup kurumların en sık kullandığı veri ambarı mimarileri şunlardır:

• Sade yapı: Veri ambarlarının hepsi, meta verilerin, özet verilerin ve ham verilerin ambarın bünyesindeki merkezi saklama bölgesinde saklandığı temel bir tasarıma sahiptir. Veri ambarının bünyesindeki bu saklama bölgesi bir uçta veri kaynakları ile beslenmekte olup diğer uçta ise analiz, raporlama ve madencilik işlemleri için son kullanıcılar tarafından erişimine açık halde bulunmaktadır.
• Evre alanı ile sade yapı: Operasyon verisi ambara giriş yapmadan önce temizlenme ve işlenme sürecinden geçmelidir. Bu işlem programlı bir şekilde gerçekleşebilse de çoğu veri ambarı, veriyi hazırlamayı pratikleştirmek için ambara girecek veri için bir evre alanı oluşturur.
• Merkez ve iletişim: Veri ambarı bünyesinde bulunan merkezi saklama alanı sayesinde son kullanıcılar arasına veri marketleri ekleyebilmekte ve bir kurumsal şirketin veri ambarını çeşitli iş alanlarına hizmet verecek biçimde özelleştirmesine imkan sağlamaktadır.
• Kum havuzları: Kum havuzları sayesinde şirketler veri ambarının resmi kurallarına ve protokol süreçlerine uymadan ya da bu koşullara uymak zorunda kalmadan yeni veri setlerini ya da veri analiz yöntemlerini pratik ve gayrı resmi bir şekilde keşfetme imkanı bulurlar.

Veri Ambarının Özellikleri

Kurumsal şirketler, veri ambarının özellikleri sayesinde verilerini güvende tutarak depolamaktadırlar. Veri ambarının şirketlere sunduğu özellikler şunlardır:

• Veri ambarları bünyelerinde işlenmiş ve özelleştirilmiş verileri saklarlar.
• Veri ambarları konu odaklı çalışmaktadırlar. Şirketler veri ambarını müşteri, ürün ya da satış odaklı olarak özelleştirebilme imkanı bulmaktadır.
• Veri ambarları yapı olarak direkt güncellenemezler. Veri ambarlarının güncellenebilmeleri için öncelikle veri tabanlarından gerekli güncelleme işlemlerinin yapılması gereklidir. Veri tabanları ile veri ambarları arasında tek yönlü bir veri akışı bulunur.
• Şirketler tarafından veri ambarları yönetim kademesinde ya da karar verme süreçlerinde kullanılır.

Veri Ambarı Modelleme

Şirketler veri ambarı modelleme süreçlerinde bünyelerinde bulunan hem kısa hem de uzun süreli hedeflerini ve şirketlerinde bulunan verilerinin yapılarını dikkate almalıdırlar. Şirketlerin veri ambarı modelleme sürecine başlamadan önce kaç veri kaynağı entegre edeceklerini, iş akışlarını otomatik mi yoksa manuel mi yapacaklarını, verilerini hangi yollarla keşfedip çözümleyeceklerini belirlemeleri gerekmektedir. Kurumsal veri ambarlarının bünyesinde çoğunlukla şu bileşenler bulunmaktadır:

• Veri kaynakları: Veri kaynakları şirkelerin satış noktası sistemlerinden, iş uygulamalarından ve diğer ilişkisel veri tabanlarından gelen işletimsel verilerin ayıklanmasını sağlamaktadır.
• Hazırlama alanı: Hazırlama alanında veriler temizlenmektedir. Aynı zamanda hazırlama alanında veriler veri ambarı veya merkezi depo için uygun olacağı biçime dönüştürülürler.
• Veri ambarında ya da merkezi depolama alanında işletimsel veriler, mete veriler, özet verileri ve ham veriler, kullanıcıların tüm verilere pratik bir şekilde erişebilmeleri amacıyla depolanır.
• Sisteme eklenebilecek halde olan veri reyonları, verileri merkezi depo alanından alarak bu verilerin alt kümelerini seçilen kullanıcı gruplara sunar.
• Korumalı alan: Korumalı alan sayesinde veri bilimciler veri keşfetmeye yönelik yeni yöntemleri korumalı bir platformda test etme imkanı bulmaktadırlar.
• Birçok farklı türdeki veri ambarı araçlarından, çerçevelerden ve API’lerden entegre etme, depolama, performans ve çözümlemeyle alakalı amaçlara yönelik olarak yararlanılabilmektedir.

Veri Ambarı ve Veri Madenciliği

Şirketler teknoloji dünyasının her geçen gün gelişmesi ile birlikte alışkanlıklarını da değiştirmeye başladılar. Daha önce şirketlerde fiziksel olarak yapılmakta olunan birçok iş ve işlem artık bilgisayarlardan, cep telefonlarından veya tabletlerden yapılmaktadır. Kişisel olarak yapmakta olduğumuz banka ödemeleri, alışverişler, hastaneden randevu almak ve daha birçok işlem de telefonlarımız birkaç tuşuna basarak gerçekleşmekte. Telefonlarla veya bilgisayarlarla yapılan tüm işlemlerin sonunda karşı tarafa bazı veriler iletilmektedir. İşletmelerin sunucularında biriken bu verileri toplamaları, analiz etmeleri ve aralarından işlerine yarayacak olan veri ayıklamaları işlemine “veri madenciliği” denmektedir. Şirketler veri madenciliği işlemini uygulayarak veritabanlarında saklı olan ilişkileri ortaya çıkarmayı amaçlamaktadırlar. İşte şirketlerin kullanmış oldukları veri madenciliği yöntemlerinden bazıları şunlardır:

• Sınıflama: Veri madenciliğinde kullanılan en yaygın yöntemlerden biri olan sınıflama yönteminde elde bulunan verinin nitelikleri incelenir ve şirketler tarafından önceden belirlenmiş olan sınıflardan uygun olanlarına veriler aktarılır.
• Birliktelik kuralları: Veri madenciliğinde en yaygın kullanılan diğer bir yöntem olan birliktelik kurallarında büyük boyutlara sahip olan ve veri tabanlarında konumlanan birbirleriyle bağlantılı veriler ve aralarındaki ilişkinin belirlenmesi amaçlanmaktadır.
• Kümeleme: Bu yöntemde amaç verileri aralarındaki bağlantılara göre alt sınıflara ayırmaktır.
• Tahminleme: Bu yöntemde bir veri seti içinde eksik durumda olan sayısal veriler tahmin edilmeye çalışılmaktadır.
• Aykırılık analizi: Bu veri madenciliği yönteminde verilerin arasında aşırı sapma yaşamış olanlar tespit edilir. Bu yöntem sayesinde bankalar kredi kartlarından gerçekleştirilen olağanüstü harcamaları tespit edebilmektedirler.

Veri ambarı ve veri madenciliği şirketlerin verilerini analiz edebilmeleri için oldukça güçlü ve popüler yöntemlerdendir. Genellikle istatistik eğilimli kullanıcılar veri madenciliğini kullanmayı tercih etmektedirler. İş boyutlarını analiz edebilen veri uzmanları ise direkt veri ambarlarını kullanmayı tercih etmektedirler. Veri ambarı ve veri madenciliği arasındaki fark veri madenciliğinin daha çok istatiksel odaklı olması veri ambarının ise iş boyutlarını analiz edebilen yani veri madenciliğinin yapacağı işlemleri kendiliğinden yapabilen uzmanlar tarafından kullanılmasıdır.

Veritabanı ve Veri Ambarı Arasındaki Fark

Çoğunlukla bir bilgisayar sistemindeki elektronik olarak depolanmakta olan yapılandırılmış bilgi veya veriden oluşan düzenli bir koleksiyon olan veritabanı genellikle bir DBMS (veritabanı yönetim sistemi) aracılığıyla kontrol edilmektedir. Veri, DBMS ve aynı zamanda bunlarla bağlantılı uygulama yazılımları bir araya getirildiği zaman çoğunlukla sadece veritabanı olarak kısaltılmakta olan veritabanı sistemi olarak ifade edilmektedir. Günümüzde şirketler operasyonlarında kullanmakta oldukları en yaygın veritabanı türlerindeki verileri genellikle işlemeyi ve verileri sorgulamayı verimli bir hale dönüştürmek amacıyla bir dizi tabloda bulunan satırlarda ve sütunlarda modellemektedirler. Böylece verilere kolay bir şekilde erişilebilmekte, veriler kolayca değiştirilebilmekte, güncellenebilmekte, kontrol edilebilmekte ve organize edilebilmektedir.
Veritabanı ile veri ambarı arasındaki farklardan en temel olanı kullanım amaçlarıdır. Veritabanları yapıları gereği bünyelerinde en güncel verileri saklamakta olup işletmeler tarafından günlük operasyonel verileri depolamak amacıyla kullanılmaktadırlar. Veri ambarları ise analiz ve raporlama işlemlerinin gerçekleşebilmesi için işletmelerin geçmişe dönük verilerini saklamaktadırlar. İşletmeler verilerini analiz etmek ve raporlama işlemlerini gerçekleştirmek istiyorlarsa veri ambarlarını tercih etmelidirler. Veritabanlarını kullanarak da analiz ve raporlama işlemlerini gerçekleştirme imkanı bulunmaktadır ancak tablolar normal bir hala dönüştüğü için sorgular veri ambarına kıyasla çok daha karmaşık bir haldedir. Veritabanları eş zamanda binlerce kullanıcıya hizmet verebilmektedirler ancak veri ambarları bünyelerinde daha büyük veriler sakladıkları için daha fazla kaynağa ihtiyaç duymaktadırlar ve eş zamanda daha az sayıda kullanıcıya hizmet edebilmektedirler. Veritabanlarında yanıt verme süresi veri ambarlarına göre çok daha önemlidir fakat veri ambarlarında yanıt süresi ikinci planda bulunmaktadır. Veri ambarlarında yapılan analizlerin kalitesi çok daha ön plandadır. Veritabanları sorgu sürelerini kısaltmak amacıyla tablolar arası bağlantılar kurarak tekrarlı veriyi engelleyecek bir biçimde modellenmektedirler. Veri ambarları modellenirken  veritabanlarındaki bu kaygı gözetilmez. Veritabanları kullanıcıların 7/24 erişim sağlayabileceği bir şekilde modellenmelidir çünkü yaşanacak herhangi bir kesinti şirket için çok yüksek maliyete sebep olabilmektedir. Veri ambarlarında ise ekleme, silme, güncelleme gibi işlemler gerçekleştirilmediğinden dolayı veri ambarları kesintiden etkilenmezler. Veritabanlarında veriler düzenli bir şekilde yedeklenmek zorundadır. Veri ambarlarında ise bu işlem sadece iş zekası, raporlama işlemleri için kullanıldığından dolayı nadir gerçekleşmektedir.