Veri ambarı, bir kuruluştaki heterojen kaynak sistemlerinden gelen verileri içeren merkezi bir entegre veritabanıdır. Veriler, tutarsızlıkları ortadan kaldırmak için dönüştürülür, verileri özetlemek için toplanır ve veri ambarına yüklenir. Bu veritabanına birden fazla kullanıcı tarafından erişilebilir, bu da bir kuruluştaki her grubun değerli, istikrarlı verilere erişmesini sağlar.
Heterojen kaynak sistemlerinden gelen büyük hacimli verilerin etkin bir şekilde işlenmesi için ETL (Çıkarma, Dönüştürme ve Yükleme) yazılımı paralel işlemeyi uygulamıştır.
Paralel işleme, boru hattı paralelliği ve bölüm paralelliği olarak ikiye ayrılır.
IBM Information Server veya DataStage, her iki paralel işleme yöntemini de kullanmamıza olanak tanır.
Boru Hattı Paralelliği:
DataStage ardışık düzen verilerini (mümkünse) bir aşamadan diğerine aktarır ve bunun gerçekleşmesi için hiçbir şey yapılması gerekmez. ETL (Çıkarma, Dönüştürme ve Yükleme) Eş zamanlı olarak çalışan bir işin tüm aşamalarında verileri eş zamanlı olarak işler. Aşağı akış süreci, veriler yukarı akışta mevcut olur olmaz başlayacaktır. Ardışık düzen paralelliği, bir diske ara depolama ihtiyacını ortadan kaldırır.
Bölme Paralelliği:
Çoğu bölümleme işleminin amacı, işlemciler arasında eşit bir yük sağlayarak, mümkün olduğunca eşit boyuta yakın bir bölüm kümesi elde etmektir. Bu bölüm, verileri bölümlere ayırarak çok büyük miktarda veriyi işlemek için idealdir. Her bölüm, iş aşamalarının ayrı bir örneği tarafından işlenir.
Boru hattı ve bölüm paralelliğini birleştirme:
İşlem hattı ve bölüm paralelliğini birleştirerek daha fazla performans kazancı elde edilebilir. Veriler bölümlenir ve bölümlenmiş veriler ardışık düzeni doldurur, böylece aşağı akış aşaması, yukarı akış hala çalışırken bölümlenmiş verileri işler. DataStage, bu paralel işleme yöntemlerini paralel işlerde kullanmamıza olanak tanır.
İş gereksinimlerine göre bölümlenmiş verilerin yeniden bölümlenmesi DataStage’de yapılabilir ve yeniden bölümleme verileri diske yüklenmeyecektir.
Paralel işleme ortamları:
DataStage işlerinizi yürüttüğünüz ortam, sisteminizin mimarisi ve donanım kaynakları tarafından tanımlanır.
Tüm paralel işleme ortamları şu şekilde kategorize edilebilir:
- SMP (Simetrik Çoklu İşlem)
- Kümeler veya MPP (Büyük Paralel İşleme)
SMP (simetrik çoklu işlem), paylaşılan bellek:
- Bazı donanım kaynakları işlemciler arasında paylaşılabilir.
- İşlemciler, paylaşılan bellek aracılığıyla iletişim kurar ve tek bir işletim sistemine sahiptir.
- Tüm CPU’lar sistem kaynaklarını paylaşır
MPP (büyük ölçüde paralel işleme), paylaşılan hiçbir şey:
- Bir grup bağlı SMP olarak bir MPP.
- Her işlemcinin donanım kaynaklarına özel erişimi vardır.
- MPP sistemleri fiziksel olarak aynı kutuya yerleştirilmiştir.
Küme Sistemleri:
- Ağlar aracılığıyla bağlanan UNIX sistemleri
- Küme sistemleri fiziksel olarak dağıtılabilir.
Bu kavramları çeşitli işleme yöntemleri ve ortamlarında anlamak, DataStage’deki genel paralel iş mimarisini anlamamı sağladı.
❓ Sıkça Sorulan Sorular
❔ IBM Information Server veya DataStage nedir?
IBM Information Server, bir kuruluşun veri ambarı ve ETL işlemleri için kullandığı güçlü bir yazılımdır. Verileri farklı kaynak sistemlerden entegre eder, dönüştürür ve yükler. DataStage ise IBM Information Server’ın bir bileşenidir ve özellikle büyük veri kümelerinin paralel işlenmesi için tasarlanmıştır.
ıbm ınformation server 8.x (datastage) Hakkında Bilmeniz Gerekenler
❔ Bu yazılım neden önemli?
Heterojen kaynak sistemlerinden gelen verilerin işlenmesi karmaşık olabilir. IBM Information Server/DataStage, bu verileri merkezi bir konumda birleştirerek, tutarlı ve erişilebilir hale getirir. Paralel işleme teknikleri kullanarak, özellikle büyük veri kümeleriyle çalışırken, verimliliği artırır ve işlem sürelerini kısaltır.
❔ Boru hattı paralelliği nasıl çalışır?
Boru hattı paralelliği, bir ETL işinin farklı adımlarını veya işlemlerini paralel olarak çalıştırarak verimliliği artırma yöntemidir. Bu, her adımın kendi işlem gücüne sahip olduğu ve tüm adımlar aynı anda çalışarak genel işlem süresini kısaltarak paralel olarak gerçekleştirildiği anlamına gelir.
❔ Bölüm paralelliği nedir?
Bölüm paralelliği, büyük veri kümelerini daha küçük alt kümelere veya bölümlere ayırarak çalışır. Her bölüm ayrı ayrı işlenir ve bu sayede birden fazla işlemci veya düğüm kullanılarak paralel işlem mümkün olur. Bu yöntem, özellikle veri kümesi çok büyük olduğunda yararlıdır ve genel işleme süresini önemli ölçüde kısaltabilir.
