Hadoop, Google'ı kopyalıyor mu?

Geçtiğimiz günlerde yaptığımız bir haberde Google'ın GFS2 üzerine çalıştığını sizlere duyurmuştuk. Açılımı Google File System 2 olan bu yapı, Google'ın kendisine özel geliştirdiği altyapının anahtar bir parçası.

Google, bundan sonra yeni dosya sistemini kullanacağı için, eski Google File System'i açık kaynak dünyasının hizmetine açıyor.

Apache üzerinden çalışan açık kaynak kodlu Hadoop, bir veri analiz ve dönüştürme aracı. Bu yazılım çok büyük miktarda verilerin kullanıldığı platformlarda kullanılıyor. Karmaşık veri yapılarının kontrol edilebilmesinde anahtar bir rol oynuyor. Bu veri yönetimi işi çok zor ve Google'ın dosya sistemi de masaüstü dosya sistemlerinin hakim olamadığı bu karmaşık ve dev verileri idare edilebilir hale getiriyor. Hadoop, Google'ın dosya sisteminin ilk sürümünün benzerini kullanıyor.

Cloudera ise Hadoop yazılımını büyük şirketlere kuran, çalıştıran ve daha sonra teknik destek ve geliştirme sunan bir yazılım firması. Hadoop kullanan Cloudera firması, son tüketiciden ziyade dev şirketlere yönelik bir hizmet sunduğu için, ev kullanıcıları tarafından pek tanınmıyor.

Washington Üniversitesi'nde bir ders veren, Google'ın eski bulut bilgi işlem bölümü sorumlusu Christophe Bisciglia, yetişen bilgisayar bilim adamlarını Google'ın veri yönetim biçimleri konusunda eğitiyor. Biscaglia, bu yılın başlarında bilgi birikimini Cloudera'ya taşımıştı. Bu firma, Google'ın veri yönetimindeki gücünü açık kaynak kodlu yazılım kullanarak yakalamaya çalışıyor. Cloudera'nın Google ile olan bağlantısını haberin ilerleyen kısımlarında daha iyi anlayacaksınız.

Cloudera'ya Hadoop'un Red Hat'ı denilebilir. Linux gibi açık kaynak kodlu olan Hadoop'u kullanan dev şirketlerin, teknik destek ihtiyacını karşılıyor. Cloudera'nın kullandığı Hadoop sürümü, Red hat'ın kullandığı Linux sürümü gibi şirketlerin ihtiyaçlarına cevap verecek şekilde özelleştirilmiş bir versiyon. Yahoo!, Facebook, Microsoft gibi devler, Cloudera'nın sunduğu hizmetlerden yararlanıyor.

Hadoop da kimin nesi?

GFS2'ye dönersek henüz detaylar ortaya çıkmış değil. Devlerle yarışan Google, eski dosya sistemini açsa da yenisinin kritik teknik detaylarını uzun süre gizli tutması muhtemel. Bununla birlikte hiçbir şeyi tamamen saklamak mümkün değil. Eski Google çalışanı Biscaglia gibi konunun uzmanları, okudukları birkaç satırdan bile neyin ne olduğunu anlayabiliyor. Biscaglia Google'ın bu adımını çok mantıklı buluyor ve Hadoop'un da bu ayak izlerini takip edeceğini belirtiyor.

Biscaglia, "Google'ın bahsettiği pek çok şey, Hadoop için çok mantıklı seçimler. Tekrar ettiğini görmekten memnuniyet duyduğum gelişmelerden biri, Hadoop'un bu tür değişiklikleri hızla ve aynı sırada uygulamaya koymasıdır. Bu da Hadoop'un temellerinin sağlam olduğunu ve Google'ın bir dev haline gelmesini sağlayan ilkeler üzerine kurulu olduğunu gösteriyor." dedi.

Caffeine'de test ediliyor

Bunlara Google'ın yaptığı her şeyi Hadoop'un da yapabileceğini ve eninde sonunda yapacağını düşündüğünü ekleyen Biscaglia, Google'ın avantajının aynı şey üzerinde daha uzun süredir çalışıyor olması olduğunu belirtiyor. Eh, GFS çıkalı 10 yıl oluyor ve Hadoop buna 2005'te GFS üzerine araştırma makaleleri yayınlandığı zaman başlamıştı.

GFS2 daha şimdiden Google Caffeine içerisinde yer alıyor. 2 yıldır geliştirilen sistem, Google'ın kodunun geliştirilmiş haliyle birlikte çalışıtırılıyor ve test ediliyor.

GFS'nin ve Hadoop File System'in temelinde verilerin ana ve yardımcı sunuculara dağıtılma biçimi yer alıyor. Veriler bir seri dağıtılmış sunucu üzerine yayılarak depolanıyor. Bunu dev bir RAID gibi düşünebilirsiniz. Sayısız sunucuda depolanan veri parçaları, pek çok kanal üzerinden aktarılıyor. GFS2'nin farkı ise sadece veri depolayan sunucuların değil, ana sunucuların da dağıtılmış bir şekilde daha hızlı ve güvenli çalışacak olması. Hadoop ta bunu takip edecek.