Büyük veri: Yaşam biçimimizi ve düşünme şeklimizi dönüştüren devrim

Bugün hayatınızda kullandığınız her şey bir veri unsuru. Cep telefonu, bilgisayar, abone olduğunuz dijital platformlar size devamlı bilgi sunan araçlar. Ne var ki bu araçlar üzerinden sanal dünyada gezerken sürekli bir iz bırakırsınız. Aklı ermeye başlayan küçük bir çocuktan yaşlı birisine kadar sanalda olmayan insan yok. Neredeyse arama yapmadığınız bir zaman yok. Ayrıca milyarlarca insanın teknolojiyi defalarca kullandığını düşünürseniz her gün yüz milyarlarca bilgi üretiliyor diyebiliriz.

Veri hiç uyumuyor.

Web, insanların hiç boş bırakmadığı ortak toplanma alanı oldu. Birisi çıkarken onun yerini başkası hemen dolduruyor. Sanki bir nöbet değişimi yapıyormuşuz gibi biri uyandığında uyumaya gidenin bıraktığı yeri dolduruyoruz. Aslında insanlara gerek kalmadan nesnelerin interneti ile sürekli yeni veri üretilip dolaşıma sokuluyor. Üstelik yakın gelecekte beynimize ve vücudumuza takılacak sensörlerle biz de bir IoT kabul edildiğimizde sürekli veri üretmeyen birim kalmayacak gibi görünüyor. Her gün yaptığımız aramalardan sosyal medyadaki paylaşımlarımıza kadar çok büyük veri üretiyoruz. Mesela Facebook her gün 4 petabyte’ın üzerinde veriyi işliyor.

Büyük veriye örnekler

Büyük veri basitçe büyük hacimli veriyi anlatır. Kısaca IoT ve sensörlerden akan çok çeşitli bilginin oluşturduğu büyük veri setidir. Bu verilerin hızı, hacmi ve çeşidi çok büyük olunca bunları depolama, işleme ve analizinde klasik yöntemler yetersiz kalıyor. 5G, mobilite, yapay zeka ve nesnelerin interneti (IoT) ile veri çok hızlı çoğalıyor. Bunların içinde bulunan veriden yeni değerler üretmek için yeni yöntemler gerekiyor.

Bugün veri, sadece şirketlerin değil insanların da en önemli değeri oldu. İnsanlar, beyin gibi hiç tükenmeyen kaynağını sanal dünyada bir üretim merkezi gibi kullanıyor. Beynimizden çıkan veriyi teknoloji şirketleri işleyip analiz ettiğinde pazar koşullarından tüketici satın alma davranışlarına kadar tüm süreçlerde yeni içgörüler elde ediliyor.

Büyük veriyi örneklendirdiğimizde tüketici davranışlarından hangi alışveriş alışkanlıklarının oluştuğunu anlayabilirsiniz. Ayrıca ödeme alışkanlıklarının geçmişine bakarak suiistimallerin önüne geçebilirsiniz. Bunun yanında alışverişlerde müşteri yolculuğunu daha iyi analiz edebilirsiniz. Sağlık sektöründe araştırma raporları ve klinik notları gibi yapılandırılmamış medikal raporlardan yapay zeka destekli teknolojileri kullanarak yeni içgörüler elde edebilirsiniz. Bütün bunlar, basit bir etkileşim sonucu ortaya çıkan küçük bir bilgiden, birbirini tetikleyerek oluşan veri setinin yarattığı değer zinciridir.

Büyük verinin 6V’si

Büyük veri, bilginin hacmini, çeşitliliğini ve hızını (volume, variety, velocity) gösteren 3 V’den oluşur. Ne var ki bu 3 V’ye büyük verinin gücünü daha da arttıran doğruluk (veracity), değişkenlik (variability) ve değer de (value) artık ekleniyor.

6V ne anlama geliyor?

Hacim, isminden de anlaşılacağı gibi büyük verinin temel karakterini oluşturuyor. Çeşitli kaynak ve cihazlardan toplanan ve üretilen büyük miktarda veri kastediliyor. Bunlar sosyal medya, akıllı cihazlar ve IoT (nesnelerin interneti) olarak geçiyor.

Hız, üretilen verinin hangi hızda olduğunu anlatıyor. Bugün elde edilen veri anlık üretiliyor ve bir anlam ifade etmesi için de anlık işlenmesi ve analiz edilmesi gerekiyor.

Çeşitlilik ise yapılandırılmış, yarı yapılandırılmış ya da yapılandırılmamış verinin bir çok cihaz ve kaynaktan geldiğini anlatıyor.

Doğruluk, verinin güvenilir olmasını belirtiyor. Verinin az ya da çok oluşu, onun kalitesi ve doğruluğunda şüphe uyandırıyor. Neticede küçük veri setleri yetersiz bilgi sağlarken büyük miktarda veri karmaşık olabiliyor. Bu sebeple doğruluk arttıkça veriye olan güven de artıyor.

Değişkenlik ise zamanla değişen bilginin geçerli olmasını niteliyor. Büyük miktarda bilgi zamanla değişebiliyor bu da veride tutarsızlıklara sebep oluyor. Bu sebeple şirketlerin hangi veriyi depoladıkları, işleme metodlarındaki değişmelere ve veriyi yorumlama biçimine bağlı oluyor.

Değer, şirketin değerini anlatıyor. Artık ilk elden veriyi toplayıp bunu işleyerek paylaşmak bir var olma meselesi haline geldi. Bir şirketin değeri artık topladığı veriyle paralel gidiyor. Topladığınız veri ne kadar doğru olursa ve etkin bir şekilde işlenip analiz edilirse size yön verecek o kadar içgörü ve tahmin elinizde oluyor. Bunun yanında rekabette size uzak ara avantaj yaratıyor.

İnsanlar güvenilir bilgiye bir an önce ulaşmak istiyor. Bu sebeple işletmeler de veriyi çok hızlı toplayıp bir an önce işleyerek kullanıcıyla paylaşmak zorunda. Bunun sonucunda yapay zeka artık hayatımızın ayrılmaz parçası oluyor.

Veriniz ne kadar doğruysa o kadar güvenilirdir. Artık bu bilgiyi işlemek insan zekasının kaldırabileceği bir yük değildir. İşlenen bilgiden yeni bilgi üretmek artık insanın çapını aşan bir yetenektir. Bu sebeple bugün yaptığımız tüm aramalarda kural tabanlı yapay zekadan üretici yapay zekaya geçmiş durumdayız.

Büyük veri nasıl çalışır?

Bir şeyin içine ne kadar nüfuz ederseniz ondan o kadar çok veri alırsınız. Bu sayede daha iyi kararlar alacağınız, yeni fırsatlar yaratacağınız ve iş modelinizi geliştireceğiniz çok değerli bilgi elinizde olur.

Yukarıdaki şemada Amazon’un veri analitiğini görebilirsiniz. Toplanan petabyte bazında veri bir yandan iş uygulamaları ve iş zekasında alınacak kararlar için içgörü haline gelirken diğer tarafta tüketici ve iş kullanıcıları için işlenmiş ve kullanıma hazır veri haline geliyor.

Bu anlamda büyük veri 3 ana etken üzerinde oluşur.

Entegrasyon: Veri terabyte hatta bazen petabyte seviyesinde toplanır. Bu veriler ham şekilde muhtelif kaynaklardan toplanır ve işlenerek iş insanlarına ve analistlere sunulur.

Yönetim: Bu kadar çok veri için büyük depolama kapasitenizin olması gerekir. Bu, bir veri ambarı veya veri gölü olabilir. Veri göllerini, her hacimdeki yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veriyi kapsayan, farklı analitik uygulamaları ve makine öğrenimini işleten bir kuruluş gibi düşünebilirsiniz. Veri, hangi formda isteniyorsa o şekilde tutulmalıdır. Her an kullanıma hazır ve işlenmiş bir durumda bulunmalıdır.

Analiz: Son safha analiz ve veriyi kullanmaktır. Aksi takdirde yatırımın bir değeri olmaz. Veriyi incelemenin ötesinde herkesin anlayacağı bir şekilde elde edilen içgörülerin paylaşılıp anlaşılacak durumda olması gerekir. Bu da görsel oluşturma, tablo ve grafik gibi veri analitiği araçları kullanarak olur.

Büyük verinin avantajları

Büyük verinin karşılaştığı zorluklar.

Şirketlerin bu hızlı akışa hemen uyum sağlamakta sorunlar yaşaması normaldir. Bu sorunların başında yetenek ve beceri eksikliği gelir. Sektörde veri analisti ve mühendisliği şu anda piyasada maalesef yeterli değil. Bu durum büyük veriden değer yaratma zincirini olumsuz etkiliyor. Bunun yanında verinin çok hızlı büyümesi toplanan verileri depolamada sorun yaratıyor.

Yetersiz bir altyapı, verinin depolanması, işlenmesi ve güvenliğinde zaaf oluşturuyor. Bu durum veri kalitesinin düşmesine sebep oluyor. Bunun sonucunda karar alma ve planlama faaliyetlerinin kalitesi de düşmüş oluyor. Ham veriyi işleyemediğiniz durumda yanlış sonuçlar ve değersiz içgörüler oluşuyor.

Birçok şirket verileri farklı sistem ve uygulamalardan sağlıyor. Bunun sonucunda kullanıcıların veriye ulaşımı bazen karmaşık bir yapıya geçmesini gerektiriyor.

Büyük veri, duyarlı veri ve bilgiye dayanır. Bu da veri gizliliği ve düzenleyici kurallara uymayı zorunlu kılar. Bu sebeple bilgileri güven altında tutacak alt yapıyı kurmak kritik önemdedir.

İşletmeler, büyük verinin zorluklarından dolayı biraz çekimser kalabiliyor. Ne var ki veri odaklı olmaktan başka çareleri de yok. Hatta her zamankinden daha hızlı olmaları gerekiyor. Aksi takdirde adapte olmakta zorluk yaşarlar. Bu sebeple firmaların veri odaklı yönetim anlayışını şirketin geneline yayıp, her sürecin kalbine yerleştirmesi gerekiyor.

Veri okur yazarlığı neden önemlidir?

Büyük veri kolaylıklarını getirirken zorluklarını da getiriyor. Yeni bir depolama mimarisi ve nitelikli istihdam bunlar arasında geliyor. Tüketicilerin, arzularının bir an önce karşılanmasını istediği bir iş piyasasında şirketler için hızın önemi çok büyük. Bu sebeple birçok şirket, eğitim kurumlarından gelecek tecrübesiz elemanın yerine başka iş kollarındaki yetenekli personeli istihdam etmeye çalışıyor. Ayrıca şirket içi öğrenmeyi kurumsallaştıracak, çalışanların niteliklerini yükseltecek ya da onlara yeni yetenekler kazandıracak eğitimleri de verme çabasındalar. Bu da zorlukların yeni fırsatları getirdiğini ve gelişimin bir döngü içinde olduğunu bize gösteriyor.

Veri okur yazarı olmak artık hayati önemde diyebiliriz. Şirketler işe alımlarda veri okur tazarlığını temel yetenek olarak görüyor. Ayrıca veri ve analiz stratejileri, dijital işlerin tüm yönlerinin bir parçası haline gelmiş durumda. Verileri anlama, verilerle ilgili ortak bilgileri paylaşma ve veriler hakkında anlamlı konuşmalar yapma becerisine sahip olmak, kuruluşların mevcut ve yeni gelişen teknolojileri sorunsuz bir şekilde benimsemesi için temel şart oluyor. Bunun yolu da veri okuryazarlığına sahip bir iş gücü oluşturmaktan geçiyor. 

Veri okuryazarlığı nedir?

Gartner veri okuryazarlığını, veri kaynakları ve yapılarını, analitik yöntem ve teknikleri kullanarak anlaşılır hale getirmek olarak tanımlıyor. Ayrıca uygulamayı ve ortaya çıkan değeri tanımlama becerisi de dahil olmak üzere verileri bağlam içinde okuma, yazma ve iletme yeteneğini de bu tanıma ilave ediyor.

İşletmenizin veri odaklı olabilmesi için yapınızın iş gücü niteliğini iyi analiz etmeniz gerekiyor. Mesela işletmenizde kaç kişinin korelasyonlar veya ortalamalar gibi basit istatistiksel işlemleri yorumladığı ya da kaç yöneticinin somut, doğru ve ilgili rakamlara dayalı bir iş gerekçesi oluşturduğu sorulması gereken soruların başında geliyor. Ayrıca yöneticilerin kendi sistemlerinin veya süreçlerinin çıktılarını ve makine öğrenimi algoritmalarının çıktısını açıklayabilmesi gerekiyor. Son olarak müşterilerin, paylaştığınız verilerin özünü gerçekten anlayıp içselleştirmesi sizi veri merkezli bir şirket haline getiriyor. Bu anlamda veri odaklı olmak, sadece şirket içi değil tedarikçi ve müşterileride kapsayan bir toplam kalite yönetimi anlayışıdır diyebiliriz.

Bugün veri odaklı bir şirket olmak iddialı olmak anlamına gelmiyor. Aksine eski yöntemlerle gidemeyeceğiniz bir dünyada hayatta kalabilmek için öyle olmanız gerekiyor. Sürekli veri üreten bir dijital düzende kaçırdığınız her içgörü sizi daha geriye götürür. İşlediğiniz her veri size gizli kalmış bir hazine saklıyor olabilir. Bunların hepsini yapsanız da işletmenizde bu bilgiyi işleyecek beyin gücü yoksa yaptıklarınız yine eksik kalıyor.

Yeni bir inşa sürecindeyiz. İşletmelerde herkesin veri okur yazarı olması gerekmez ama dijital çağın işletmelerinde öğrenmeyi kurumsal hale getirmek için liderlerin veri okur yazarı olması gerekir. Böylece öğrenme yukarıdan aşağıya doğru genişleyerek kurumsallaşmaya da katkı sunar.

Büyük veri stratejileri ve çözümleri

Doğru ve sağlam bir strateji kurmak öncelikle mevcut hedeflerinizi yeniden yapılandırmakla başlar. Elinizdeki verilerin neler olduğu, hangi verilere ihtiyacınız olacağı ve bu verileri sağlamak için hangi analitik araçlara sahip olmanız gerektiğini belirlemeniz gerekir. Gerekli araçlara sahip olduğunuzda verideki gizli değeri ortaya çıkarmak da kolaylaşır.

Sağlıklı bir veri yapılanması nasıl olmalıdır?

Öncelikle açık olmalıdır. Burada önemli olan her işletmenin farklı ihtiyaçları olduğudur. Yani bir işletmenin büyük veri stratejisi diğerine uymayabilir. Mesela günümüzde kuruluşlar özgür olmak istedikleri için arzu ettikleri araçları ve çözümleri kullanarak mimarilerini kendi istekleri doğrultusunda kurmak istiyorlar. Neticede veri kaynakları büyümeye devam ettikçe ve yeni teknolojiler ortaya çıktıkça imkanlar da o oranda fazlalaşıyor. Örneğin büyük verinin gerçekliği birden fazla arayüz, açık kaynak ve bulut içeren bir gerçeklik haline geliyor. Bu sebeple veri mimarisinin, çözüme götüren ve ihtiyaç duyduğu verileri alabileceği açık ve uyarlanabilir bir yapıda olması gerekiyor. 

Bunun yanında zeki olmalıdır. Büyük veriler, iş kararlarını iyileştiren ve genel büyük veri altyapınızı yöneten içgörüler sunar. Bu da zamandan ve emekten tasarruf etmek demektir. Ne var ki bunu sağlamanız akıllı analizlerden, yapay zeka ve makine öğrenimi teknolojilerinden yararlanmanız sayesinde olur. Bu teknolojilerden fayda sağlamak için de veri yeteneklerinin arttırılması gerekir. Örneğin, süreçleri otomatikleştirmeyi veya self-servis analitiğini etkinleştirmeyi düşündüğünüzde insanların diğer ekiplerden minimum düzeyde destek alarak verilerle kendi başlarına çalışmasını da sağlamış olursunuz.  

Başka bir faktör de veri yapılanmasının esnek olmasıdır. Büyük veri analitiğinin yeniliklere açık olması yani bir inovasyona adapte olma kabiliyetinin yüksek olması gerekir. Böyle olması için bilgi işlem ve depolama kaynaklarına isteğe bağlı erişim sunmalıdır. Sonrasında verileri kolayca keşfedip erişeçeği ve bunları birleştirecek bir veri temeli oluşturması gerekir. Ayrıca iş yüküne ve kullanım durumuna uygun veri araç setlerini oluşturmak için kolayca birleştirilip birlikte kullanacağı teknolojileri ve çözümleri seçebileceği esnek bir yapısı olmalıdır. 

Son olarak güvenilir olmak zorundadır. Büyük verinin faydalı olması güvenilir olmasına bağlıdır. Bu da verilerin doğru, alakalı ve korunduğuna dair güven vermesi ile olur. Veriler nereden gelirse gelsin, varsayılan olarak güvenli olmalıdır. Stratejinizin aynı zamanda uyumluluk, yedeklilik ve güvenilirliği sağlamak için hangi güvenlik ölçütlerini kapsadığını da bilmeniz gerekir. 

Sonuç

Rakamlardan ibaretiz. Makine öğrenmesi ve yapay zeka ilerledikçe insan davranışlarından çok daha fazla içgörü elde ediliyor. Hatta yapay zeka insanın bilinç altına inip farkında olmadığı arzularını ortaya çıkaracak tetikleyici düşünceleri yakalayabiliyor. Neticede dijitale girdiğiniz anda kendimiz hakkında çok fazla veri bırakıyoruz.

Sanalda gezdiğiniz yerler, hangi sitede ne kadar zaman harcadığınız, karakteriniz ve beğenileriniz hakkında derin fikirler verir. Artık teknoloji webde bulunmadığınız zamanlarda dahi sizi takip edebiliyor. Sokakta yürürken sadece yakınınızda bulunan insanlar sizin farkınızda olur ama sanalda binlerce gözün sizi seyrettiği bir ortama girersiniz. Veri, yaşadığımız çağın parası ve en büyük değeridir. Bu sebeple onu algılama biçiminiz geleceğinizi şekillendirir.