Mengenal Bigdata (part 1)

Extracting insight from an immense volume, variety and velocity of data, in context, beyond what was previously possibleVariety (Relational & Non-Relational data), Velocity (Streaming & Data Movement) and Volume (Petabytes to Zettabytes scalability)

Kita sudah mulai cukup terbiasa dengan istilah ukuran kapasitas penyimpanan data dalam skala MegaBytes, GigaBytes atau bahkan TeraBytes (MB, GB, TB), salah satunya karena cukup banyak dari kita sudah membawa personal USB disk storage dalam bentuk flash-disk ataupun external disk. Masing-masing tingkatan berbeda 1000x (contoh 1 TB = 1000 GB). Namun, kemungkinannya hanya sebagian kecil dari kita yang pernah mendengar ukuran kapasitas dalam PB (PetaBytes), EB (ExaBytes) atau bahkan ZB (ZettaBytes), masing-masing adalah peningkatan sebesar 1000x dari sebelumnya.

Dalam pemrosesan DataWarehouse suatu enterprise, ukuran jumlah data yang mencapai ratusan TeraBytes atau bahkan PetaBytes sudah umum diperbincangkan. Data ini dapat berasal dari berbagai macam sumber (data sources) yang telah diolah melalui proses ETL (extract, transform, load) dan data cleansing.

Era Big Data semakin dekat, yaitu bagaimana kita dapat melakukan pemrosesan kumpulan data yang sangat besar (datasets) yang terus bertumbuh sehingga tidak praktis lagi dikelola dengan cara tradisional seperti kita mengelola database terstruktur pada saat ini (diperkirakan ada kebutuhan untuk memproses 35 ZettaBytes data di dunia pada tahun 2020, dibandingkan dengan ‘hanya’ 800 ribu PetaBytes data di tahun 2009 – IBM Study, 2010). Kebutuhan pemrosesan ini dapat berupa capture, storage, search, sharing, analytics, dan visualizing - wikipedia.org. Studi juga mengatakan 80% dari data yang ada di dunia sekarang adalah tidak terstruktur (unstructured) – yang dihasilkan oleh social media seperti facebook dan twitter misalnya, sisanya adalah terstruktur (structured) seperti data enterprise yang terdapat pada relational databases. Data terstruktur juga dapat bertumbuh sangat besar dan membutuhkan perhatian khusus untuk pemrosesannya, misalnya log files.

Dalam mencari peluang bisnis untuk Big Data, adalah penting untuk memperhatikan tiga hal (3 V) yaitu kebutuhan akan pemrosesan data yang variatif baik structured, semi-structured maupun unstructured (Variety), kecepatan pertumbuhan aliran dan perpindahan data yang sangat besar (Velocity) maupun scalability dari pertumbuhan data itu sendiri (Volume). Contoh peluang bisnis untuk BigData: (a) 100+ TB enterprise email archives analytics; (b) Social media analytics untuk sentiment analytics (“saya suka…”, “saya benci…”, “love this product”, “mau beli… nih, “sebel, problem terus nih…”) - dari twitter, facebook; (c) Analisa data dari crime scene (video, foto, sensor, interview dengan saksi, informasi lainnya) sesegera mungkin dalam 30 menit setelah kejadian; (d) Analisa peramalan cuaca; (e) Multi-channel pattern analysis di industri perbankan.

Baca artikel selanjutnya Mengenal Bigdata Part 2

Lihat juga artikel lainnya Real Time Analytics Processsing