Co to jest Big Data ?
Big Data to duże zbiory danych, których rozmiar i zmieniające się parametry (niestrukturalność) uniemożliwiają tradycyjne nimi zarządzanie i analizę. Dane, których charakter uniemożliwia użycie klasycznych systemów bazodanowych, wymagające alternatywnych metod przetwarzania, składowania i analiz. Technologie i techniki pozwalające organizacji efektywnie składować przetwarzać i analizować wszystkie potrzebne dane. to dynamicznie rozwijająca się metoda analizy danych, która znajduję zastosowanie w biznesie, samorządach i polityce, to ogromne zbiory danych liczonych w terabajtach lub petabajtach.

Czy Big Data są społecznie odpowiedzialne -

Bez wątpienia możliwe jest wykorzystanie Big Data do wielu społecznie użytecznych celów. Mogą i są to: walka z rakiem, rozszyfrowanie genomu, badania astronomiczne, zwalczanie terroryzmu (przy pamiętaniu o całej kontrowersyjności i delikatności tej kwestii), badania dotyczące mechaniki kwantowej, przeciwdziałanie korkom w wielkich metropoliach amerykańskich i azjatyckich

Andrew Sutherland, wiceprezes działu technologii na Europę, Bliski Wschód i Afrykę w firmie Oracle, wyjaśnia: "Zjawisko Big Data polega na tym, że zasoby informacji mają jednocześnie kilka cech: dużą objętość informacji, prędkość zmian, strumienie informacji z różnych źródeł o różnej charakterystyce oraz potencjalnie dużą wartość dla firmy. Do sprawnej pracy z takimi zasobami niezbędne są specjalne narzędzia"

Big Data analizuje zatem różnorodne, zawarte w dużych bazach, istotne informacje. W Efekcie uzyskujemy wiedzę, która pomoże podjąć najlepszą możliwą decyzję.

.Przykładem zastosowania tej technologii jest Nowy Jork, gdzie burmistrz Mike Bloomberg powołał jednostkę zajmująca się Big Data. Władze Nowego Jorku gromadzą mnóstwo rozmaitych informacji o mieście : ilość budynków, ich stanie technicznym i rodzaju prowadzonej w nich działalności gospodarczej, rozmieszczeniu punktów wi-fi, liczbie przestępstw w poszczególnych rejonach, liczbie mieszkańców w danej dzielnicy i ich przynależności etycznej, płaconych przez ich podatkach i szkołach, w których uczą się ich dzieci,.

Informacje te zawarte są w wielu odrębnych, niespójnych ze sobą bazach danych. Dopiero big data pozwoliło- przez ich połączenie i analizę na wyciągnięcie odpowiednich wniosków.

W efekcie podwojono skuteczność w wykrywaniu sklepów sprzedających nielegalny tytoń, przyspieszono proces usuwania drzew zniszczonych przez huragan Sandy, skierowano inspektorów budowlanych w miejsca, gdzie istniało wysokie prawdopodobieństwo wystąpienia pożarów. Big data prowadzi więc do sprawniejszego i bardziej efektywnego zarządzania miastem.

Na potrzeby Big Data (choć niektórzy teoretycy wskazują, że w praktyce jest to zjawisko niedefiniowalne) ukuto także bardzo ładnie wyglądającą (zwłaszcza w wydawnictwach niespecjalistycznych) definicję "4 Vs". Mianowicie, Big Data to szereg pojęć i działań związanych z pozyskiwaniem, utrzymywaniem i operowaniem na danych charakteryzujących się:

1. występowaniem w dużej ilości (volume),

2. dużym zróżnicowaniem (variety),

3. dużą zmiennością (velocity),

4. istotną wartością (value).

volume- ilośc danych jest pierwszą z cech, które wyróżniają Big Data. Obecnie największym klastrem Hadoop, jednej z najważniejszych technologii Big Data, jest instalacja w portalu Facebook. W 2012 r. przekroczyła ona 120 petabajtów, dodatkowo charakteryzuje się ona znaczącą dynamiką przyrostu ilości danych - w 2010 r. w facebookowym Hadoopie znajdowało się "zaledwie" ponad 30 petabajtów.

variety- przechodzą z wielu różnych, niespójnych ze sobą źródeł, Różnorodność danych poddawanych analizie nie ogranicza się jedynie do podłączenia wielu systemów transakcyjnych. W Big Data chodzi o połączenie wielu typów danych - ustrukturyzowanych i nieustrukturyzowanych, wewnętrznych i zewnętrznych, historycznych i aktualnych. Możliwość tworzenia tego typu analiz jest jednym z podstawowych kryteriów rozróżnienia między Big Data a klasyczną analityką. Nastręcza ono także istotnych problemów z uwagi na jakość, integrację oraz prezentację danych.

velocity- analiza danych prowadzona jest w czasie zbliżonym do rzeczywistego , Wbrew pozorom, Big Data nie zawsze oznacza analizy w czasie rzeczywistym. Przetwarzanie danych w systemach Big Data odbywać się może na różne sposoby - od przetwarzania wsadowego (batch processing), w którym dane ładowane są do systemu w określonych interwałach, do ciągłego przepływu danych z systemów transakcyjnych do systemów analitycznych. Kluczami do oceny potrzeb w zakresie szybkości analizy Big Data są procesy biznesowe i wymagania użytkowników.

value- z całej masy nieistotnych informacji analiza big data wyodrębnia te najważniejsze Wartość to zdecydowanie najistotniejsza cecha wyróżniająca dla Big Data, zarówno w kontekście kosztu pozyskania technologii, jak i korzyści, jakie organizacje mogą uzyskać w wyniku jej stosowania. Koszt technologii jest ważną różnicą w porównaniu z systemami z przeszłości, ponieważ poszczególne elementy układanki Big Data istniały od lat - tyle że nie były powszechnie dostępne dla przeciętnej firmy. Obecną sytuację wyróżnia znacząco niższy koszt pozyskania wysoko wydajnych technologii obliczeniowych i analitycznych w wyniku spadających cen sprzętu komputerowego o dużych parametrach oraz dostępności oprogamowania open source w chmurze.
Wartość odnosi się również do korzyści, jakie osiągają firmy i organy administracji w wyniku implementacji Big Data w zakresie redukcji kosztów kapitałowych, wydajności operacyjnej czy udoskonalenia procesów biznesowych.

Powyższe nie zapowiada jeszcze nic rewolucyjnego. Tym niemniej, w pewnym momencie ktoś dostrzegł, że analiza (gdy już się opanuje ją z technicznego punktu widzenia) wielkich zbiorów danych (zamiast wielu mniejszych zbiorów) pozwala uzyskać bardzo szczegółowe i trafne informacje mające zastosowanie w wielu dziedzinach życia i biznesu. Co więcej, okazało się, że wiele firm i instytucji w wyniku swojej codziennej działalności (tj. niejako mimochodem) zbiera olbrzymie ilości danych choćby o użytkownikach internetu i ich zachowaniach, które potencjalnie można byłoby sensownie wykorzystać w celach komercyjnych. W ten sposób narodziło się węższe pojęcie Big Data, oderwane od specyfiki technicznej i związane z danymi, i które jest najczęściej przywoływane we współczesnych publikacjach prasowych.

A co big data wprowadza w innych dziedzinach ?

• W finansach pozwala na zminimalizowanie ryzyka przy udzielaniu kredytu

• W marketingu umożliwa lepsze rozpoznanie potrzeb klientów

• W polityce pomaga osiągnąć zakładane cele wyborcze, skorzystał ztego nawet Barack Obama.

Skąd się bierze Big Data?

Na szczęście nie jest tak, że każdy, kto ma pieniądze, może kupić nasze dane. Źródła danych są zazwyczaj legalne i pochodzą z wnętrza danej firmy. Dla banków na przykład takimi źródłami będą wszelkie nasze działania związane z kontem, czyli jak, kiedy i za co płacimy, czy dokonujemy pewnych zakupów regularnie, jakie mamy wpływy na konto i tak dalej. Wszystkie te dane bank gromadzi w naturalny sposób, pokazuje nam je po zalogowaniu na konto.
Źródła mogą być różne: dane dostępne w internecie, w tym serwisach społecznościowych, ale też dane z wszelkiego rodzaju systemów informacji marketingowej czy baz danych klientów. Facebook nie udostępnia danych firmom w jakiś specjalny sposób. Można natomiast pobierać dane dotyczące niektórych aktywności w miejscach i na profilach publicznych oraz za zgodą użytkownika przez aplikację. Warto przy tym zaznaczyć, że często narzekamy na ustawienia prywatności "Fejsa", ale też sami udostępniamy prawie całe swoje życie. Należy więc odpowiedzieć sobie na pytanie: na ile sam zdradzam firmom, kim jestem? więcej o nas można dowiedzieć się z wyników wyszukiwania Google'a niż tego, co zamieszczamy na Facebooku. Można by spytać: skąd niektóre firmy wiedzą, czego szukam w Google? Niestety – sami dajemy im do tego dostęp. Na smartfonach, gdzie instalujemy dziesiątki aplikacji, za każdym razem wyrażamy zgodę na dostęp danej aplikacji do naszych danych. Mogą to być nie tylko wyniki wyszukiwania, ale też kontakty, sms-y czy e-maile.
Ważny też jest ostatni element, o którym wspomina Jan Zając: że więcej o nas można dowiedzieć się z wyników wyszukiwania Google'a niż tego, co zamieszczamy na Facebooku. Można by spytać: skąd niektóre firmy wiedzą, czego szukam w Google? Niestety – sami dajemy im do tego dostęp. Na smartfonach, gdzie instalujemy dziesiątki aplikacji, za każdym razem wyrażamy zgodę na dostęp danej aplikacji do naszych danych. Mogą to być nie tylko wyniki wyszukiwania, ale też kontakty, sms-y czy e-maile.
Dalej Samcik wymienia inne sposoby wykorzystania Big Data: bank może przewidywać, czy dany klient się rozwiedzie albo czy będzie miał dziecko, czy słucha rapu. Wszystko to może wpływać na wiarygodność kredytową danej osoby. Innym przykładem mogą być firmy ubezpieczeniowe, które widząc na portalu społecznościowym, że ich klient lubi sporty ekstremalne, zmienią swoją ofertę. Oczywiście, można by rzec: to tylko kolejny sposób na to, żeby wyciągać z nas pieniądze. I będzie to stwierdzenie słuszne. Ale nie da się nie zauważyć tego, o czym pisze Maciej Samcik: że Big Data może pozwolić bankom na zminimalizowanie nietrafionych pożyczek (a wszyscy pamiętamy, jaki udział w wybuchu kryzysu miały frywolnie rozdawane kredyty), a z kolei klientom oferować lepsze produkty i usługi. Dzięki temu banki oszczędzają, a klienci nie muszą użerać się z konsultantem, który proponuje usługę nam kompletnie zbędną.

Big Data, mimo swojej stosunkowo krótkiej historii, sprzyja dziś rozwiązywaniu wielu globalnych problemów. Firmy takie jak IBM, Google czy HP poprzez przetwarzanie i zarządzanie danymi próbują sprostać wyzwaniom dzisiejszego świata: analizują ruch w sieci, bezpieczeństwo na drogach, informują o zagrożeniach. Niedawno Google ogłosił nawet ambitny projekt związanych ze starzeniem się człowieka. Mimo to, kilka ważnych zagadnień nadal pozostaje dla nich nieuchwytnych - z powodu braku danych lub dostatecznie szybkich komputerów.

Przykłady Big Data

Przykładowo, w kalifornijskim Oakland policja zainstalowała monitory akustyczne identyfikujące strzały z broni. Technologia ta nazywa się ShotSpotter i wykorzystuje analitykę Big Data do wyznaczania lokalizacji potencjalnego przestępstwa metodą triangulacji. Policja jest wysyłana na miejsce zdarzenia w czasie rzeczywistym. Co więcej, korzyści płynące z dostępu do dokładnych danych na temat przestępczości, uzyskiwanych w czasie rzeczywistym, sięgają daleko poza pracę organów ścigania: mapy termiczne Trulia Local wyświetlają dane z bieżących raportów dotyczących przestępczości, pomagając osobom zamierzającym kupić dom w wyborze odpowiedniej, bezpiecznej lokalizacji.

Monitoring dziecka: skuteczne informowanie o zaginięciach

Zgłoszenie zaginięcia dziecka jest dziś dużo prostsze niż kiedyś, na przykład poprzez system Amber Alert wprowadzony niedawno również w Polsce. Problem polega jednak na tym, że te powiadomienia mają miejsce już po fakcie. Dostępna jest już technologia śledzenia bieżącej lokalizacji dziecka, chociażby na smartfonach, które są w stanie przesłać rodzicowi informacje o miejscu pobytu ich pociechy za pośrednictwem takich usług jak Google Location Reporting . Z kolei aplikacje Volkswagena Car-Net czy Forda MyKey powiadamiają o opuszczeniu przez nastolatka prowadzącego samochód określonego, wyznaczonego obszaru przy pomocy tzw. geofencingu.

Głównymi korzyściami z wykorzystaniem Big Data jakie organizację chcą osiągnąć to:
1. Podejmować lepsze decyzje szybciej

2. Poprawić wyniki misji

3. Zidentyfikować i zmniejszyć nieefektywność

4. Eliminacji odpadów, oszustw i nadużyć

5. Poprawy wydajności

6. Zwiększyć zwrot z inwestycji, cięcia całkowity koszt posiadania

7. Zwiększenia przejrzystości i usługi

8. Zmniejszenia zagrożeń dla bezpieczeństwa i przestępczości

dla kogo Big Data ?
Z Big Data będą korzystały przede wszystkim firmy, które muszą personalizować działania marketingowe, a mają tak dużo klientów, że każde nowe źródło informacji poprawi efektywność sprzedażową. Ważnym trendem jest także wykorzystanie mediów społecznościowych w różnych celach.
Przecież każdy przelew na nasze konto, każda płatność kartą, to kawałek wiedzy o nas, który dobrowolnie oddajemy bankowcom

W krajach Europy Zachodniej oraz w Stanach Zjednoczonych dane były gromadzone i analizowane od kilkudziesięciu lat. W Polsce stało się to możliwe dopiero po nastaniu gospodarki wolnorynkowej, stąd system Big Data dopiero od niedawna jest obecny w naszym kraju. Można jednak zauważyć rosnące zainteresowanie tą formą analizy danych ze strony różnego rodzaju instytucji, zwłaszcza tych prowadzących działalność kredytową. Dzięki informacjom zdobytym np. na portalach społecznościowych lub poprzez pliki cookies są one w stanie dostosować swój produkt bądź usługę do konkretnej osoby. W znacznie lepszym stopniu mogą również poznać, jakie jest ryzyko związane z danym klientem. Przedsiębiorstwa, w tym instytucje sektora bankowego dostrzegły wielkie możliwości, które daje szczegółowa analiza danych o klientach. Dzięki zastosowaniu inteligentnych modeli analitycznych, działających w oparciu o ideę Big Data, które posiadają umiejętność uczenia się, są one w stanie niemal błyskawicznie zareagować na gorszą jakość otrzymywanych danych, a w razie potrzeby mogą wprowadzić niezbędne zmiany w modelu.

15 firm działających z Big Data
IBM
IBM był w 2012 roku największym dostawcą rozwiązań Big Data pod kątem przychodów – wynika z raportu Wikibon. Autorzy raportu szacują, że IBM zarobił w 2012 roku na produktach i usługach związanych z Big Data aż 1,3 mld dolarów. W szacunkach zostały uwzględnione serwery, pamięci masowe, oprogramowanie baz danych, a także aplikacje analityczne i usługi powiązane. Najbardziej znanymi produktami są platformy baz danych takie jak DB2, Informix czy InfoSphere oraz aplikacje analityczne Cognos i SPSS. IBM wspiera także otwartą platformę analityczną danych Hadoop.

HP
HP była drugą największą firmą dostarczającą rozwiązania Big Data w roku 2012, z dochodem sięgającym 664 mln dolarów. Ten dostawca również oferuje szeroki zakres sprzętu komputerowego, oprogramowania i usług, z czego najbardziej znaną jest platforma analityczna Vertica.

Teradata
Teradata klasyfikuje się na trzecim miejscu największych dostawców Big Data w 2012 roku, z dochodem na poziomie 435 mln dolarów. Teradata znana jest z platform sprzętowych oraz baz danych i oprogramowania analitycznego. Oferuje również specyficzne narzędzia analityczne dla sprzedaży detalicznej oraz branży transportowej. –

Oracle
Podczas gdy Oracle słynie ze swoich flagowych baz danych, okazuje się, że to również duży gracz w świecie Big Data. To Oracle Big Data Appliance łączy w jeden ekosystem serwer Intel, dystrybucję Cloudera dla Hadoopa oraz bazę danych NoSQL Oracle. Jest to piąty, największy dostawca Big Data w 2012 roku, z dochodem 415 mln dolarów.

SAP
SAP oferuje rozmaite narzędzia analityczne, lecz znany jest przede wszystkim z implementacji przetwarzania danych w pamięci RAM, czyli SAP HANA. Firma SAP uplasowała się na 6 pozycji z dochodem 368 mln dolarów. –

EMC
EMC pomaga firmom przechowywać i analizować Big Data, posiada również think tank Marketing Science Lab, czyli zrzeszenie grupy ekspertów, którzy koncentrują się na analizie danych marketingowych. EMC w 2012 roku zasłynęło z powołania wspólnie z VMware (28% udziałów) i General Electric (10% udziałów) spółki Pivotal Initiative, która początkowo przejęła odpowiedzialność za część projektów VMware, a docelowo przygotowała projekt Pivotal One – otwartą platformę PAAS do analizy Big Data, łączącą w sobie rozwiązania z Hadoopa, bazę danych Greenplum (EMC) oraz narzędzia bibliotek HAWQ. EMC było 7 największym dostawcą Big Data w 2012 roku, z przychodami na poziomie 336 mln dolarów.

Amazon
Amazon jest znany przede wszystkim ze swoich platform cloud dla sektora enterprise, ale w swojej ofercie posiada także szereg produktów Big Data, w tym oparte na Hadoop rozwiązanie Elastic MapReduce, bazę danych DynamoDB oraz magazyn danych Redshift, które są kompatybilne z Amazon Web Services

Microsoft
Strategia firmy Microsoft wokół Big Data obejmuje m.in. współpracę z Hortonworks (głośnym start-upem Big Data) oraz wykorzystywaniem narzędzia HDInsights opartego o platformę danych tej samej firmy. Microsoft w ramach swojej podstawowej aktywności wokół Big Data dostarcza oczywiście także SQL Server. Firma zajęła dziewiąte miejsce wśród największych dostawców usług Big Data w 2012 roku, z przychodem na poziomie 196 mln dolarów. -

Google
Oferta Big Data od Google obejmuje m.in. BigQuery, platformę analityczną Big Data opartą na chmurze. Firma posiadała 36 mln dolarów przychodów związanych z Big Data w zeszłym roku.

VMware
VMware jest najlepiej znany ze swoich rozwiązań chmurowych oraz związanych z wirtualizacją, ale zyskuje także duże znaczenie w świecie Big Data, m.in. dzięki takim projektom jak rozszerzenia „VMware vSphere Big Data Extensions”, które pozwalają za pomocą vSphere rozwijać Hadoopa i dostosowywać jego funkcje do potrzeb dużych organizacji. VMware zanotował w kategorii Big Data, w 2012 roku, przychód na poziomie 32 mln dolarów, niemalże tyle co Goo –

: Cloudera
Cloudera jest na liście najlepszych dostawców rozwiązań Big Data z ponad 141 mln dolarami z funduszu venture capital i nazwiskami założycieli, którzy pracowali w takich firmach jak Google, Facebook, Oracle czy Yahoo. Firma jako pierwsze wdrożyła Hadoopa dla klientów korporacyjnych w 2008 roku. –

Hortonworks
Hortonworks jest kolejnym dostawcą Hadoop. Firma otrzymała ponad 70 mln dolarów kapitału od venture capital na rozpoczęcie inwestycji, po oddzieleniu od Yahoo w 2011 roku. Wydaje się, że Hortonworks będzie bezpośrednim konkurentem Cloudera. Firma znana jest ze swoich strategicznych partnerstw z korporacjami takimi jak Microsoft, Rackspace, Red Hat czy Teradata. –

Splunk
Splunk miał największy udział w rynku wśród wszystkich firm zajmujących się wyłącznie Big Data. Według Wikibon, jego przychód z 2012 roku szacowany jest na 186 milionów dolarów. Firma specjalizuje się w analizach danych z urządzeń.

10GEN

10Gen znany jest przede wszystkim z otwartego oprogramowania MongoDB, wiodącej bazy danych NoSQL. Posiada inwestorów strategicznych tj. Intel, Red Hat bądź In-Q-Tel. W zeszłym roku 10Gen był trzeci wśród dostawców typu „tylko Hadoop i NoSQL”, z 36 mln dolarów przychodu. –

MapR
Znany z bazy danych typu NoSQL – M7, MapR współpracuje z platformą Cloud Amazon oraz Google Compute Engine. Firma była czwarta wśród dostawców specjalizujących się tylko w Big Data, z przychodem na poziomie 23 mln dolarów przychodu

Co sprawia, że wielkie zbiory danych odgrywają tak dużą rolę?

Po pierwsze, dostarczają one informacji, dzięki którym przedsiębiorstwa mogą zapewnić klientom inteligentniejsze możliwości podróżowania

niż kiedykolwiek dotąd. Usystematyzowane dane były dotychczas dzielone na odrębne zbiory, np. systemy czy firmy. Wykorzystanie zarówno nieusystematyzowanych, jak i usystematyzowanych informacji pozwala jednak uzyskać spójniejszy wgląd w sytuację całej branży, umożliwiając firmom z sektora turystycznego optymalizację procesów, wdrażanie innowacji i budowanie lepszych relacji z klientami.

Po drugie, Big Data może pomóc zwiększyć elastyczność podróżowania oraz skoncentrować się na potrzebach i preferencjach pasażerów. To ponowne powiązanie podróży z przyjemnością stanowi kluczową kwestię dla poprawienia doświadczeń pasażerów

Czy Big data to Big problem ?
O bezpieczeństwie w kontekście Big Data należy myśleć w dwóch kategoriach. Pierwszą jest ryzyko związane z bezpieczeństwem zasobów, drugą – wykorzystanie analityki do wykrywania zagrożeń.
Wokół bezpieczeństwa rozwiązań klasy Big Data narosło wiele mitów, z których większość dotyczy bezpieczeństwa samych rozwiązań. Podstawową cechą zasobów Big Data jest ich objętość, nierzadko liczona w terabajtach, a nawet petabajtach. Jest to ogromna ilość informacji, którą trudno skopiować poza firmowe rozwiązania składowania danych, a zatem działy IT w firmach słusznie zakładają, że kompletu danych nie da się szybko ukraść bez wynoszenia samych nośników, takich jak macierze dyskowe. Drugą co do ważności cechą jest dynamika przyrastania danych, które są dostarczane do zasobów szerokim strumieniem. Chociaż skopiowanie lub przekierowanie takiego strumienia jest bardziej prawdopodobne od kradzieży całych statycznych zasobów , radykalny wzrost ruchu prawdopodobnie spowodowałby przeciążenie łączy, a zatem alarm. Nawet gdyby napastnikowi udało się pozyskać komplet danych, musiałby zbudować kopię środowiska, co wiąże się z dużymi kosztami. Oznacza to, że kradzież kompletu danych z zasobów Big Data przez fizyczne przejęcie samego urządzenia lub pozyskanie strumienia danych jest mało prawdopodobne. Nie znaczy to jednak, że napastnik nie może z tych danych skorzystać – wystarczy, że przygotuje długotrwały atak, skutecznie penetrując firmowe środowisko