Żyjemy obecnie w świecie, w którym główną walutą są dane oraz wiedza jaką możemy pozyskać na podstawie ich analizy biznesowej. W poprzednich latach mówiliśmy o zaawansowanej analityce w Big Data, ale jak dziś zdefiniować to „Big”? Generujemy codziennie tak dużo danych, że praktycznie każdy zbiór jest ogromy i jego analiza stanowi wyzwanie (około 80% danych to dane nieustrukturyzowane).
Według raportu IDC, już do roku 2025 dane z całego świata wzrosną o 61% do 175 zettabajtów (obecnie jest to 33 zettabajtów), przy czym duża ich część będzie znajdować się już w centrach danych w chmurze. Blisko 30% informacji będzie wymagało przetwarzania w czasie rzeczywistym. Bez nich technologie takie jak np. chatboty, uczenie maszynowe, czy rozwiązania sztucznej inteligencji nie byłyby możliwe.
Jak okiełznać dane i kto powinien to zrobić?
W organizacjach borykamy się z dwoma dylematami. Pierwszy to infrastruktura, której wymaga zaawansowana analityka biznesowa. Drugim dylematem jest czas potrzebny do zbudowania modelu i jego wytrenowania, ewentualnie do zbudowania całego ekosystemu pod projekt badawczy. To, co do tej pory mogło wydawać się zadaniem ponad możliwości techniczne, obecnie staje się osiągalne dzięki dostępności niemal nieograniczonej mocy obliczeniowej w modelu cloud. Scenariusze zastosowania chmury powodują, że wiele czynników, które są przeszkodami w infrastrukturze lokalnej, po prostu znika.
Dysponujemy mocą obliczeniową zdolną do rozwiązania praktycznie każdego problemu biznesowego. Możemy wdrażać na żądanie, środowiska oparte o szereg narzędzi analitycznych nie posiadając praktycznie żadnej infrastruktury IT w organizacji lub nie ponosząc dodatkowych kosztów na jej rozbudowę. Dzięki usługom chmurowym możemy zracjonalizować procesy powoływania środowisk Data Science, których koszt jest wysoki a wykorzystanie niejednostajne. Dla przykładu, jeżeli na potrzebę projektów badawczych musimy dostarczyć infrastrukturę i narzędzia, których koszt budowy w lokalnym środowisku może wynieść nawet milion złotych, a jej wykorzystanie będzie na poziomie tygodnia w miesiącu, to z pomocą przychodzą usługi chmurowe – gdzie koszt i czas wytworzenia środowiska jest o wiele niższy a płatność dokonywana jedynie za faktyczne wykorzystane zasoby.
Idealny tandem
Najpełniejsze wykorzystanie danych jest możliwe jedynie przy połączeniu potencjału algorytmów, maszyn i ludzi, którzy będą w stanie przełożyć wyniki analizy na konkretne rozwiązania czy produkty. Platformę techniczną na potrzeby zaawansowanej analizy danych, uczenia maszynowego i algorytmów sztucznej inteligencji dzięki usługom chmurowym możemy powołać praktycznie natychmiast. Daje nam to niespotykaną dotąd elastyczność i znacząco skraca czas uzyskania wyników analiz. Jednak bez zrozumienia, które z narzędzi należy zastosować do określonej klasy problemu oraz jakich wyników możemy spodziewać się po wybranym algorytmie lub rozwiązaniu, nie jesteśmy w stanie optymalnie prowadzić projektu badawczego w organizacji. I tu z pomocą przychodzą zespoły Data Scientist.
Definicja tej specjalizacji zmieniała się w czasie wraz z rozwojem systemów i technologii. Obecnie projekty Data Scientist, to takie, które są związane z szeroko pojętą analizą danych, gromadzeniem danych i przygotowaniem ich do analizy, ale również z wykorzystaniem bardziej inteligentnych algorytmów takich jak uczenie maszynowe czy sztuczna inteligencja. Ich prowadzenie wymaga wiedzy z obszaru zarządzania danymi, ich gromadzenia, przetwarzania i analizy, a co najważniejsze z przygotowania produktu biznesowego, czyli tak naprawdę sposobu ich konsumpcji.
Super moce na usługach Data Scientistów
Wydawać by się mogło, że zakres kompetencji badaczy danych (Data Scientists) pozostaje niezmienny od lat – doskonała znajomość statystyki, matematyki i aspektów związanych z analizą danych. Jednak wraz z rozwojem technologii i potrzeb biznesowych zostały one w istotny sposób przedefiniowane i rozszerzone o najnowsze aspekty zaawansowanej analizy tj. uczenie maszynowe, algorytmy sztucznej inteligencji i masowego przetwarzania danych. Zmieniła się również definicja roli Data Scientist, która to z obszaru inżynierii i analizy danych została rozszerzona o obszar analizy potrzeb biznesowych w obszarze konsumpcji pracy zespołów analitycznych. Dynamiczny rozwój technologii umożliwił nam zaadoptowanie zaawansowanych algorytmów analitycznych, dla których w czasach ich opracowania nie byliśmy w stanie dostarczyć odpowiedniej mocy obliczeniowej. Dzięki temu zespoły Data Scientist mogą obecnie realizować sny swoich poprzedników sprzed kilku dekad. Obecnie bardzo wyrafinowane algorytmy przetwarzania informacji i analizy danych mogą być używane na co dzień.
Coraz więcej polskich firm poszukuje drogi na rozwój swoich produktów lub budowę nowych usług poprzez budowę własnych zespołów Data Scientist. W zależności od sektora rynkowego zespoły te zajmują się analizą portfela, predykcją zmian i trendów lub analizą ryzyk wystąpienia określonych zdarzeń. W wielu organizacjach posiadających już wcześniej zespoły analityczne następuje ich transformacja w obszar Data Sicientist jak ma to miejsce np. w sektorze bankowym, gdzie jednostki zajmujące się analizą ryzyka stają się obecnie trzonem nowych komórek Data Scientist. Zespoły, te posiadały już bardzo szerokie kompetencje w obszarach zaawansowanej analizy danych, a teraz zostały wyposażone w dodatkowe możliwości i narzędzia analityczne. Zmieniły się kompetencje, obszary analiz ale również poziom oddziaływania na biznes. Dzięki temu komórka Data Scientist jest najczęściej przyporządkowana do linii biznesowej, bo jest to zespół holistyczny i nie może być w prosty sposób przyporządkowany do jakiegokolwiek z działów, np. IT.
Dobre zrozumienie potrzeby biznesowej oraz roli jaką może spełnić zespół Data Scientist w jej realizacji jest warunkiem koniecznym do wytworzenia lepiej dopasowanych do oczekiwań klientów produktów i usług. Analizując tak wielkie ilości danych mamy szansę zwrócić uwagę na czynniki, które do tej pory nie były brane pod uwagę ze względu na brak odpowiednich narzędzi. Bardzo często pojawia się wiele zależności w zachowaniu klientów, których człowiek nie jest w stanie wychwycić albo zrozumieć, a mogą mieć istotny wpływ na ich decyzje. Maszyny potrafią wyłapać takie zachowania i dokonać odpowiednich analiz.
Sztuczna Inteligencja + dane = lek na problemy biznesowe
Pytanie, które najczęściej dostaję od klientów brzmi – czy jest to możliwe? W organizacji pojawia się problem, który trzeba zdefiniować, a następnie znaleźć rozwiązanie za pomocą dostępnych technologii. To dzięki wykorzystaniu mechanizmów sztucznej inteligencji i zaawansowanej analizy danych firmy mogą przygotować produkty dokładnie odpowiadające na potrzeby klienta.
Dobrym przykładem jest chociażby sektor finansowy i analiza klienta przeprowadzana przez Banki. Instytucje finansowe korzystają z gromadzonej przez wiele lat historii operacji oraz koszyków klienta i są w stanie w odpowiednim czasie zaproponować mu odpowiednio dopasowany do potrzeb klienta produkt tj. kredyt, inwestycję czy poszerzenie limitu karty.
Innym przykładem branży bazującej na analizie zaawansowanej danych jest sektor sprzedaży detalicznej. Zbierane przez systemy dane o zachowaniach i preferencjach klientów umożliwiają sprzedawcom przygotowanie personalizowanych i dedykowanych ofert dla kupujących. W Polsce powstają już tego rodzaju sklepy, w których na monitorze możemy zobaczyć reklamę skierowaną bezpośrednio do nas, która ma nas zachęcić do zakupu określonego produktu będącego w zakresie naszych poszukiwań.
Bezpieczeństwo przede wszystkim
Obszar zaawansowanej analizy i wykorzystania algorytmów sztucznej inteligencji jest obecnie przedmiotem wielu dyskusji zarówno technicznych, prawnych jak i etycznych. Pojawia się wiele kwestii spornych w obszarze gromadzenia, przetwarzania i analizy danych wrażliwych jak na przykład dane biometryczne (głos, obraz, cechy behawioralne). Analiza tych danych jest konieczna do budowy lepiej dopasowanych do potrzeb klienta produktów, jednakże może być też wykorzystywana do wielu innych celów. Jako klienci nie zastanawiamy się nad tym jakie dane mogą być zbierane i wykorzystywane przez sklepy czy galerie kiedy wyrażamy zgodę instalując jedną czy drugą aplikację (bo kto ma czas na czytanie tych kilku ekranów napisanego mikro-czcionką tekstu?). Wprowadzone ostatnio w Unii Europejskiej regulacje GDPR (RODO) znacząco zwiększyły bezpieczeństwo naszych danych i celowość ich przetwarzania. Wzrastające zaufanie ludzi do technologii otwiera nam przestrzeń do wykorzystania nowego rodzaju usług, lepszych i bardziej dopasowanych do naszego stylu życia. Niejednokrotnie pod płaszczykiem miłej dla oka aplikacji ukrywają się zaawansowane systemy sztucznej inteligencji gotowe na każdy nasz ruch palca po ekranie przenieść nas w świat zaawansowanych analizy wykonywanych wyłącznie na nasze żądanie.
Kim jestem?
Jestem pasjonatem usług zaawansowanej anlizy i AI w środowiskach chmurowych. Moim zadaniem jest wspieranie dużych przedsiębiorstw w adaptacji usług analitycznych i algorytmów AI w procesach biznesowych. Pomagam organizacjom budować lepsze, bardziej wyrafinowane i inteligentne produkty lub usługi dla klientów końcowych. Wspieram firmy w organizacji i prowadzeniu projektów Data Science oraz adaptacji narzędzi zaawansowanej analizy tj. Azure Databricks, HDInsight, Spark, Machine Learning Services czy też Cognitive Services.