Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



17.10.2017

Ultrapanorama

Philips 492P8
13.10.2017

Druk w bieli

Oki Pro8342WT
11.10.2017

PolCAAT’ 2017 już w...

30 listopada 2017 r. w warszawskim hotelu Marriott odbędzie się XIII edycja konferencji...
10.10.2017

Pełna ochrona

Kaspersky Total Security 2018, Internet Security 2018
06.10.2017

Przeprowadzka do chmury

Oracle Exadata Cloud
03.10.2017

Automatyzacja...

Red Hat Ansible
02.10.2017

Bezpieczeństwo danych zaczyna...

Aby zapewnić bezpieczeństwo danych, w tym informacji poufnych o klientach i pracownikach,...
27.09.2017

Dotykowe 75 cali

BenQ RP750K
22.09.2017

Wydajne CPU

AMD Ryzen Threadripper

Splunk – zarządzanie zdarzeniami

Data publikacji: 29-09-2017 Autor: Jarosław Sobel

W pierwszej części cyklu artykułów o jednym z najpopularniejszych narzędzi do analizy danych maszynowych o nazwie Splunk ogólnie zostały opisane możliwości rozwiązania, jego architektura oraz sposób działania. W tym artykule pokazujemy, jak zaimportować dane do Splunka, i co najważniejsze, jak rozpocząć ich analizę.

Jak już wiemy, wszystkie dane Splunk przechowuje w tzw. indeksach, dlatego prace rozpoczynamy właśnie od utworzenia nowego indeksu. W tym celu wybieramy z menu opcję Settings, a następnie klikamy Indexes w sekcji Data. Jak łatwo zauważyć, aplikacja po instalacji automatycznie tworzy kilka domyślnych indeksów, jednak zarówno podczas wdrożenia produkcyjnego, jak i na potrzeby testów tworzymy nowy indeks. Po kliknięciu przycisku New Index wyświetlona zostanie formatka, w której podajemy dowolną nazwę indeksu oraz określamy jego maksymalny rozmiar (domyślnie jest to 500 GB).

> IMPORT DANYCH

Po wykonaniu wspomnianych czynności wracamy do głównego okna aplikacji i wybieramy akcję Add Data (opcja dostępna jest również w sekcji Settings). Dane można dostarczyć na trzy sposoby:

 

  • za pośrednictwem interfejsu webowego Splunka;
  • za pomocą monitora uruchomianego na lokalnym systemie;
  • za pomocą forwarderów.

 

Jak już wspomniano, w środowisku produkcyjnym Splunk używany jest głównie do tego, aby zbierać i analizować informacje pochodzące z różnych źródeł (systemów). Na początek skupimy się jednak na ręcznym imporcie danych. W tym celu wybieramy opcję Upload. Aby ułatwić rozpoczęcie pracy z aplikacją, jej twórcy udostępnili na stronie projektu przykładowe dane testowe. Można je pobrać ze stron tinyurl.com/splunk-test i tinyurl.com/splunk-test1 (archiwa ZIP) lub wyszukać, wpisując frazę: Splunk tutorial data. Testowe archiwa zawierają dane z fikcyjnego sklepu internetowego „Buttercup Games” (nazwa od imienia maskotki firmy – kucyka Buttercup).

Udostępnione archiwa zawierają:

 

  • logi z serwera www – plik access.log:


175.44.24.82 - - [22/Sep/2016:18:44:40] “POST /product.screen?productId=
WC-SH-A01&JSESSIONID=SD7SL9FF5ADFF5066 HTTP 1.1” 200 3067
“http://www.buttercupgames.com/product.screen?productId=WC-SH-A01”
“Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0;
BOIE9;ENUS)” 307
142.233.200.21 - - [22/Sep/2016:19:20:13] “GET show.do?productId=SF-BVS-
01&JSESSIONID=SD6SL8FF4ADFF5218 HTTP 1.1” 404 1329 “http://www.buttercupgames.com
/cart.do?action=purchase&itemId=EST-13” “Mozilla/5.0 (compatible;
Googlebot/2.1; +http://www.google.com/bot.html)” 674

 

  • logi z serwera pocztowego – plik secure.log:


Thu Sep 22 2016 00:15:06 mailsv1 sshd[60445]: pam_unix(sshd:session):
session opened for user djohnson by (uid=0)
Thu Sep 22 2016 00:15:06 mailsv1 sshd[3759]: Failed password for nagios
from 194.8.74.23 port 3769 ssh2
Thu Sep 22 2016 00:15:08 mailsv1 sshd[5276]: Failed password for invalid
user appserver from 194.8.74.23 port 3351

 

  • logi z transakcjami sprzedaży – vendor_sales.log:


[22/Sep/2016:18:23:07] VendorID=5037 Code=C AcctID=5317605039838520
[22/Sep/2016:18:23:22] VendorID=9108 Code=A AcctID=2194850084423218
[22/Sep/2016:18:23:49] VendorID=1285 Code=F AcctID=8560077531775179
[22/Sep/2016:18:23:59] VendorID=1153 Code=D AcctID=4433276107716482

Powyższe pliki są codziennie aktualizowane i zawierają zdarzenia z ostatnich siedmiu dni – w logu przy każdym zdarzeniu znajduje się znacznik czasowy, określający, kiedy dane zdarzenie miało miejsce.

Dodatkowo w danych testowych znajdziemy również słownik zawierający produkty znajdujące się w sklepie. Dane w tym pliku nie mają znacznika czasowego i mogą być traktowane jako tzw. lookup table.

productId,product_name,price,sale_price,Code
DB-SG-G01,Mediocre Kingdoms,24.99,19.99,A
DC-SG-G02,Dream Crusher,39.99,24.99,B
FS-SG-G03,Final Sequel,24.99,16.99,C

Wróćmy do aplikacji. Na początek wykorzystamy plik zawierający logi serwera WWW (www1 access.log). Splunk posiada pokaźną bazę definicji typów plików zawierających dane maszynowe – mogą to być logi z systemów operacyjnych, aplikacji, baz danych czy logi z danymi dotyczącymi zdarzeń bezpieczeństwa. Można również zaimportować dane ustrukturyzowane, takie jak CSV lub JSON. W naszym przypadku logi zostały poprawnie rozpoznane jako access_combined_wcookie. Aby analiza danych miała sens, zdarzenia muszą mieć też właściwy znacznik czasowy – w tym przypadku również został on rozpoznany poprawnie (rys. 1). Może się jednak zdarzyć, że aplikacja nie będzie w stanie znaleźć znacznika w danych – wówczas jako czas wystąpienia zdarzenia (jednego lub wszystkich) zostanie przyjęty czas importu danych do systemu.

W kolejnym kroku wpisujemy nazwę hosta, z którego pochodzą dane (może to być np. nazwa serwera – www1) oraz wskazujemy indeks, do którego zostaną one zaimportowane (w tym przypadku będzie to nowo utworzony indeks test). Po załadowaniu danych można rozpocząć analizę – w tym celu klikamy przycisk Start search. Jeśli wszystko zostało wykonane poprawnie, wyświetlone zostanie okno wyszukiwarki, z którą od tego momentu będziemy pracować i która jest głównym narzędziem analityka danych.

[...]

Autor jest specjalistą zajmującym się projektowaniem, implementacją i administracją rozwiązań wirtualizacyjnych. Posiada certyfikacje firm: Citrix, VMware, Microsoft, NetApp i RedHat. Prelegent oraz autor bloga poświęconego technologii Citrix i wirtualizacji.

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2013 Presscom / Miesięcznik "IT Professional"