Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



11.12.2017

Dla biznesu

BenQ MH760
07.12.2017

Pamięć masowa SDS

SUSE Enterprise Storage 5
05.12.2017

Bezpieczna platforma

Red Hat OpenStack Platform 12
30.11.2017

ITewolucja w bezpieczeństwie....

9 listopada w katowickim hotelu Novotel odbyła się kolejna odsłona konferencji z cyklu...
28.11.2017

Smukle i elegancko

HP Spectre 13 i x360
23.11.2017

Z IEEE 802.3bz

Przełączniki Netgear
21.11.2017

4K z USB-C

EIZO FlexScan EV2785
16.11.2017

Wielofunkcyjne MFP

Canon imageRUNNER ADVANCE C256i, C356i oraz C356P
14.11.2017

Fabryka Przyszłości w drodze...

W dniach 25 i 26 października we Wrocławiu odbyła się czwarta edycja konferencji...

Splunk – zarządzanie zdarzeniami

Data publikacji: 29-09-2017 Autor: Jarosław Sobel

W pierwszej części cyklu artykułów o jednym z najpopularniejszych narzędzi do analizy danych maszynowych o nazwie Splunk ogólnie zostały opisane możliwości rozwiązania, jego architektura oraz sposób działania. W tym artykule pokazujemy, jak zaimportować dane do Splunka, i co najważniejsze, jak rozpocząć ich analizę.

Jak już wiemy, wszystkie dane Splunk przechowuje w tzw. indeksach, dlatego prace rozpoczynamy właśnie od utworzenia nowego indeksu. W tym celu wybieramy z menu opcję Settings, a następnie klikamy Indexes w sekcji Data. Jak łatwo zauważyć, aplikacja po instalacji automatycznie tworzy kilka domyślnych indeksów, jednak zarówno podczas wdrożenia produkcyjnego, jak i na potrzeby testów tworzymy nowy indeks. Po kliknięciu przycisku New Index wyświetlona zostanie formatka, w której podajemy dowolną nazwę indeksu oraz określamy jego maksymalny rozmiar (domyślnie jest to 500 GB).

> IMPORT DANYCH

Po wykonaniu wspomnianych czynności wracamy do głównego okna aplikacji i wybieramy akcję Add Data (opcja dostępna jest również w sekcji Settings). Dane można dostarczyć na trzy sposoby:

 

  • za pośrednictwem interfejsu webowego Splunka;
  • za pomocą monitora uruchomianego na lokalnym systemie;
  • za pomocą forwarderów.

 

Jak już wspomniano, w środowisku produkcyjnym Splunk używany jest głównie do tego, aby zbierać i analizować informacje pochodzące z różnych źródeł (systemów). Na początek skupimy się jednak na ręcznym imporcie danych. W tym celu wybieramy opcję Upload. Aby ułatwić rozpoczęcie pracy z aplikacją, jej twórcy udostępnili na stronie projektu przykładowe dane testowe. Można je pobrać ze stron tinyurl.com/splunk-test i tinyurl.com/splunk-test1 (archiwa ZIP) lub wyszukać, wpisując frazę: Splunk tutorial data. Testowe archiwa zawierają dane z fikcyjnego sklepu internetowego „Buttercup Games” (nazwa od imienia maskotki firmy – kucyka Buttercup).

Udostępnione archiwa zawierają:

 

  • logi z serwera www – plik access.log:


175.44.24.82 - - [22/Sep/2016:18:44:40] “POST /product.screen?productId=
WC-SH-A01&JSESSIONID=SD7SL9FF5ADFF5066 HTTP 1.1” 200 3067
“http://www.buttercupgames.com/product.screen?productId=WC-SH-A01”
“Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0;
BOIE9;ENUS)” 307
142.233.200.21 - - [22/Sep/2016:19:20:13] “GET show.do?productId=SF-BVS-
01&JSESSIONID=SD6SL8FF4ADFF5218 HTTP 1.1” 404 1329 “http://www.buttercupgames.com
/cart.do?action=purchase&itemId=EST-13” “Mozilla/5.0 (compatible;
Googlebot/2.1; +http://www.google.com/bot.html)” 674

 

  • logi z serwera pocztowego – plik secure.log:


Thu Sep 22 2016 00:15:06 mailsv1 sshd[60445]: pam_unix(sshd:session):
session opened for user djohnson by (uid=0)
Thu Sep 22 2016 00:15:06 mailsv1 sshd[3759]: Failed password for nagios
from 194.8.74.23 port 3769 ssh2
Thu Sep 22 2016 00:15:08 mailsv1 sshd[5276]: Failed password for invalid
user appserver from 194.8.74.23 port 3351

 

  • logi z transakcjami sprzedaży – vendor_sales.log:


[22/Sep/2016:18:23:07] VendorID=5037 Code=C AcctID=5317605039838520
[22/Sep/2016:18:23:22] VendorID=9108 Code=A AcctID=2194850084423218
[22/Sep/2016:18:23:49] VendorID=1285 Code=F AcctID=8560077531775179
[22/Sep/2016:18:23:59] VendorID=1153 Code=D AcctID=4433276107716482

Powyższe pliki są codziennie aktualizowane i zawierają zdarzenia z ostatnich siedmiu dni – w logu przy każdym zdarzeniu znajduje się znacznik czasowy, określający, kiedy dane zdarzenie miało miejsce.

Dodatkowo w danych testowych znajdziemy również słownik zawierający produkty znajdujące się w sklepie. Dane w tym pliku nie mają znacznika czasowego i mogą być traktowane jako tzw. lookup table.

productId,product_name,price,sale_price,Code
DB-SG-G01,Mediocre Kingdoms,24.99,19.99,A
DC-SG-G02,Dream Crusher,39.99,24.99,B
FS-SG-G03,Final Sequel,24.99,16.99,C

Wróćmy do aplikacji. Na początek wykorzystamy plik zawierający logi serwera WWW (www1 access.log). Splunk posiada pokaźną bazę definicji typów plików zawierających dane maszynowe – mogą to być logi z systemów operacyjnych, aplikacji, baz danych czy logi z danymi dotyczącymi zdarzeń bezpieczeństwa. Można również zaimportować dane ustrukturyzowane, takie jak CSV lub JSON. W naszym przypadku logi zostały poprawnie rozpoznane jako access_combined_wcookie. Aby analiza danych miała sens, zdarzenia muszą mieć też właściwy znacznik czasowy – w tym przypadku również został on rozpoznany poprawnie (rys. 1). Może się jednak zdarzyć, że aplikacja nie będzie w stanie znaleźć znacznika w danych – wówczas jako czas wystąpienia zdarzenia (jednego lub wszystkich) zostanie przyjęty czas importu danych do systemu.

W kolejnym kroku wpisujemy nazwę hosta, z którego pochodzą dane (może to być np. nazwa serwera – www1) oraz wskazujemy indeks, do którego zostaną one zaimportowane (w tym przypadku będzie to nowo utworzony indeks test). Po załadowaniu danych można rozpocząć analizę – w tym celu klikamy przycisk Start search. Jeśli wszystko zostało wykonane poprawnie, wyświetlone zostanie okno wyszukiwarki, z którą od tego momentu będziemy pracować i która jest głównym narzędziem analityka danych.

[...]

Autor jest specjalistą zajmującym się projektowaniem, implementacją i administracją rozwiązań wirtualizacyjnych. Posiada certyfikacje firm: Citrix, VMware, Microsoft, NetApp i RedHat. Prelegent oraz autor bloga poświęconego technologii Citrix i wirtualizacji.

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2013 Presscom / Miesięcznik "IT Professional"