Belajar Splunk - Pelaksanaan Splunk Untuk Small & Medium Enterprise Solution (Distributed Deployment POC)

    1. Keterangan Solusi

    Untuk POC ini, kita akan menggunakan Vagrant & Virtualbox untuk VM server.

    2. Architecture Diagram

    2.1 Butiran Server

    Peranan Jumlah Server
    Search Head 1
    Indexer 2
    Forwarder 1

    2.2 Spesifikasi Server

    searchead1 
    Operating System: Centos 7 
    CPU Core: 2 Memory: 2GB 
    Private IP Address: 192.168.20.21 
    
    indexer01 
    Operating System: Centos 7 
    CPU Core: 2 
    Memory: 2GB 
    Private IP Address: 192.168.20.22 
    
    indexer02 
    Operating System: Centos 7 
    CPU Core: 2 
    Memory: 2GB 
    Private IP Address: 192.168.20.23 
    
    forwarder01 
    Operating System: Centos 7 
    CPU Core: 2 
    Memory: 2GB 
    Private IP Address: 192.168.20.24 

    3. Langkah-langkah Penyediaan Server

    Sila clone repo dibawah ini untuk mendapatkan fail skrip Vagrant. Skrip ini akan membantu untuk menjalankan pemasangan Splunk Enterprise secara auto ke empat-empat server. Nota! Sila ikuti langkah-langkah seperti didalam fail README.md untuk pemasangan & konfigurasi server.

    Repository URL : https://github.com/malikperang/splunk_dd_vagrant

    4. Langkah-langkah Konfigurasi Splunk

    4.1 Pengaktifan SSL

    Log masuk ke dalam Splunk Web di https://192.168.20.21:8000. Pergi ke Settings > Server Settings > General Settings. Pada bahagian Splunk Web, pergi ke pilihan Enable SSL (HTTPS) in Splunk Web? dan pilih Yes.

    Ulang semula proses yang sama untuk kesemua Splunk server dan restart Splunk setelah selesai.

    4.2 Menambah Search Peer pada Search Head

    Log masuk ke dalam Splunk Web di https://192.168.20.21:8000. Pergi ke Settings > Distributed Search dan klik pada butang + Add new. Sila masukkan butiran ini pada paparan Add search peers


    Peer URI = https://192.168.20.22:8089 // alamat IP indexer01 
    Remote username =  admin // nama administrator yang anda cipta sebentar tadi
    Remote password =  <adminpassword>
    Confirm password = <adminpassword>

    Gambar 1

    4.3 Menambah Receiver Port pada Indexer01 & Indexer02 Splunk server.


    Log masuk ke dalam Splunk Web pada https://192.168.20.22:8000. Pergi ke Settings > Forwarding and receiving ,pada seksyen Configure Receiving klik + Add new link.

    Sila isi port 9997 pada kotak Listen on this port.

    Gambar 2

    4.4 Pengkaktifan Aplikasi Splunk Forwarder

    Log masuk ke dalam Splunk Web di https://192.168.20.24:8000. Pergi ke Apps > Manage Apps . Cari SplunkForwarder pada ruangan filter. Klik Enable. Setelah selesai, sila restart Splunk forwarder01.

    4.5 Menambah Receiver Host pada Forwarder server.

    Log masuk ke dalam Splunk Web di https://192.168.20.24:8000. Pergi ke Settings > Forwarding and receiving ,pada seksyen Configure Forwarding klik butang + Add new.

    Sila isi alamat IP indexer01 (192.168.20.24:9997) pada kotak Host.

    Ulang semula proses yang sama untuk menambah indexer02.

    Gambar 3

    5. Ujian Pengesahan

    Untuk ujian pengesahan bagi mengesahkan pelaksanaan ini adalah berjaya, kita akan membuat simulasi penghantaran data seperti berikut:

    Gambar 4

    Gambar 4. Aliran data Splunk.


    5.1 Butiran Gambar 4. Aliran data Splunk :
    1. Splunk Monitor akan mengambil data syslog dari local Linux system.
    2. Splunk Heavy Forwarder menghantar data kepada Splunk Indexer server.
    3. Apabila pencarian data berlaku pada Search Head ,ia secara automatik akan menjalankan query melalui TCP keatas Indexer. Dengan erti kata lain Search Head akan meminta data dari Indexer melalui sambungan TCP.
    5.2 Langkah-langkah Ujian
    1. Menambah data Linux Syslog menggunakan pilihan File & Directories Monitoring. Sila ikut gambar-gambar dibawah untuk rujukan.

    Gambar 5 Gambar 6 Gambar 7 Gambar 8 Gambar 9

    1. Membuat ujian penambahan data pada Linux Syslog. Jalankan command ini didalam forwarder01 server.

      $ logger Testing Message Logs
    2. Mengesahkan data telah berjaya ditambah secara Realtime. Log masuk ke dalam Splunk Web di Search Head https://192.168.20.21. Pergi ke aplikasi Search & Reporting . Pada ruangan Search sila masukkan query berikut

      index="forwardersyslog"

    Jika anda mengikuti tutorial ini dengan tepat, anda akan dapat keputusan seperti gambar dibawah.

    Gambar 10

    Merujuk gambar diatas, anda dapat lihat, message logs terakhir yang diterima adalah "Testing Message Logs" yang telah dimasukkan pada langkah 2.

    Sekian,
    Terima Kasih
    Fariz Izwan Kamaruzzaman

    Hubungi saya untuk sebarang masalah berkaitan artikel ini.
    Email: [email protected]

    Rujukan:
    https://docs.splunk.com/Documentation/Splunk/8.1.0/Deploy/Searchheadwithindexers

    Created at: 10 November 2020
    Last update: 11 November 2020

    Copyright © 2020