Copyright  ©  2014  Splunk  Inc.  

Simeon  Yep  Senior  Manager,  Business  Development  Technical  Services  

Deploying  Splunk  on  Amazon  Web  Services  

Roy  Arsan  Senior  SoHware  Engineer  

Disclaimer  

2  

During  the  course  of  this  presentaLon,  we  may  make  forward-­‐looking  statements  regarding  future  events  or  the  expected  performance  of  the  company.  We  cauLon  you  that  such  statements  reflect  our  current  expectaLons  and  

esLmates  based  on  factors  currently  known  to  us  and  that  actual  events  or  results  could  differ  materially.  For  important  factors  that  may  cause  actual  results  to  differ  from  those  contained  in  our  forward-­‐looking  statements,  

please  review  our  filings  with  the  SEC.  The  forward-­‐looking  statements  made  in  the  this  presentaLon  are  being  made  as  of  the  Lme  and  date  of  its  live  presentaLon.  If  reviewed  aHer  its  live  presentaLon,  this  presentaLon  may  not  contain  current  or  accurate  informaLon.  We  do  not  assume  any  obligaLon  to  update  any  forward-­‐looking  statements  we  may  make.  In  addiLon,  any  informaLon  about  our  roadmap  outlines  our  general  product  direcLon  and  is  subject  to  change  at  any  Lme  without  noLce.  It  is  for  informaLonal  purposes  only,  and  shall  not  be  incorporated  into  any  contract  or  other  commitment.  Splunk  undertakes  no  obligaLon  either  to  develop  the  features  or  funcLonality  described  or  to  

include  any  such  feature  or  funcLonality  in  a  future  release.  

3  

Amazon  Web  Services  vs.  Everyone  Else  

ObjecLve:  

4  

Integrate  your  Splunk  Enterprise  deployment  with  Amazon  Web  Services  (AWS)  

Bios      

5  

Roy  Arsan  !   2+  years  @  Splunk  !   Roles  in:  

–  Product  Engineering  –  Cloud  Architecture  

   Simeon  Yep  !   6+  years  @  Splunk  !   Roles  in:  

–  Support  –  ConsulLng  –  Technical  Sales  

!   Currently  focused  on  Partner  Ecosystem  (including  AWS)  

Agenda  

6  

!   Infrastructure:    AWS  ElasLc  Compute  Cloud  (EC2)  !   Deployment  Examples  !   How  to  Deploy:  AWS  CloudFormaLon  !   Apps  +  Other  

AWS  EC2  Infrastructure  

What  is  this  Amazon  stuff?  

8  

!   Amazon  ElasLc  Compute  Cloud  (EC2)  is  a  web  service  that  provides  resizable  compute  capacity  in  the  cloud  

!   “Pay  only  for  capacity  that  you  actually  use”  !   Splunk  is  easily  deployed  in  Amazon  

Splunk  and  Hardware  

9  

!   Splunk  consumes  high  I/O  due  to  indexing  and  searching  !   Load  !=  GB/day  !   Search  drives  a  large  porLon  of  the  load    

–  Rare  vs.  Sparse  vs.  ReporLng  –  Real-­‐Lme  vs.  Historic  

!   Reference  servers  can  index  up  to  500  GB/day  with  no  search  load  !   Virtualized  systems  incur  some  overhead,  but  work  well  if  tuned  correctly  

Typical  User  Scenario  1.  Sign-­‐up  for  an  AWS  account  (use  AWS  IAM  –  IdenLty  and  Access  

Management)  2.  Launch  an  instance  (via  user  chosen  tool  such  as  GUI,  CLI,  or  external)  3.  Use  key  credenLals  to  access  the  instance  4.  Install  SoHware/Splunk  

10  

Instances  ü Availability  Zones  exist  within  Regions  (8  Regions  +  Gov)    

ü Amazon  Machine  Image  (AMI)    –  Amazon  Linux  based  –  Best  Performance  –  Cost  EffecLve  (extra  $$  for  Windows)  

Instances  

12  

!   Instance  type  –  Pricing:      Spot  vs.  On-­‐demand  vs.  Reserved  –  Family:    Storage  vs.  Compute  vs.  GPU  vs.  Memory  vs.  General  Purpose  –  GeneraLon:      Current  vs.  Previous  

!   Instance  size  –  Workload  size:  compute  units,  memory,  storage  –  Micro,  Small,  Medium,  Large,  Extra  Large  (XL)  

ê  MulLple  XL  sizes:      xlarge,  2xlarge,  4xlarge,  8xlarge  –  4XL  general  purpose  provides  similar  performance  to  a  reference  server  

ê  50-­‐150  GB/day  indexing  and  searching  

Instance  Storage  

13  

!   Instances  have  ephemeral  storage  (Current  Gen  has  SSDs)  –  General  Purpose  instances  have  GBs  to  TBs  –  Storage  OpLmized  instances  have  up  to  48  TB!  –  Data  is  lost  when  the  instance  dies    

!   EBS  –  ElasLc  Block  Storage  –  Persistent  block  level  storage  volumes  for  use  with  EC2  instances  –  Cost  associated  –  1  TB  costs  $50/month,  5  TB  costs  $250/month  –  Data  is  not  lost  when  instance  dies  –  can  be  remounted  with  new  instance  

!   S3  –  Simple  Storage  Service  –  Online  cloud  storage  service  (files,  data,  snapshots,  etc…)  –  Need  this  for  backup  purposes    –  Can  also  be  used  as  a  data  feed  for  Splunk  

Storage  Summary  

14  

!   For  single  instances  or  non-­‐replicated  distributed  deployments:  –  Use  EBS  volumes  in  RAID  1+0  for  indexes,  RAID  0  for  OS/soHware  –  SoHware  RAID  will  consume  cpu  –  Use  snapshots  to  backup  the  instance  (S3)  –  IOPS  opLmized  can  provide  some  benefits  –  XFS  preferred  (customer  feedback)  

!   Warming  –  Doesn’t  have  to  do  with  Datacenter  temperature  –  Improves  “first  write”  performance  hit    –  NoLceable  improvements  in  performance  when  performed  on  ephemeral  

storage  –  EBS  volumes  created  from  snapshots  also  benefit  from  warming  

Instance  SelecLon  

15  

!   How  can  I  make  my  deployment  resilient?  –  OpLon  1:    RAID  1+0  at  the  storage  layer  +  EBS  (was  the  preferred  setup)  –  OpLon  2:    Index  ReplicaLon  –  OpLon  3:    Data  Cloning  (Index  and  Forward,  HA  license  required)  

!   Instance  selecLon  should  factor  in  resiliency,  use-­‐case,  and  cost  !   Index  ReplicaLon  FTW  (?)  

–  Factoring  in  most  common  retenLon  needs,  you  may  need  large  EBS  volumes  and/or  double  the  instances  to  be  resilient  (maybe  HA  license  as  well)  

–  ReplicaLon  requires  more  instances,  but  does  not  require  EBS  –  IR  is  driven  per  instance  cost    

Instance  SelecLon  

16  

!   1  TB/day  deployment  example  –  EBS  backed  storage  for  availability  –  No  replicaLon  

Instance  SelecLon  

17  

!   1  TB/day  deployment  cost  comparison    !   Overall  Cost  is  equivalent  when  EBS  retenLon  is  211  days  (vs.  960)  !   Index  ReplicaLon  offers  immediate  search  capability  with  SF/RF  

Instance  SelecLon  Distributed  Deployments  

Using  Index  ReplicaLon  (IR)  !   Local  ephemeral  storage  (SSDs)  may  perform  beuer  than  EBS  

!   Search/ReplicaLon  Factor  determines  availability  of  data  for  searching  

!   IR  adds  load  and  requires  more  servers  and  storage  

Using  EBS  volumes,  no  IR  !   Typically  fewer  instances  to  

manage  vs.  IR  !   Search  Availability  is  driven  by  

the  capability  to  remount  a  volume  to  a  new  instance  (automaLcally  or  manually)  

!   Cost  can  be  largely  driven  by  retenLon  and  daily  volume  

18  

Best  PracLces  

19  

!   Custom  AMI  creaLon  –  Create  your  own  AMI  using  Linux  based  or  Splunk  provided  –  Leverage  current  configuraLon  tooling  with  AMI  (don’t  have  to  use  

deployment  server,  but  can  be  very  helpful)  

!   AuthenLcaLon  and  AuthorizaLon  –  Policies  will  dictate  what  you  can  or  cannot  use  –  LDAP/AD  will  require  an  SSL  tunnel  –  Other  opLons:    scripted  input  or  proxying  (SSO)  –  SAML  (Okta)  

!   Security  –  SSL  everywhere  +  private  network  –  Install  your  own  cerLficates  

Best  PracLces  

20  

!   Search  Head  Pools  !   Deploy  to  the  same  Availability  Zone  

–  ReplicaLon  and  searches  across  Regions  and  AZ  can  be  a  challenge  !   Monitor  from  outside  of  the  Region/AZ  

–  Offers  addiLonal  resiliency  !   Use  a  Virtual  Private  Cloud  (VPC)  

Best  PracLces  (Rewrite)  

21  

!   ConfiguraLon  and  SoHware  Management  –  Use  the  tools  you  are  most  familiar  with  –  Chef  and  Puppet  content  publicly  available  

!   Deployment  server  usage  –  EffecLve  for  controlling  Splunk  configuraLon  (only)  

!   Use  Cloud  FormaLon    –  Allows  for  easy  and  quick  deployment  –  Great  starLng  point  for  large  deployments  (See  Appendix  A)  

General  Guidelines  Follow  Best  PracLces  for  ArchitecLng  and  Sizing:      Load=Searching+Indexing  

Indexers  (50-­‐150  GB/day)  !   m3.2xlarge          8vcpu,  30  GB  RAM  !   i2.4xlarge          16vcpu,  122  GB  RAM  !   hs1.8xlarge        16vcpu,  117  GB  RAM  

Search  Heads  (8+  users)  !   c3.2xlarge                8vcpu,  15  GB  RAM  !   c3.4xlarge          32vcpu,  60  GB  RAM  

Cluster  Master  or  Deployment  Server  !   m3.xlarge  4vcpu,  15  GB  RAM  !   c3.2xlarge                  8vcpu,  15  GB  RAM  

License  Master  !   m3.large  2vcpu,  7.5  GB  RAM  !   m3.xlarge  4vcpu,  15  GB  RAM  

22  

*These  are  all  starLng  points!    Splunk  can  index  and  search  more  OR  less  depending  on  overall  load  

Architecture  &  Deployment  Examples  

Architecture  Examples  

24  

!   Centralized  !   Decentralized  !   Hybrid  !   Centralized  with  Index  ReplicaLon  

Centralized  Topology  

Indexers

Forwarders

Syslog Devices

Intermediate Forwarder Forwarders

Search Pooling

25  

Decentralized  Topology  

Search Pooling

26  

Hybrid  Topology  

27  

Index Replication with Search Pooling Search Pool

Peer Nodes

Cluster Master

Forwarders

28  

Deployment  Examples  

29  

!   Deployment  A  !   Deployment  B  

Deployment  A  

30  

!   Use  Case:    Searching,  ReporLng  and  AnalyLcs  !   Capable  of  1-­‐100+  GB/day  indexing  !   m3.2xlarge  instance  

–  High  value  for  cpu  (8  vcpu,  30  GB  RAM)  –  Previously  were  using  c1.xlarge  (8  vcpu,  7  GB  RAM)  

!   RAID  1+0  across  4  EBS  volumes  !   16  concurrent  users  

Deployment  B  

31  

!   Use  Case:    ApplicaLon  Management,  Security  Forensics  !   Capable  of  500  GB/day  indexing  !   Distributed  deployment  with  Index  ReplicaLon  (2  SF,  3  RF)  !   3  hs1.8xl  instances  with  49  TB  ephemeral  storage  (indexers)  !   c1.xlarge  instance  (search  head)  !   Leveraging  AWS  API  for  instance  management  

Deployment  B  

32   32  

Cluster  Master  

Search  Head(s)  

Indexer   Indexer   Indexer  

License  Master  

…  

…  

Example  Architectures  Use  case  and  requirements  influence  final  setup,  but  there  is  no  right  or  wrong  way  

33  

Using  Index  ReplicaJon  !   100  GB/day  

–  m3.2xlarge  as  indexer  (2)  –  c3.2xlarge  as  search  head  (1)  –  c3.xlarge  as  CM/LM  

!   500  GB/day  –  hs1.8xlarge  as  indexer  (3)  –  c3.8xlarge  as  search  head  (1)  –  m3.xlarge  as  CM/LM  

Using  EBS  Backed  Storage  !   20  GB/day    

–  m3.2xlarge  (single  instance)  

!   100  GB/day    –  m3.2xlarge  (single  instance)  

!   300  GB/day  –  m3.2xlarge  (3)  –  c3.4xlarge  

!   500  GB/day  –  m3.2xlarge  as  indexer  (5)  –  c3.4xlarge  as  search  head  (1)  

How  To  Provision  Deployments  

Cloud  Provisioning  Tools  A  Primer  

35  

!   Fast  template-­‐based  provisioning  –  Provision  &  connect  resources  

!   Flexible  recipe-­‐based  configuraLon  –  Configure  machine  based  on  role  

AWS CloudFormation

AWS OpsWorks

Terraform

Scalr

Server  Provisioning   Deployment  Provisioning  

Splunk  AWS  CloudFormaLon  

36  

“What  used  to  take  days  to  get  all  configured  properly,  now  I  can  do  in  few  minutes  with  

Splunk  [AWS]  CloudFormaLon”    Abdallah  Mohammed,  Data  Architect,  Intuit  

Splunk  AWS  CloudFormaLon  !   Open-­‐source  self-­‐service  tool  (no  cost  associated)  !   Fast,  automated,  consistent  Splunk  deployments  on  AWS  !   Available  on  GitHub:  Templates  +  Tutorial  

–  hups://github.com/splunk/splunk-­‐aws-­‐cloudformaLon  

! Splunk  Blog:  “Deploy  your  own  Splunk  cluster  on  AWS  in  minutes!”  –  hup://blogs.splunk.com/2014/05/20/deploy-­‐your-­‐own-­‐splunk-­‐cluster-­‐on-­‐

aws-­‐in-­‐minutes/  

Splunk  AWS  CloudFormaLon  

38  

What  can  Splunk  AWS  CloudFormaLon  do  for  you?  !   Accelerates  deployment  Lme  down  to  minutes  !   Incorporates  Splunk  best  pracJces  for  operaLons  and  administraLon  

!   Abstracts  away  details  of  configuring  distributed  Splunk  !   Extensible  and  customizable  templates  to  fit  custom  needs  

Sample  Architecture  

39   39  

Cluster  Master  

Search  Head(s)  

Indexer   Indexer   Indexer  

License  Master  

…  

…  

Deploy  Splunk  Cluster  in  <  30  minutes  

40  

Simple  User-­‐Friendly  Push-­‐Buuon  Form  

41  

Demo  Time  

42  

   

43  

QuesLons?  

Contact  

44  

   

Simeon  Yep  syep@splunk.com  Business  Development  

Roy  Arsan  rarsan@splunk.com  Engineering  

References  

45  

! Splunk  App  for  AWS:    hup://apps.splunk.com/app/1274/    !   Hunk  App  for  AWS  ELB:    hup://apps.splunk.com/app/1731/  !   Technical  Brief:    hup://www.splunk.com/web_assets/pdfs/secure/Splunk_and_Amazon_Web_Services_Tech_Brief.pdf  

References  

46  

!   Blogs:    –  hup://blogs.splunk.com/2012/03/07/splunk-­‐and-­‐aws-­‐sizing-­‐revisited/  –  hup://blogs.splunk.com/2013/06/06/splunkit-­‐v2-­‐0-­‐2-­‐results-­‐ec2-­‐storage-­‐

comparisons/    –  hup://blogs.splunk.com/2013/07/31/whats-­‐going-­‐on-­‐with-­‐aws-­‐and-­‐splunk/  –  hup://blogs.splunk.com/2014/05/20/deploy-­‐your-­‐own-­‐splunk-­‐cluster-­‐on-­‐

aws-­‐in-­‐minutes/  

!   AMIs  –  Splunk:    hups://aws.amazon.com/marketplace/pp/B00GIZITUO?sr=0-­‐4  –  Hunk:    hups://aws.amazon.com/marketplace/pp/B00GIZK2QI?sr=0-­‐2  

THANK  YOU