Plantão e resposta a incidentes

Transforme os alertas das 3 da manhã
em runbooks que cuidam deles

O Vesper confere cada alerta, junta o ruído num só incidente e executa os passos que sua equipe deixou escritos. Ele só acorda alguém quando um passo precisa de uma pessoa.

Conhecer a plataforma
4.8de mais de 600 equipes de plantão

Mantendo as noites tranquilas para
mais de 900 equipes de engenharia

Por que o Vesper

Com mais serviços,
todo alerta começa
a soar igual

latência do checkout-api
bem visto!

Por que as equipes migram para o Vesper

Um deploy lento pode disparar 41 alertas de latência, erros e profundidade de fila, e as pessoas aprendem a ignorá-los. O Vesper junta tudo num só incidente, confirma que é real e executa os passos que sua equipe já combinou. Um acionamento só chega a uma pessoa quando há algo para ela fazer.

Ver casos de uso
Árvores floridas contra um céu noturno com estrelas fracas

O que um runbook fez às 02:14 desta madrugada

INC-2317 na Larkspur: o checkout ficou lento depois de um deploy tarde da noite. Cada passo à direita rodou sozinho enquanto a escala do Checkout dormia.

Pessoas acionadas
0
Do alerta à mitigação
1m 28s
Alertas agrupados
41 em 1
SEV2INC-2317checkout-api p99 latencyResolved
  1. Alerta

    Datadog: p99 do checkout-api em 1.84s, limite de 1.2s

  2. Validar

    Confirmado em 3 de 3 regiões, não é oscilação

  3. Agrupar

    41 alertas relacionados agrupados no INC-2317

  4. Se / Senão

    Deploy nos últimos 30 min: sim, v412 às 01:52

  5. Ação

    Reverteu o checkout-api da v412 para a v411

  6. Checar

    p99 de volta a 240ms após 90s

  7. Status

    Página de status: “Checkout lento” marcado como resolvido

  8. Postmortem

    Rascunho criado para Tomás Ortega ver de manhã

Ninguém foi acionadoRunbook latência do checkout-api v12

Os primeiros dez minutos,
conduzidos do mesmo jeito toda vez

Os passos que seu melhor plantonista segue meio dormindo, escritos uma vez e executados em ordem. Cada passo registra o que viu e o que fez.

checkout-api p99 > 1.2sus-east
checkout-api taxa de 5xx 2.1%eu-west
fila orders com 18kus-east
checkout-api p99 > 1.2sap-south
41
INC-2317 · checkout-apilatência, 5xx, profundidade da fila · janela de 5 min

Agrupe o ruído

Mesmo serviço, mesmos cinco minutos, sinal parecido: um incidente. No mês passado, 12.486 alertas viraram 214 incidentes.

us-east-1
eu-west-1
ap-south-1

Confirmado em 3 de 3 regiões · por 3 min

Confira se é real

Confirme em mais de uma região, compare com o último deploy, ignore o que oscila por menos de três minutos.

Reverter checkout-apiv412 → v411
  • Drenar 12 pods
  • Fazer deploy da v411
  • Esperar 90s, checar p99

p99 1.84s → 240ms

Execute a correção

Reverter, escalar, reiniciar, limpar um cache. Toda ação tem uma trava, um tempo limite e um jeito de desfazer.

Acionando Tomás OrtegaCheckout, primária · de plantão até 09:00

O rollback não trouxe o p99 para menos de 400ms. Contexto anexado: 41 alertas, diff do deploy, últimos 3 incidentes.

Sobe para Maya Raman em4:59

Acione a pessoa certa

Quando um passo precisa de alguém, o Vesper aciona quem está na escala daquele serviço, com tudo o que o runbook já encontrou.

Status da Larkspur

CheckoutDegradado
PaymentsOperacional
SearchOperacional
Checkout lento

Publicado pelo Vesper · runbook latência do checkout-api

Mantenha a página de status honesta

O runbook publica a primeira atualização em até um minuto e a resolução quando as checagens passam. Seus clientes sabem por você antes de perguntar.

Repita a semana passada antes de confiar nele esta noite

Simule qualquer runbook com alertas reais dos últimos sete dias. Veja o que ele teria fechado, corrigido ou acionado, sem tocar em produção.

  • Roda sobre alertas e métricas gravados
  • As ações são simuladas, nunca executadas
  • Compare duas versões de um runbook lado a lado
Abrir o editor de runbooks
Simulaçãolatência do checkout-api · v12 vs. últimos 7 dias
QuandoAlertaTeria
0 fechados como ruído0 corrigidos0 acionaram uma pessoa
Um pequeno observatório branco no alto de uma colina na hora azul, com uma janela acesa
De plantão agoraTomás OrtegaCheckout, primária · passa para Sam Okafor às 09:00

Escalas que respeitam as pessoas que estão nelas

O Vesper conta as noites, não só os turnos. Os acionamentos noturnos são contados por pessoa, uma troca leva dois toques e as notas de passagem seguem com o plantão.

SegTerQuaQuiSexSábDom
Principal
Tomás
Sam
Secundária
Maya
Hana
Sam pede para trocar a noite de sextaSex 17 de out., 18:00 às 09:00 · ele assume sua Ter 21

O postmortem fica pronto em rascunho antes da daily

O Vesper importa a linha do tempo, os gráficos e o registro do runbook num rascunho. O responsável acrescenta o que só uma pessoa sabe: por quê, e o que muda.

INC-2317 · SEV2 · Qui 16 de out.

Checkout lento após o deploy v412

Resumo

Linha do tempo importada do INC-2317

  1. v412 publicada pelo CI, aprovada por Sam Okafor
  2. p99 acima de 1.2s em 3 regiões, 41 alertas agrupados
  3. Runbook reverteu para a v411
  4. p99 em 240ms, página de status resolvida

Itens de ação

  • Tornar a checagem antifraude assíncrona atrás de uma flagTomás · 23 de out.
  • Bloquear deploys no checkout depois das 23:00 sem liberação explícitaMaya · 20 de out.

Medido em sono, não só em minutos

Larkspur, 40 engenheiros em quatro equipes, últimos 30 dias no Vesper.

Tempo até confirmar1m 52santes 6m 40s
Tempo até resolver18m 40santes 47m
Acionamentos por noite de plantão0.3antes 2.4
Horas de sono interrompidas4.2 hantes 38 h por mês
Horas de sono interrompidas por mêsAs quatro equipes · Vesper desde abril

“As noites de quinta eram as que todo mundo trocava, porque era dia de release. Agora o runbook dá a primeira olhada. No mês passado, a escala do Checkout foi acordada duas vezes.”

Lars EklundHead de Plataforma, Larkspur
Colinas em camadas na hora azul, com névoa nos vales
Modo sombra · dia 1O runbook sugere, as pessoas agem

Rodando até o fim da tarde

  1. 1

    Conecte as fontes de alerta

    Aponte Datadog, Grafana, Prometheus ou CloudWatch para um webhook. O agrupamento começa no primeiro alerta.

    10 min
  2. 2

    Importe seus runbooks

    Cole a página da wiki. O Vesper converte os passos num fluxo editável, que você simula com os alertas da semana passada.

    1 hora
  3. 3

    Monte as escalas

    Importe escalas de um calendário ou de outro sistema de plantão. Substituições, trocas e escalonamento vêm junto.

    20 min
  4. 4

    Vá dormir

    Comece no modo sombra. Passe um runbook para ativo quando a repetição bater com o que sua equipe teria feito.

    hoje à noite

Funciona com as ferramentas que seu plantão já usa

  • Datadog
  • Grafana
  • Prometheus
  • CloudWatch
  • Sentry
  • Kubernetes
  • GitHub
  • Argo CD
  • Terraform
  • Slack
  • Microsoft Teams
  • Google Calendar
  • Jira
  • Linear
  • Zoom
  • Twilio

Preço por respondente, não por alerta

Starter

$0até 5 respondentes

Para uma equipe pequena com uma escala e poucos serviços.

  • 1 escala, alertas ilimitados
  • Agrupamento de ruído
  • 3 runbooks em modo sombra
  • Página de status pública
Começar grátis

Team

$21por respondente / mês

Para times de engenharia que querem que os runbooks recebam o primeiro acionamento.

  • Escalas e substituições ilimitadas
  • Runbooks ativos com simulação
  • Rascunhos de postmortem
  • Insights de sono e carga
  • Salas de guerra no Slack e no Teams
Começar

Scale

Sob consultaa partir de 150 respondentes

Para empresas com exigências de auditoria e muitas equipes de plantão.

  • SSO, SCIM e log de auditoria
  • Etapas de aprovação nos runbooks
  • Páginas de status privadas
  • SLA de 99.99% de disponibilidade
Fale com a gente

Perguntas que líderes de plantão fazem

Ainda em dúvida se um runbook deve mexer em produção às 3 da manhã? Fale com alguém que já ficou de plantão.

Falar com um engenheiro
E se um runbook fizer a coisa errada?

Toda ação tem uma trava (por exemplo, só reverter se houve deploy nos últimos 30 minutos) e um tempo limite. Se uma checagem falha, o runbook para e aciona a escala com o que viu. Toda ação pode ser desfeita a partir do incidente.

Dá para começar sem deixar ele mexer em produção?

Sim. O modo sombra roda o fluxo inteiro e publica no canal do incidente o que teria feito. A maioria das equipes fica uma ou duas semanas no modo sombra e repete o período antes de passar um runbook para ativo.

Precisamos trocar o sistema de plantão que usamos hoje?

Não. O Vesper pode ficar na frente dele e repassar só os acionamentos que precisam de uma pessoa. Quem migra de vez importa escalas e políticas de escalonamento num passo só.

Como o agrupamento de ruído decide o que vai junto?

Por serviço, por janela de tempo (cinco minutos por padrão) e por semelhança de sinal. Você vê por que cada alerta entrou num grupo, pode dividir o grupo ou escrever uma regra para a próxima vez.

Onde ficam nossos dados?

Na região da UE ou dos EUA, à sua escolha. Os payloads de alerta ficam guardados por 90 dias no Team e por mais tempo no Scale. Nunca treinamos modelos com seus dados.

Quem conta como respondente?

Qualquer pessoa que possa entrar numa escala ou ser acionada. Visualizadores, stakeholders e assinantes da página de status não pagam.

Uma casa de madeira silenciosa na borda de uma floresta à noite, com uma janela acesa e uma cerejeira florida ao lado

Deixe o primeiro acionamento desta noite com um runbook

Grátis para até cinco respondentes. Modo sombra desde o primeiro dia.

Conceito · AriadneEN