Перейти к содержанию

Введение

В этом руководстве мы описываем процесс сhaos engineering (CE), в том виде как он применяется в крупных высоконагруженных системах. Мы разбираем конкретные случаи поиска и устранения сбоев и отвечаем на возникающие вопросы наших читателей.

Cфера применения

Правильно выполненный сhaos engineering дает мног преимуществ, но это передовой и дорогостоящий (по времени, компетенциям, организационным изменениям) метод.

Мы считаем, что сhaos engineering актуален в следующих случаях:

  • проекты с высокой нагрузкой или сложной арзхитектурой, в которых выигрыши превышают стоимость работ по тестированию
  • проекты, которые активно поддерживаются (если некому утранять уязвимости, нет смысла тестировать)
  • распределенных системах (в монолитах ломаться всего будет меньше)
  • в случаях, когда надежность важна для клиентов и владельцев системы (причем не на словах)

Сhaos engineering не очень подходит для компании с 4 разработчиками и двумя серверами, поскольку в маленькой ИТ-системе выигрыши, скорее всего, будут небольшими.

Для кого это руководство

Это руководство предназначено, в первую очередь, для тех, кто уже сделал первые шаги в chaos engineering и у есть кого накопились практические вопросы о том, как двигаться дальше. Мы ориентируемся на команды, которые уже попробовали какие-то тесты с fault injection и планируют развивать это направление работы.

Первые тесты часто приносят разочарование. Зачем вообще «ломать» систему, если она и так худо-бедно работает? Что именно мы показали этими тестами? Что именно мы протестировали? Кто и как будет заниматься доработкой системы? И несмотря на всю неопределённость уже сейчас нужно принять какие-то нетривиальные, сложные решения и быть готовым, что все получится не сразу.

Мы надеемся, что наше описание шагов и методик, проверенных в течение нескольких лет работы в области chaos engineering, позволит вам избежать хотя бы некоторых ошибок, сэкономит время на планирование и реализацию тестов, и в целом придаст уверенности.


Раздел:

Кто может использовать данный материал и кому, первую очередь, адресован этот Manual:**

Разработчикам сервисов, в которых SLA очень чувствительный к простоям. Если сервис чувствует себя, комфортно простаивая несколько десятков минут или часов, то чаще всего Chaos Engineering им не нужен. Им нужно стабилизировать просто систему сделать правильный бэкап (backup) и так далее. То-есть мы, чаще всего опираемся SLA -сервис.

Корпорациям, которые борются за надежность сервисов и у которых количество сотрудников IT более 300 и это несколько команд. Например, по Agile представим, что команда составляет около 70 человек, то есть у вас получается 30 команд и более. То этим командам, чаще всего, уже тоже требуется Chaos Engineering, потому что эти команды пишут какие-то сложные сервисы и здесь требуется верифицировать какое качество кода, какое качество ПО они предоставляют.

Компаниям использующим микросервисную архитектуру либо serverless**. Фактические переходя на этот тип архитектуры команды должны в обязательном порядке проводить Chaos Engineering, потому что появляется новые уровни виртуализации появляется большее количество ошибок и так далее, то есть работа с устойчивостью и стабильностью в микросервисах, serverless системах она фактически чуть ли не заложена в ДНК ее нужно обязательно испытывать тестировать. Из мира микросервисов мы все знаем, что в Istio практически из коробки встроенные конкретные инструменты, которые позволяют легко проводить Chaos Engineering в системе.

Если у вас 10-100 ИС, а может быть и более и вы хотите построить культуру Chaos Engineering у себя в компании, вы про неё прочитали много мануалов, но не знаете как сделать это системно, этот мануал тоже для вас. Материалы, которые сейчас находятся в интернете чаще всего не дают руководство к действию: делай раз, делай два, делай три. В данном мануале мы попробуем это сделать.

Manual будет полезен team-lead, которые уже погружены в Chaos Engineering и хотят, после первых тестов и результатов, построить полноценный процесс работы от инцидентов до регистрации, на потоке, точек отказа и построения риск-модели на базе этого.

И конечно же этот Manual в деталях должен быть интересен разработчикам, чтобы понимать, как писать системы, как написать не просто сервис, а как написать устойчивый сервис. Ops Engineerам, чтобы понимать, как бороться с инцидентами и какие они бывают и вообще понимать всю кухню Chaos Engineering. Потому что в первую очередь результатами и продуктами пользуются как раз они и чувствительно результаты будут ярко видны как раз им. И командам, которые будут тестировать продукты на надежность, Chaos-team, которые будут непосредственно искать точки отказа в системах и проводить тесты.


Что внутри

  • Основой нашего руководства является описание процесса сhaos engineering, включая его отправные точки и результаты, а также взаимосвязь с другими процессами в компании. См. раздел "Шаги".
  • Раздел "Проблемы и решения" - это тот объем знаний, который помогает классифицировать уязвимости, анализровать ИТ-систему и разрабатывать к ней тесты. Мы предоставляем случаи сбоев и способы их устранения.
  • Мы также ведем словарь терминов, чтобы помочь ориентироваться специфическом сленге CЕ и снимать разночтения.

Особенности подхода

То, о чем мы рассказываем – не какая-то темная магия. Это также не реклама какого-то дополнительного софта. Мы считаем, что основные результаты в chaos engineering достигаются путем приобретения новых навыков персонала и организационных изменениях в процессах работы.

Получить много девяток в показатель надежности - это не единовременный подвиг, а увлекательное, хотя и трудное путешествие. Приглашаем его пройти!

Авторы

Это руководство написано Дмитрием Якубовским (Сбербанк) и Евгением Погребняком (МГИМО).