Инциденты и их группировка¶
Наша работа по выстраиванию методологии в компании начинается с этапа рассмотрения инцидентов системы [за какой срок].
Во-первых, потому что у компании возникает потребность построение данной методологии только в момент появления первых инцидентов и команда начинает задумываться, а как же их можно сократить.
Данный этап можно пропустить тем командам, которые только находится на старте запуска CE, для того чтобы сократить время до получения первых результатов. Анализ инцидентов очень трудоемкая работа и требует дополнительных ресурсов что крайне сложно выделить командам, которые договорились о пилоте одной системы и результатов по ней необходимо получать ближайшие несколько недель.
К данному этапу стоит приступать, если на текущий момент а есть внедренная система в продакшн система и мы можем разделить о нашей системы на две категории внедрены и те которые разрабатываются будут внедряться рассмотрение инцидентов важен только для тех систем которые уже внедрены потому что у нас есть материал для работы.
И так ваша система поставляется в продакшн на постоянной основе периодически получаете инциденты у вас уже запущены первые испытания в рамках аутсорсинга И хотите понять каким образом вам более качественно проводить эти испытаниям.
Как правило на систему приходится огромное количество инцидентов порой их 1000 и наша задача проанализировать эту тысячу и составить логическую последовательность и зависимость одной системы от другой в интеграционном окружении, найти в произошедших инцидентах закономерности для того чтобы использовать материал для обнаружения потенциально новых точек в которых система может сломаться.
Как правило, инциденты имеют несколько важных параметров, которые необходимо учесть в нашем анализе:
- Степень влияния инцидента на клиента. Данные критерий очень важен потому как если инцидент имеет высокий приоритет но при этом нет влияния на клиента он нам интересен во вторую очередь нежели инцидент с влиянием на клиента 1% а от всех типов транзакций.
- Критичность инцидента. Инциденты имеют приоритет : очень низкий, низкий, средний, выше среднего, высокий, очень высокий, блокирующий [по какой шкале?]
- Степень влияния инцидента. Инцидент может произойти в текущую системе и не влиять на соседнее системы, либо инцидент может произойти смежные системе и повлиять на текущую систем.
- Причина, почему произошел инцидент. Данное поле самое сложное для анализа так как может включать огромное количество информации, которую сложно будет скопировать во время группировки по данному полю важно абстрагироваться и выделить технический блок с которого начался дизастер.
Например: есть две системы одна из которых имеет component in Memory Data Grid происходит инцидент, а другая система имеет component база данных. Началом инцдента является какая-то какой-то сбой который произошёл внутри базы данных и повлиял на смежные системы тем самым мы можем сгруппировать данные инциденты по двум различным блокам первую группу отправить Memory Data Grid инцидент во вторую группу инциденты связанные с базы данных на смежных системах 5. Наименование системы, в которых произошел дизастер [может первой поставить?]
После сбора информации сгруппируйте ее так чтобы получилось две таблицы:
В первую таблицу занесите информацию о тех системах в которых происходил дизастер и которые влияли на текущую систему то есть необходимо выявить зависимости как часто смежные системы и какие влияют на текущее систему. Итого у вас из 100 разных систем и потоков получится десяток самых не устойчивых от которых стоит строить гипотезы и расширять фокус в стороны других интеграций. Данное упражнение можно визуализировать как построение распределения множества точек на карте не случайным образом.
Во вторую таблицу занесите информацию возникающим причинам в частности нас интересует то, в каком компоненте произошла исключительная ситуация которая повлияла на самом центре данную информацию можно занести внутрь таблицы и сгруппировать. Используя данную информацию можно будет: - спланировать новую атаку на смежную систему - узнать какое уязвимое место есть у текущей системы
Например: во время штатной работы одной из систем не в час пик производится запуск автоматической процедура по проверке остатков по счетам которая в свою очередь вызывает дополнительную нагрузку на запись большей информации в систему хранения данных которая замонтированна на данный сервер базы данных. Мы видим излишнюю утилизацию при записи на диске и также множественное открытие дескрипторов файлов.
Во-первых, по данному кейсу мы можем симулировать на смешанной системе на которой не происходило такого дизастера, но при этом данная система имеет такой же технологический стек.
Во-вторых, мы на старте уже знаем, что в данной системе есть:
- штатные процедуры, которые влияют на утилизацию сервера
- что мы знаем, что данный сервис скорее всего будет чуствителен к атаке по IO
- сразу operations можем спросить, а если какие-либо метрики в мониторинге которые будут показывать утилизацию а также если у нас автоматическое уведомление которое позволит нам узнать что возникла такая утилизация