Что понимается под оценкой эффективности информационной безопасности?

1 июля 2013
32

В прошлую пятницу я проводил семинар по измерению эффективности информационной безопасности, а вечером, так уж получилось, в Facebook была дискуссия о том, что оценка эффективности в ИТ — это профанация и ничего более. Если уж про ИТ говорят, что это не более чем маркетинг, то что уж говорить о безопасности?.. Однако поговорить стоит.

Любой разговор об оценке эффективности чего-то, на мой взгляд, должен начинаться с определения терминов. Что такое измерение? Бытует мнение, что измерение — это некоторая определенная и точная величина. Однако это не так. Задача измерения — снизить неопределенность. При этом снизить, не доведя ее до конечного значения. Достаточно интервала, который позволяет не делать допущений, в которых мы не уверены. Риск нарушения бесперебойного функционирования Интернет-сайта составляет 5% или находится в интервале от 2% до 9%? Бояться интервалов не стоит — с ними тоже можно проводить различные вычисления — складывать, вычитать, умножать... Бертран Рассел, британский математик и философ, говорил: «Как это не парадоксально, но всякая точная наука основывается на приблизительности. Если кто-то говорит вам, что точно знает что-то, можете смело делать вывод: вы разговариваете с человеком, не имеющим понятия о точности». Да и количественная оценка в традиционном понимании этого слова не всегда является целью измерений. Число сигнатур в системе предотвращения вторжений А больше, чем в системе Б. Насколько — не важно. Просто больше. И это тоже измерение.

Теперь обратимся к термину «эффективность». Очень часто, упоминая этот термин, думают или подразумевают финансовую эффективность. А если уж совсем честно, то обычно ставят знак равенства между эффективностью ИТ и ROI (возврат на инвестиции). В безопасности, к счастью, пока не настолько все «испортились» и можно действительно обсуждать, что же такое «эффективность». А это вот что; эффективность — это поддающийся количественному определению (измерению) вклад в достижение конечных целей. А т.к. цели в информационной безопасности у нас могут быть разные, то и достижение эффективности тоже будет демонстрироваться совершенно по-разному. Число вирусных эпидемий стало меньше! Пользователи стали реже заносить вредоносные программы на флэшках! Заказчики стали меньше звонить в Help Desk по поводу недоступности сайта! Руководство не жалуется, что не может «достучаться» до корпоративной ИС из командировки! Сервер AD ни разу не «упал» в этом месяце! Да, тут почти ни слова о деньгах, но это все — эффективность.

Какие могут быть цели в информационной безопасности? Да какие угодно! Получение аттестата ФСТЭК на все информационные системы. Сертификация ключевых процессов на соответствие ISO 27001. Достижение 4 уровня по СТО БР ИББС. Сокращение числа инцидентов ИБ до 3 в месяц. Внедрение защищенного мобильного доступа для руководства. Внедрение защищенного удаленного доступа сотрудников в рамках географической экспансии предприятия. Повышение устойчивости инфраструктуры к DDoS-атакам с целью повышения лояльности клиентов и снижение их текучки. Снижение затрат на ИБ на 15%. Это все цели. Значит ли отсутствие денежной привязки в них то, что они плохи? Конечно, нет. Проект по покупке 20 рулонов туалетной бумаги тоже напрямую не связан с деньгами. И ремонт офиса тоже. И замена аналоговой АТС на цифровую тоже. И внедрение SAP. Ключевое слово — «напрямую». Все эти проекты не позволяют заработать. Они могут помочь сэкономить. Они могут повысить качество. Но не заработать. Значит ли это, что они плохие? Опять нет. Не случайно ведь в 80-х годах появилась концепция системы сбалансированных показателей, которая позволяла оценивать предприятие не только с точки зрения ее рентабельности, капитализации, доходов в пересчете на одного клиента и тому подобных финансовых показателях. А как быть с лояльностью заказчиков? А со снижением рисков? А с ускорением вывода продукта на рынок или снижением цикла сделок? А с оптимизацией процессов?

Но допустим, что нам все-таки нужно посчитать экономическую эффективность от ИБ. Профанация это или нет? Если рассматривать именно в такой формулировке, то да. Информационная безопасность — слишком многогранное понятие, чтобы его можно было бы взять и измерить. Надо проводить декомпозицию. Считать эффективность службы, проекта, процесса, продукта... Причем не просто считать, а считать вклад в достижение некоторой, заранее определенной цели. Вот тогда можно уже говорить и о конкретных формулах и методиках расчета. Посчитать стоимость защищаемой информации? Можно. Ущерб от инцидентов ИБ? Можно. Потери от отсутствия системы защиты? Можно. Экономия от внедрения проекта по защите? Можно. Выгоден ли тот или иной проект по ИБ? Можно. Какая из двух систем защиты обойдется дешевле? Можно.

Но, конечно, не все так просто, как я пишу. Универсальной формулы или рецепта измерения экономической (да и просто) эффективности информационной безопасности не существует. Более того, один и тот же проект в разных странах может дать совершенно разный эффект. Да что там, в разных странах. В разных городах и то эффект может быть совершенно различным.

Объяснением этому парадоксу послужит фраза, которую я вычитал в февральском номере журнала «Аэрофлот. Style»: «Правда заключается в том, что никакой объективной стоимости нет в природе. Цена любого предмета, произведенного человеком, складывается из массы других, столь же относительных цен — цены труда в столице, деревне, Франции или Занзибаре, цены сырья, цены транспортировки. Все они — условны: то, что человечество на данном этапе своего существования сочло ценным, совсем не обязательно было таковым раньше».

Почему в России не работают такие методики оценки эффективности ИТ/ИБ-проектов, как TEI от Forrester, REJ от Microsoft, TVO от Gartner, EVA от Stern Stewart & Co, EVS от Cawly & the Meta Group, Applied Information Economics (AIE), Customer Index от Andersen Consulting, Information Economics от The Beta Group и другие? Ведь там, на Западе, они вполне популярны. А все просто. Почти все эти методики активно используют при расчете такое понятие, как «заработная плата». Зарплата ИТ/ИБ-специалиста, участвующего в проекте. Зарплата специалиста, которого должен заменить или высвободить приобретаемый продукт или реализуемый проект. Зарплата специалистов, простаивающих или непродуктивно работающих. А зарплаты в России и на Западе отличаются в разы. И то, что эффективно там, совсем неэффективно тут. Ведь стоимость продуктов у нас почти одинаковая, а зарплата нет. Отсюда и совершенно разные результаты.

Т.е. не методика плоха, а просто у нас она дает не устраивающий многих результат. И это только часть проблемы. У безопасников появляются и другие. Что является основой для большинства методик оценки эффективности? Всякие там расчеты NPV, IRR, PbP, DCF и т.п. Они описаны в любом финансовом учебнике. Но они все требуют для расчета исходных данных, которые обычно отсутствуют у служб информационной безопасности. И причин тому множество:

  • Нет, потому что безопасники не знают, где их взять.
  • Нет, потому что безопасникам их не дают.
  • Нет, потому что безопасники сами не верят в эффективность этих методов.
  • Нет, потому что безопасники боятся соваться в финансы.
  • Нет, потому что нет гарантии, что безопасникам поверят.
  • Нет, потому что безопасники забыли или никогда не изучали математику, финансы и экономику.
  • Нет, потому что нет.

И вновь получается, что проблема не в отсутствии методик и даже не в отсутствии исходных данных. Проблема в самих людях, которые не хотят, не могут, не знают как, боятся подступиться к измерению финансовой эффективности ИБ.

В заключение хочу привести простейшую цепочку рассуждений, которая показывает, что можно измерить эффективность чего угодно. Если что-то лучше, то есть признаки улучшения. Значит, это улучшение можно наблюдать. Наблюдаемое улучшение можно посчитать. То, что можно посчитать, можно измерить. То, что можно измерить, можно оценить. А значит и продемонстрировать! И этот принцип применим и к информационной безопасности (она же реализуется, чтобы сделать мир лучше), и к ИТ, и к строительству, и к семейной жизни, и даже к обычному человеческому счастью ;-) Главное — понять это и начать измерять...


10314
Поделиться
Коментарии: 32
  • Михаил Петров
    Рейтинг: 349
    Счетная палата Российской Федерации
    Директор департамента цифровой трансформации
    03.07.2013 12:16

    Алексей, спасибо. Хорошую тему подняли. Один комментарий. зарплаты в России и на Западе отличаются в разы - не совсем уже так... И вопрос - а у вас есть какая-то методика своя? кейс?

    • Алексей Лукацкий Михаил
      Рейтинг: 60
      Сisco
      Независимый эксперт
      03.07.2013 15:03

      А нет универсальной методики ;-) Их на самом деле немало. Зависит от конкретной задачи. TEI, TCO, TVO, AIE и т.д. И это только по финансовой оценке. Есть еще варианты сбалансированные показатели под ИБ подтянуть и т.д. Я на днях презентацию на эту тему выложил на 500 слайдов ;-) - http://lukatsky.blogspot.com/2013/07/blog-post.html - там многие методики описаны

      • Михаил Петров Алексей
        Рейтинг: 349
        Счетная палата Российской Федерации
        Директор департамента цифровой трансформации
        03.07.2013 15:34

        Понятно что нет :) Я про Ваш подход - что Вы как эсперт практикуете. За ссылку спасибо, посмотрю обязательно (тут, кстати, можно ее сразу как гиперссылку делать).

        • Алексей Лукацкий Михаил
          Рейтинг: 60
          Сisco
          Независимый эксперт
          04.07.2013 02:03

          А как эксперт я использую то, что лучше подходит под конкретную задачу конкретного заказчика ;-) Оценка эффективности в ИБ - вообще новая тема. К ней мало еще кто подобрался. Говорить о серебряной пуле не приходится. Да и репрезентативной статистике по используемым методам тоже

          • Михаил Петров Алексей
            Рейтинг: 349
            Счетная палата Российской Федерации
            Директор департамента цифровой трансформации
            04.07.2013 10:24

            Жаль :(

      • Дмитрий Капинос Алексей
        Рейтинг: 20
        МГУ, Экономический факультет
        Предприниматель, консультант в области управления и ИТ, к.э.н., преподаватель МГУ
        04.07.2013 17:34

        Спасибо за презентацию. Послушать бы было интересно.

  • Марк Шварцблат
    Рейтинг: 10
    КТ "Акведук"
    ИТ-директор
    03.07.2013 12:57

    1. Спасибо. Интересно. 2. Всегда стараюсь максимально сужать сферу того, что должно относиться к ИБ. Ну незачем притягивать за уши к ИБ вещи, которые должны жить в рамках обычной технической поддержки на базе стандартов. Не надо плодить лишних безопасников. 3. Пропагандирую мысль, что далеко не все надо считать, причем не только точно, но даже и интервально. Частенько хорошо-плохо, работает-не работает вполне достаточно. 4. Считаю, что в большинстве случаев, особенно для небольших организаций, необходимо и достаточно оценивать эффективность ИБ только исходя из оценки ущерба.

    • Михаил Петров Марк
      Рейтинг: 349
      Счетная палата Российской Федерации
      Директор департамента цифровой трансформации
      03.07.2013 14:38

      3 - приведи пример плз. 4 - та же просьба :)

    • Алексей Лукацкий Марк
      Рейтинг: 60
      Сisco
      Независимый эксперт
      03.07.2013 15:04

      3. Согласен. А с руководством часто срабатывает методика "доверяю - не доверяю". Если доверяют, то и никаких расчетов и формул не надо. А если не доверяют или безопасники проштрафились, то никакая методика не поможет.

      • Глеб Лигачев Алексей
        Рейтинг: 80
        Системный оператор Единой энергетической системы, (АО «СО ЕЭС»)
        Директор по информационным технологиям
        14.11.2013 00:00

        Это не методика, а психология человка. Принятие решения в области, в которой не разбираешься (обычно это проявляется с руководителями, и как раз тема ИБ очень подходит). Так вот - человек принимает решение по одному из двух сценариев
        1. Соглашается с мнением того, кому доверяет (причем это доверие не обязанно быть обоснованным, т.е. тот, чьему мнению доверяют, может и сам в теме ни черта не разбираться). - на этом жирует много "приближенных решал".
        2. Поступает так, как поступал кто-то и это принесло положительный результат (типа "давайте поставим Касперского, он у многих работает"). - на этом растет тема "best practice"

        Ну и, конечно, остается вариант разобраться в теме, что для первого лица компании и темы ИБ совершенно излишне :)

  • Марк Шварцблат
    Рейтинг: 10
    КТ "Акведук"
    ИТ-директор
    03.07.2013 18:36

    3 - приведи пример плз. 4 - та же просьба :)
    :) :) :) К примеру. Пароли никогда не меняются. Нечего тут что-то считать. Это плохо. USB-порты закрыты - это хорошо. Ущерб всегда монетизируем. Вытащили из электронной почты наше "грязное белье" - наши продажи упадут на N% на срок M месяцев. Слил тешущую базу продавец конкурентам. Продажи постоянно, приходя ежедневно, цены меняются ежедневно. Сколько потеряли продаж? 10 рублей. Вкладывать 10000 в систему мониторинга нет смысла. Продавца наказать, при повторном уволить, всех предупредить, что в дальнейшем увольняем сразу.

    • Михаил Петров Марк
      Рейтинг: 349
      Счетная палата Российской Федерации
      Директор департамента цифровой трансформации
      03.07.2013 20:14

      Я тебя понял. Особенно последний пример понравился.

    • Алексей Лукацкий Марк
      Рейтинг: 60
      Сisco
      Независимый эксперт
      04.07.2013 02:05

      А как монетизируется второй вариант? Кто и, главное, как считает "грязное белье"? Экспертная оценка или используются методики оценки нематериальных активов. Предположу, что первое ;-)

    • Рамиль Мехтиев Марк
      Рейтинг: 20
      Агенство обязательного медицинского страхования
      ИТ директор
      04.09.2013 22:23

      Не всегда обходится сливание информацией в 10 рублей :)
      А так полностью согласен, как и в рисках, есть риски, которые просто принимаются и ничего не делается для управления рисками. так как не выгодно. Это тоже своего рода информационный риск.

  • Алексей Шиндин
    Рейтинг: 10
    4х4 бюро профессиональных услуг
    Директор по ИТ и ИБ
    04.07.2013 08:09

    Алексей, а что, COBIT не подходит для оценки эффективности ИТ и ИБ? В нем уже давно есть: - связь целей бизнеса и ИТ (включая ИБ); - и шкала оценки зрелости (CMM в COBIT 4.1 и ранее), а теперь (в COBIT 5) - оценки возможностей процессов, основанная на стандарте ISO/IEC 15504; - и много всего другого. Чем он не подходит?

    • Алексей Лукацкий Алексей
      Рейтинг: 60
      Сisco
      Независимый эксперт
      04.07.2013 21:01

      Алексей, COBIT дает связь целей (в презентации у меня это есть), но дальше все. Зрелость не дает ответа на вопрос - эффективно или нет. И уж тем более он не сильно помогает в финансовой оценке. Это все равно, что ссылаться на ISO 2700x ;-) Как руководство построения процессов может и неплохо, но как их оценку - слабовато.

      • Алексей Шиндин Алексей
        Рейтинг: 10
        4х4 бюро профессиональных услуг
        Директор по ИТ и ИБ
        05.07.2013 10:28

        Ну, вот здесь, позволю себе не согласиться :) Уровень развития/зрелости, а теперь, возможностей процессов - это и есть гарантия их эффективности. Неразвитые процессы менее эффективны, чем развитые, для достижения целей и результатов, которые от них ожидаются. Чем более процесс развит, тем выше вероятность, что он "выдаст" необходимый результат. Неужели ты с этим не согласишься? По поводу финансов, в COBIT есть ряд процессов связанных с достижением финансовых выгод от использования ИТ: - Обеспечение получения выгод - Обеспечение оптимизации ресурсов - Управление портфелем инвестиций - Управление бюджетом и затратами - и еще ряд косвенно с этим связанных. Чем более развиты эти процессы, тем более выгодны, т.е. эффективны с точки зрения финансов, ваши ИТ. Надеюсь убедил :)

        • Алексей Лукацкий Алексей
          Рейтинг: 60
          Сisco
          Независимый эксперт
          14.07.2013 16:27

          Не, не убедил ;-) Уровень зрелости - это СЛЕДСТВИЕ, а не причина эффективности. Я эффективен, значит зрел, а не наоборот.

          • Ольга Мельник Алексей
            Рейтинг: 200
            Независимый эксперт
            08.09.2013 18:54

            Не бесспорное утверждение: я эффективен, значит зрел. По моему, совершенно не всегда так, есть много компаний, которые управляются плохо, а эффективность (в смысле прибыль) дают отличную. Они и слова такого Cobit не знают, и ничего. Просто их критерии эффективности другие, чем написано в стандартах.
            А что касается эффективности ИБ, то совершенно с вами согласна - дело в людях. Им просто НЕ НАДО. Иначе бы они давно вспомнили и тут часть математики, которую никогда не учили...Как минимум конкуренция недостаточна для того, чтобы компании серьезно думали об ИБ, оценивали риски как-то, кроме как на пальцах, и вкладывали во что-то такое средства. Кроме банков и телекома. Для всех остальных - это просто маркетинговый шум вендоров ИБ-продуктов. И в большинстве случаев это действительно только шум, имхо.

            • Марк Шварцблат Ольга
              Рейтинг: 10
              КТ "Акведук"
              ИТ-директор
              10.09.2013 12:14

              Все же прибыль - это скорее не эффективность, а результативность. :)

              • Ольга Мельник Марк
                Рейтинг: 200
                Независимый эксперт
                10.09.2013 23:31

                Предполагаю, что под эффективностью бизнеса любой владелец понимает его маржинальность. А не выработку на одного сотрудника. Чистая прибыль - вот самое лучшее мерило эффективности. Пока она есть на уровне, удовлетворяющем владельца, пусть хоть половина народу плюет в потолок - никто даже не чухнется и не начнет разбираться, что делают все эти люди...Вот когда прижмет, вот тогда и только тогда и забегают, в том числе защищая информацию, например.

                • Марк Шварцблат Ольга
                  Рейтинг: 10
                  КТ "Акведук"
                  ИТ-директор
                  11.09.2013 09:50

                  Не соглашусь. Если владелец вменяемый и, или сам управляет бизнесом или берет грамотного "наемника", то "чухаться" надо непрерывно. Если не брать околобюджетные кормушки, то в прочем бизнесе такие уже повымерли. Разве нет?

                  • Ольга Мельник Марк
                    Рейтинг: 200
                    Независимый эксперт
                    11.09.2013 20:25

                    Не могу сказать точно и доказать это, но по моему нет, не повымерли. Попадаются проекты, где только очень жесткие требования вендра, например, заставляют его партнеров навести какой-то порядок в оформлении документов и выстроить процесс более -менее аккуратно. Насколько я могу судить по интервью, которые беру у ИТ директоров - а это десятки в год - действительно выстроенные бизнес процессы есть только в некоторых международных компаниях. И там и к безопасности серьезно относятся. Один из лучших в этом смысле примеров был мне рассказан в проекте внедрения 1С. "И вот когда мы положили все остатки на складах в одну базу, то увидели, что у нас есть на самом деле!. И это самое главное достижение проекта".

                    • Марк Шварцблат Ольга
                      Рейтинг: 10
                      КТ "Акведук"
                      ИТ-директор
                      12.09.2013 08:21

                      Нууу... Бардак был, есть и будет всегда. И совершенство недостижимо в принципе. :)

                      Все же. Если фирма выжила в конкурентном окружении и нашла деньги на крупный проект автоматизации, то значит их процессы рабочие, просто слегка замусорились и отличаются от священно-теоретических.

                      Про базу - смешно, но не понятно.

                      • Ольга Мельник Марк
                        Рейтинг: 200
                        Независимый эксперт
                        12.09.2013 10:54

                        Слегка замусорились? ммм....часто возникает ощущение, что их никогда нормальных и не было, о том и речь.
                        Насчет 1С. Это торгово-производственная фирма. У них много складов "разного" на разных площадках. Все площадки были автоматизированы независимо. Большой проект: давайте развернем одну 1С на всех. Давайте. Ну, сначала будем складывать все данные из многих старых баз в одну новую. Сложили, в том числе склады эти многочисленные. И тут стало видно, сколько каждый кладовщик, каждый цех и каждая площадка собрали у себя "на черный день", ну и чтоб меняться, и вообще. Закупки холдинга при этом можно на полгода почти что отменять. Вот великая польза автоматизации: хотя бы видно стало, что у нас где. А компания, между прочим, действительно очень успешная, агрессивная, быстро расползается по России, при том, что делает еду, и не первой необходимости. То есть это, насколько можно судить со стороны, очень эффективный частный бизнес.

                        • Марк Шварцблат Ольга
                          Рейтинг: 10
                          КТ "Акведук"
                          ИТ-директор
                          12.09.2013 11:36

                          Мы не знаем всю предысторию. Они вполне могли быть правильными в начале или на какой-то момент. Но многолетние бессистемные недокументированные изменения как раз и вызывают схожие ощущения. Хотя часто "изнутри" все может выглядеть простым, понятным и логичным.

                          Непонятно. Что мешало раньше просто сделать консолидацию? В 1С она делается достаточно просто.

  • Марк Шварцблат
    Рейтинг: 10
    КТ "Акведук"
    ИТ-директор
    04.07.2013 13:28

    Лукацкому Алексею. Эксперная оценка, аналогии, опыт отрасли. Плюс собственноручно сляпанная трехуровневая модель оценки угроз. Если есть какие-то супер-методики, то я бы с удовольствием про них послушал. Я посетил пару семинаров по ИБ (не технических). Там максимум что еще звучало - закладывать судебные издержки и прочие монетизируемые юридические последствия.

    • Алексей Лукацкий Марк
      Рейтинг: 60
      Сisco
      Независимый эксперт
      04.07.2013 21:06

      Понятно. Я так примерно и думал. Экспертная оценка - самый простой и доступный метод. При правильном применении достаточно точен. Методики оценки ущерба я в презентации привожу. А методик моделирования угроз несколько десятков. Но они ориентированы на составление либо просто списка актуальных угроз, либо их градация по 3-х, 5-ти, 9-ти уровневой шкале. Вот тут http://lukatsky.blogspot.com/2009/09/blog-post_14.html (внизу поста) есть ссылки на 5 частей презентации по моделированию угроз. Может быть будет полезным.

      • Михаил Петров Алексей
        Рейтинг: 349
        Счетная палата Российской Федерации
        Директор департамента цифровой трансформации
        04.07.2013 22:27

        Очередной раз спасибо за ссылку!

      • Рамиль Мехтиев Алексей
        Рейтинг: 20
        Агенство обязательного медицинского страхования
        ИТ директор
        04.09.2013 22:25

        Очень полезная информация. Спасибо!

  • Марк Шварцблат
    Рейтинг: 10
    КТ "Акведук"
    ИТ-директор
    05.07.2013 14:16

    Для Лукацкого А. Спасибо. Полезно. В закрома.

Предметная область
Отрасль
Управление