Badanie NIS260

Nie tak dawno publicznie skrytykowałam internetowe quizy, które obiecują ocenę zgodności z NIS2 po pięciu pytaniach. Potem sama opublikowałam kwestionariusz samooceny. Ten tekst jest częściowo uzasadnieniem tej niezręczności, ale przede wszystkim analizą narzędzia, którego Unia Europejska używa do mierzenia poziomu cyberbezpieczeństwa w sektorach krytycznych. Wniosek podam od razu: to sondaż nastrojów uwięziony między dwoma lustrami. Sygnał odbija się bez końca, słabnie przy każdym odbiciu i nigdy nie wydostaje się na zewnątrz do rzeczywistości. 

1 lipca ENISA otworzyła nabór do corocznego badania NIS360 — badania, które stanowi podstawę flagowego raportu agencji dotyczącego dojrzałości i krytyczności sektorów objętych dyrektywą NIS2. Podmiot kluczowy lub ważny, gotowy poświęcić kwadrans, odpowiada na 21 pytań w pięciu sekcjach: informacje ogólne, zarządzanie ryzykiem i dobre praktyki, środki zarządzania ryzykiem, gotowość operacyjna oraz oczekiwania wobec ENISA. 

Formularz prowadzi respondenta jak każdy internetowy quiz: pytania wielokrotnego wyboru w trybie „zaznacz wszystkie pasujące odpowiedzi” oraz pasek postępu, który ma zapobiec porzuceniu ankiety przed jej zakończeniem. To projekt zoptymalizowany pod łatwość wypełnienia, czyli pod liczbę odpowiedzi, a nie pod ich wiarygodność. W zamian cytuję oficjalny komunikat: “zarejestrowane podmioty otrzymają raport benchmarkingowy, porównają się z podobnymi organizacjami i lepiej zrozumieją, gdzie się znajdują”. 

Brzmi znajomo? Powinno. Rynek komercyjny od dawna sprzedaje ten sam mechanizm w wersji jeszcze bardziej uproszczonej: 5 pytań, natychmiastowy wynik, zgodność zmierzona w 3 minuty. Różnica polega na tym, że komercyjne quizy po drodze zbierają jeszcze numer telefonu, a ENISA tego nie robi. Podobieństwo polega na tym, że w obu przypadkach nikt niczego nie mierzy. 

Czy NIS360 ma jakąkolwiek podstawę? 

Zanim zaczniemy analizę tego narzędzia, oddajmy ENISA to, co jej należne. 

NIS360 mierzy dojrzałość całych sektorów w skali Unii Europejskiej. Pojedyncza firma jest tylko jednym z anonimowych głosów. Badanie opiera się na czterech źródłach: ankiecie dla podmiotów, równoległej ankiecie dla organów krajowych, danych inwestycyjnych z raportu NIS Investments oraz danych dotyczących incydentów. 

Odpowiedzi analizowane są wyłącznie zbiorczo. Metodyka została opisana jawnie, więc możemy zajrzeć do jej trybów. Raport zawiera też przypis, w którym agencja uczciwie stwierdza, że jej obserwacje mają charakter uogólniony i „mogą nie odzwierciedlać dokładnie statusu poszczególnych podmiotów ani państw członkowskich”. Komercyjne quizy nie mają takiego przypisu i raczej nie zamierzają go zdobyć. 

Problem w tym, że przy bliższej analizie każdy z czterech filarów okazuje się być wykonany z piasku. 

Pierwszy filar – ankieta dla podmiotów – to deklaracja bez konieczności przedstawiania żadnych dowodów, wypełniana przez tych, którzy zechcą ją wypełnić. Co roku odpowiada inna, przypadkowa próba spośród podmiotów objętych NiS, więc porównanie rok do roku dotyczy zupełnie innego zestawu respondentów. 

Efekt widać w samym raporcie, w którym ENISA zauważa, że w sektorze administracji publicznej tegoroczni respondenci byli „głównie mniejszymi organizacjami”. Innymi słowy, różnica między edycjami może mierzyć wyłącznie to, jakie podmioty zdecydowały się wziąć udział w badaniu. 

Dodajmy szczegół z komunikatu o naborze – w jednym akapicie ENISA zapewnia, że ankiety są „starannie projektowane tak, aby dane zbierane co roku pozostawały porównywalne”, a zarazem ogłasza, że tegoroczną ankietę „uproszczono”. 

Tak więc ENISA zmieniła narzędzie w trakcie pomiaru i obiecała, że wyniki nadal będą adekwatne. Metodologia badań dopuszcza jedno albo drugie, nigdy oba naraz. 

Drugi filar, czyli ankieta dla organów krajowych, mógłby być cenny, ponieważ pochodzi od innego, niezależnego respondenta. Tyle że ten sam raport NIS360 powtarza sektor po sektorze, że organom brakuje zasobów, wiedzy sektorowej i zdolności nadzorczych — najdotkliwiej w sektorach tzw. strefy ryzyka: wodociągach, gospodarce ściekami i administracji publicznej. 

Podmioty w sektorach ze strefy ryzyka mają najmniej kompetencji do oceny własnego bezpieczeństwa, więc ich deklaracje niosą największe ryzyko popełnienia błędu. Jednocześnie organy krajowe, które mogłyby skorygować ten błąd, nie mają personelu ani wiedzy sektorowej, by to zrobić. 

Organ poznaje swój sektor poprzez inspekcje, audyty i zgłoszenia incydentów. W słabo nadzorowanych sektorach takich źródeł jest niewiele, więc odpowiedzi organu w kwestionariuszu ENISA są raczej wrażeniami niż obserwacjami. 

Oba źródła zawodzą w tych samych miejscach i czasie. I tak, weryfikacja wyników jest najsłabsza właśnie tam, gdzie jest najbardziej potrzebna. 

Trzeci filar wygląda na najbardziej solidny: inwestycje, pieniądze, liczby. Sprawdziłam. Raport NIS Investments, którym ENISA „weryfikuje” deklaracje dojrzałości, sam jest ankietą — 1080 respondentów, dane deklarowane samodzielnie, a duże przedsiębiorstwa stanowią aż 83 procent próby. W sektorach zdominowanych przez małe, słabo nadzorowane podmioty taka próba po prostu ich nie widzi. 

W raporcie NIS Investments nikt nie otwiera ksiąg. Jedna własna deklaracja jest weryfikowana przez drugą, pochodzącą z innej, inaczej skrzywionej próby. 

Czwarty filar, czyli incydenty, ma wadę strukturalną, którą zbyt dobrze znam z praktyki. Organy widzą tylko poważne, raportowalne incydenty, a żeby zgłosić incydent, najpierw trzeba go wykryć. Podmiot, który na przykład nie wdrożył monitoringu, nie zgłasza niczego, a w statystykach „zero zgłoszeń” jest nieodróżnialne od „zero incydentów”. Im mniej ktoś widzi, tym lepiej wygląda na papierze. 

Lustro naprzeciw lustra — co naprawdę pokazuje benchmark NIS360 

Wróćmy do obietnicy: „porównaj się z podobnymi organizacjami i lepiej zrozum, gdzie jesteś”. W praktyce oznacza to, że dowiesz się, gdzie Twoja branża deklaruje, że jest, w zestawieniu z tym, co Ty o sobie deklarujesz. W rzetelnym benchmarku zmierzona jest przynajmniej jedna strona porównania. Porównujesz swój czas maratonu z czasami innych osób, ale wszystkie pomiary wykonano przy użyciu tego samego stopera. Tutaj każdy “pomiar” jest wykonywany innym, równie niedoskonałym narzędziem. 

NIS360 jest jak dwa lustra ustawione naprzeciw siebie, a między nimi „Twój wynik”. 

Benchmark deklaracji wprowadza dezinformację do tej decyzji, której ma służyć. Jeżeli sektor koloryzuje, a zachęty do koloryzowania rosną z każdym rokiem zbliżającego się egzekwowania przepisów, podmiot odpowiadający uczciwie wypadnie poniżej średniej i uzna, że jest w gorszym stanie niż średnia sektora. Podmiot koloryzujący, jak wszyscy inni, wypadnie „w normie” i uzna, że nie ma nic do zrobienia. W obu przypadkach decyzja o inwestowaniu w zgodność będzie oparta na gorszych przesłankach niż gdyby ankieta nigdy nie została wypełniona. 

Jeszcze niedawno broniłabym tezy, że przy stabilnym narzędziu takie ankiety przynajmniej mierzą jakiś trend. Po lekturze tegorocznej edycji trudno mi ją obronić. 

Trend wymaga panelu, czyli tych samych respondentów, stabilnego narzędzia i stabilnych sygnałów. NIS360 nie dysponuje żadnym z tych trzech elementów. 

Stała poprawa dojrzałości sektorów, którą raportuje ENISA, jest obserwacyjnie nieodróżnialna od stałej poprawy gotowości do pozytywnej samooceny, a przy zbliżających się kontrolach i karach jest to równie prawdopodobne zjawisko. 

Bezradna z natury — dlaczego ENISA ankietuje zamiast audytować 

Najciekawsze w tej historii jest to, dlaczego ENISA prowadzi ankiety zamiast przeprowadzać audyty. ENISA nie ma mandatu audytowego. NIS2 celowo pozostawiła nadzór nad podmiotami organom krajowym, a państwa członkowskie nie dały Brukseli wglądu do swoich sektorów krytycznych. Ankieta z agregacją danych i defensywnym przypisem to maksymalna widoczność, jaką udało się wynegocjować. To właśnie dlatego ENISA sięga po samoocenę. 

Samoocena jest metodą ostatniej szansy — sięga po nią każdy, kto nie ma dostępu do dowodów. 

To, że można inaczej, pokazuje mapa NIS360. Bankowość i infrastruktura rynków finansowych od lat znajdują się na szczycie rankingu dojrzałości. To nie przypadek – ten sektor ma za sobą dekady realnego nadzoru, w którym regulatorzy mają prawa inspekcyjne — EBC, EBA, krajowi nadzorcy, tacy jak BaFin czy polska KNF — a ostatnio także DORA i testy penetracyjne na żywym organizmie. 

Tam, gdzie regulator ma dostęp i dowody, zasłona znika, a dojrzałość rośnie. NIS360 mimowolnie dokumentuje ten naturalny eksperyment. 

Narzędzia, które zdjęłyby tę zasłonę, już istnieją i nie wymagają żadnej rewolucji w traktatach. Zewnętrzna telemetria — np. skanowanie powierzchni ataku całych sektorów: wystawione pulpity zdalne, niezałatane wersje, konfiguracja szyfrowania — jest obiektywna, tania i powtarzalna. Niemiecki BSI i holenderski NCSC już to praktykują. Administracyjne dane egzekucyjne — rejestracje, wyniki kontroli, kary — mierzą wolno, ale nie kłamią. Incydenty mogłyby mierzyć zdolność detekcji, gdyby normalizowano je względem liczby zarejestrowanych podmiotów i dzielono na wykrycia własne oraz zgłoszenia stron trzecich. 

Pomiar zaczyna się tam, gdzie kończą się deklaracje. Reszta to polityka publiczna przebrana za badanie. Sama polityka publiczna jest uczciwą pracą — wyznaczaniem priorytetów, uzasadnianiem programów wsparcia — dopóki nazywamy ją po imieniu i nie nazywamy jej badaniem. 

Cyberbezpieczeństwo potrzebuje własnego Eurostatu 

Mój postulat idzie dalej. Ćwiczenia oparte na deklaracjach należy całkowicie porzucić, bo kosztują czas i pieniądze, a zwracają tylko szum. Warto pamiętać o precedensie – NIS została zastąpiona przez NIS2 właśnie dlatego, że pierwsza dyrektywa nie przyniosła ani widoczności, ani jednolitego poziomu bezpieczeństwa w Unii. Powtarzanie bez końca tej samej metody i oczekiwanie innego wyniku to prosta droga do trzeciej wersji dyrektywy. 

Istnieje też precedens instytucjonalny. Sto lat temu pytanie o to, ile zboża produkuje Europa, również było zgadywaniem budowanym w oparciu o kwestionariusze. Zasłonę zdjęły dopiero regulacje zobowiązujące państwa członkowskie do tworzenia zharmonizowanych statystyk — tak powstał Eurostat. Zajęło to dekady i wymagało oddania części suwerenności informacyjnej, ale dziś nikt nie mierzy europejskiej gospodarki sondażem nastrojów. W cyberbezpieczeństwie wciąż jesteśmy na etapie sprzed Eurostatu. 

Dopóki dane o incydentach, wyniki kontroli i stan zabezpieczeń nie zaczną obowiązkowo płynąć, tak jak statystyki gospodarcze, kolejne dyrektywy będą głównie mierzyć nasze samopoczucie. 

Wyjaśnienie 

I tu wracam do własnej niezręczności, bo, jak wspomniałam, sama niedawno opublikowałam kwestionariusz samooceny: dziesięć pytań zbudowanych na środkach bezpieczeństwa z art. 21 NIS2, dwie minuty, bez rejestracji, odpowiedzi obliczane w przeglądarce użytkownika. Czy to nie jest ten sam szybki quiz? 

Różnica leży w obietnicy. Ten test samooceny odpowiada na jedno pytanie: czy Twoje własne odpowiedzi, z natury dla Ciebie życzliwe, wskazują na luki wymagające realnej analizy, wspartej dokumentami, dowodami i niezależną weryfikacją? 

Nasz test zostawia ocenę zgodności i porównanie z branżą narzędziom, które korzystają z dowodów i obiektywnego pomiaru — o tym był cały ten tekst. To triage, czyli wstępna selekcja mówiąca respondentowi czy potrzebna jest dalsza diagnoza. Ten „szybki quiz” wie, że jest szybkim quizem i nie udaje niczego więcej. I właśnie w tej samoświadomości widzę całą różnicę między narzędziem a przynętą. 

Wniosek jest jasny – benchmark sektorowy taki jak NIS360 zapewnia Unii Europejskiej agendę polityczną, a pojedynczej firmie dostarcza co najwyżej ciekawostkę. 

Test samooceny może wskazać, czy firma powinna przeprowadzić bardziej szczegółową analizę. Natomiast analiza luk oparta na dowodach — w naszej praktyce obejmująca wymagania zdekomponowane z NIS2, jej krajowej transpozycji oraz norm ISO 27001 i 22301, oceniane indywidualnie, z czterema etapami weryfikacji — jest narzędziem, które daje wynik możliwy do obrony przed zarządem i regulatorem. 

Grzech zaczyna się tam, gdzie benchmark albo test samooceny, nawet najdostojniej wyglądający, sprzedaje się jako analizę luk. Ochrona przed pomyłką wydaje się prosta — trzeba pytać o to, co dane narzędzie naprawdę gwarantuje. 

Nasz test znajdziesz na stronie KSC Navigator. Zapraszam:

Kliknij i przejdź do KSC Navigator — a to, czego nie może obiecać, przeczytasz jeszcze przed pierwszym pytaniem.

Źródła

ENISA, „Twoja perspektywa ma znaczenie: dołącz do badania NIS360”, enisa​.europa​.eu, 1 lipca 2026 r. · ENISA, „NIS360 2026”, maj 2026 r. · ENISA, „Inwestycje NIS 2025”, grudzień 2025 r. · Dyrektywa (UE) 2022/​2555 (NIS2)