Den modrých smrtí – největší výpadek PC systémů v historii. Miliony PC se musí opravit ručně!
Napsal Jan "DD" Stach   
Pátek, 19 červenec 2024
altTeroristé ani hackeři by nedokázali udělat větší škody. Za celosvětovým pádem je aktualizace.

 

 

 

 

Asi jste slyšeli, že v pátek 19.7.2024 zažil svět „Den modrých smrtí“. Největší světový kolaps počítačů v historii! A nejen, že jste slyšeli, mnozí jej i naplno pocítili, protože zasažena byla i řada firem a jejich počítačů v ČR, včetně bank, nemocnic, ale nejviditelněji asi systémů letišť, což vyústilo v uzemnění bezpočtu letů v hlavní sezóně. Rozsah výpadku je ohromující. Zasaženy jsou přímo nejméně desítky milionů počítačů, nejen běžných notebooků a desktopů, ale ve velkém množství i těch počítačů, které pohání různé kiosky, automaty apod.

  • Co se stalo?

Ne, nemohou za to hackeři ani teroristé. Ti se k podobnému drtivému zásahu a škodám, který způsobil a způsobuje, žádnou svou akcí nikdy ani nepřiblížili. Za vše totiž v tomto případě může chyba/bug a jedné z aktualizací bezpečnostního softwaru pro firmy a korporace od společnosti Crowdstrike. Je pravděpodobné, že o této firmě jste pravděpodobně nikdy neslyšeli, a její software jste nikdy neviděli, ale jde o jedno z nejrozšířenějších kyberbezpečnostních řešení pro firmy na světě. Najdete ho prakticky všude, speciálně u korporací, a jejich systémů, kiosků apod.

No a v pátek společnost Crowdstrike vydala aktualizaci svého software pro systémy s operačním systémem Windows. Systémy s Linux a MaxOS zasaženy nebyly. Bohužel aktualizace obsahovala zásadní chybu, která narušila chod Windows systému a poslala ho do známého stavu „modré smrti“ a opakovaných restartů. Vzhledem k tomu, že je podobná aktualizace vydávána pro masivní množství systémů a vše se instaluje automaticky a vzdáleně, zasáhl problém téměř najednou miliony počítačů a zařízení v celém světě.  

  • Rozsah problému je monumentální

Dobrou zprávou je, že postiženy byly výhradně ty Windows PC a systémy, které používají ten Crowdstrike software, pro něž byla ta chybná aktualizace vydána. Nejde tedy o chybu Microsoftu a jeho Windows aktualizace natož problém všech počítačů apod. Problém je, že v řadě případech šlo o klíčové systémy. Některé firmy jej mají doslova všude a na všech PC. Některé však používají odlišná řešení, takže jejich počítače zasaženy nebyly. Jenže v našem komunikačně a systémově totálně globálně propojeném světě, to samozřejmě zasáhlo všechny i když třeba zprostředkovaně, jelikož napojené systémy ten problém třeba měly. Výpadky systémů tak postihly nejen velké i malé firmy po celém světě, ale samozřejmě i letiště, banky, pojišťovny i další provozovatele po celém světě. Nemocnice, banky, pojišťovny, státní služby a zejména doprava byly z velké části vyřazeny. Škody jsou astronomické a půjdou do stamilionů možná spíše miliard dolarů. Lze čekat soudní spory a tahanice ještě roky dopředu.

  • Řešení existuje, ale vyžaduje opravu každého počítače ručně!

Existuje relativně snadné řešení, jak zasažený systém opravit. Má jednu „chybu“. Vyžaduje ruční zásah a až několik restartů. Na každém PC je zjednodušeně řečeno, nutné ručně nastartovat systém v nouzovém režimu, odstranit určitý soubor a pak to nechat najet. Zkrátka otravné, zdlouhavé. Pokud máte na starosti pár počítačů, tak je to určitě řešitelné v rozumném čase. Jenže co když má vaše firma stovky, či spíše tisíce či desetitisíce počítačů, kiosků atd.?

Neexistuje bohužel možnost vzdáleného řešení. Každý jednotlivý PC a kiosek a systém musí projít rukama technika, což je pro řadu firem a jejich IT servisů logistická noční můra a budou to řešit dny, ne-li týdny. IT podpora jednotlivých firem mluví o noční můře, kdy i načasování celého problémů na pátek byla skoro pomsta :). Každopádně ta chyba CrowdStrike nejen způsobila přímé škody a problémy teď, ale bude stát ještě hodně peněz její náprava a odstranění.

  • Demonstrace zranitelnosti systémů a celé společnosti

Ač ta chyba byla malá a přišlo se na ní rychle, dopad který měla je svého druhu největší v historii světa. Bez přehánění, teroristé by nedokázali nadělat větší škody. Nicméně celá situace je rozhodně skvělým návodem pro ty, kteří by škody a chaos chtěli způsobit. Současně je dalším příkladem, jak je hezké mít jednotné propojené globální systémy, ale stačí drobnost a jste v době kamenné a celé vaše podnikání a život taky. Takže minimálně duplicitní systém s jiným řešením, co by záloha v rámci každého PC systému v klíčových provozech, by měl být naprostým standardem.

Nicméně hlavní původ všeho je samozřejmě je v totálním selhání práce firmy CrowdStrike. Neexistuje žádná omluva pro to, co se stalo, protože prostě nelze vypustit aktualizaci, která způsobí podobný problém. Ne pokud byla aktualizace řádně interně otestována na variabilitě systémů, pro které je určena, a to před tím, než ji vypustíte na desítky či stovky milionů zařízení. Pokud CrowdStrike provedl testování před vypuštění, nemohl prostě nepřijít na to, že má chybu a vyvolá modrou smrt. Takže nejen ten, kdo tu chybu naprogramoval, ale speciálně ten, kdo byl zodpovědný za testování a ověření funkčnosti a ten kdo rozhodl, že se může distribuovat. Ti jsou problém. Samozřejmě to že se ukázalo že v řadě klíčových provozech nejsou záložní systémy, které by dokázaly plně převzít funkčnost primárních, je také obří selhání a masivní zranitelnost. Zkrátka přes všechny ty nevídané potíže to je užitečné upozornění a test, že se musí začít věci dělat jinak.

 

AUTOR: Jan "DD" Stach
Radši dělám věci pomaleji a pořádně, než rychle a špatně.

Starší články


Komentáře
Přidat Nový
Jardat [Zobrazit profil] [Poslat zprávu] 2024-07-20 18:46:38

Zatím bych nedělal předčasné závěry, vše je potřeba prozkoumat. I aktualizace jsou ale testovány, takže se bude jednat a souhru někalika faktorů.
V každém případě je zde vidět jedna změna, v minulosti se alespoň u kritických systémů čekalo na to, až se aktualizace vyzkouší v terénu, nyní se slepě důvěřuje že vše je v pořádku na první dobrou. Tentokrát se tak nestalo...
Možná to odkrývá jednu nebezpečnější stránku věci, ztrátu ostražitosti a slepou důvěru. Bezpochyby to bude mít souvislost s tlakem na IT a řezáním nákladů.
Zubik1000CZ [Zobrazit profil] [Poslat zprávu] 2024-07-20 20:51:46
avatar
sorry, ale sebelepší kontrola může nepřijít na drobnou chybku... Je to naprosto normální, že se na chybu přichází kolikrát až ve chvíli, kdy se to pustí až mezi koncové uživatele. Ale to bys měl zrovna ty vědět....

navíc velkou zásluhu na tom mají právě i automatické aktualizace - snad se konečně po tomhle správci ponaučí a vypnou veškeré automatické aktualizace. Nebýt jich, tak by se této chybě většina firem vyhnula
Jardat [Zobrazit profil] [Poslat zprávu] 2024-07-20 21:01:29

VIZ. TŘETÍ ODSTAVEC
Zubik1000CZ [Zobrazit profil] [Poslat zprávu] 2024-07-21 08:28:08
avatar
???
vsn [Zobrazit profil] [Poslat zprávu] 2024-07-20 21:57:11

kupovat #CRWD? těch 17% by rychle mohlo být zpět a nebo to dojít do větší krize.

těch 5 minut/1PC zas takový problém není. (životnost PC 3 roky a pak 2 hodiny času na výměnu)

buď #CRWD je nepostradatelné pro svět - akcie +
nebo #CRWD má průser a pohrnou se žaloby.

každopádně i svůj domácí PC mám přes Synology Active Backup denně zálohovaný, tzn. nahrání včerejších Windows je na 30 minut.
ondris83 [Zobrazit profil] [Poslat zprávu] 2024-07-21 11:18:37

i kdyby to bylo 5min..realne spis 15..tak potrebujes primej pristup k tomu pc. backupy pomuzou u virtuau kdyz jdes cestou snapshotu, jinak to mas ale blby. navic jestli ti spadnul o pulnoci a ty zalohujes v 1 rano tak muzes prijit az o den dat. u jinych pc, co chces obnovit kdyz ti vubec nenabootuje? nektery firmy, ktery meli crowdstrike vsude od virtual hostu pres AD po databaze, tak tam to fakt neni trivialni vsechno nahodit. aspon tam mas ale KVM a jde to vzdalene. firmy ktery treba pouzivaj crowdstrike i na noteboocich zamestnancu, kterych je treba 3000 a sposuta z nich pracuje vzdalene…tam ten notebook musi dostat primo do ruky nekdo schopnej kdo ho dokaze dat do recovery a smazat ten soubor, to uz neni sranda na par min
Richi [Zobrazit profil] [Poslat zprávu] 2024-07-20 22:09:36

Že by Samaritán opravdu skončil?
Nexon [Zobrazit profil] [Poslat zprávu] 2024-07-21 06:39:09

Co si mám myslet o operačním systému, který dokáže schodit program třetí strany tak, že je kompletně nefunkční? Přece každý proces má běžet izolovaně a v systému oprávnění tzv. ring. V ringu 0 jede operační systém, aplikace v ringu 3. Nikdy by se nemělo stát, aby aplikace znefunčnila a schodila OS, pokud nejde o zneužítí nějaké zranitelnosti pomocí hacku, což není tento případ. Zasraný Windowsy, to je ten největší virus na světě. Ještě, že klíčové uzly internetu jedou na Linuxu/Unixu.
johny.mnemonic [Zobrazit profil] [Poslat zprávu] 2024-07-21 08:32:22
avatar
Pokud je pravda, že jde o bezpečnostní SW, tak ten má přístup hluboko do systému, aby mohl vykonávat svou práci. Typicky sahají do jádra systému, takže v Linuxu by to pravděpodobně byl modul jádra a chyba v něm by mohla způsobovat "kernel panic", takže by to nedopadlo o nic jinak než na těch widlích
ondris83 [Zobrazit profil] [Poslat zprávu] 2024-07-21 11:28:24

jo tohle se chova jako modul jadra..ovladac..co se nacita pri startu windows. jestli by to rozbilo i linux to nereknu..mozny to je. z myho pohledu by mel windows pri takoveto critical chybe ale pri dalsim pokusu o start tento driver preskocit a nabootovat bez nej. a crowdstrike pak zasilat notifikace ze tenhle server neni zabezpecenej. druha vec jestli tohle ale chce treba na letisti nekdo riskovat i kdyby to mela byt jen hodina a jestli ten blackout neni bezpecnejsi varianta
EuGenio [Zobrazit profil] [Poslat zprávu] 2024-07-21 21:22:54

Přeskočit "zlobivý" driver/antivir po neúspěšném startu sice zní logicky. Ale tím by vznikl prostor právě pro nový vektor útoku - "navodit situaci, aby si OS myslel, že při startu selhal antivir". A při dalším restartu by se jelo bez antiviru.
ondris83 [Zobrazit profil] [Poslat zprávu] 2024-07-23 11:08:35

MS uz ma jasno, muze za to EU ktera ho "vnutila" do dohody ze musi byt otevreny a v ramci zachovani konkurencniho prostredi umoznit antivirum pristup ke kernelu stejne jako mel tenkrat jejich windows defender. mozna kdyby MS venoval nejakej cas tomu aby defender predelal aby nepotreboval plnej pristup k jadru ale pripravil neco jako api, tak by tady tenhle vypadek nebyl. ale MS spis 15 let cekal na neco takovyhodle aby mohl rict jak vam to rikal
EuGenio [Zobrazit profil] [Poslat zprávu] 2024-07-21 21:29:34

Je to celé takové nějaké divné. Tohle je spíš selhání celého systému aktualizací. Určitě selhalo testování na straně výrobce. Pokud se nejedná o záplatu na kritickou 0day zranitelnost, měla by se aktualizace pouštět postupně (po regionech, po firmách či jinak definovaných skupinách uživatelů/zákazníků). A na opravdu kritických a páteřních systémech by mělo být dobrou praxí, že se nějaké ty testy udělají i na straně koncového uživatele, než se to nahodí "na produkci"
enduras3 [Zobrazit profil] [Poslat zprávu] 2024-07-22 10:56:02

V ringu 0 jedou i specialni ochranne systemy. A to je prave pripad i tohohle software. Proto to shazuje neustale windows.
petronias [Zobrazit profil] [Poslat zprávu] 2024-07-21 09:23:00

O těchto sráčích jsem skutečně v životě neslyšel.
Dan666 [Zobrazit profil] [Poslat zprávu] 2024-07-21 23:53:35
avatar
nahodou akcie spadnuly o min.10% a vic,takze dobry cas prikoupit akcie od techto tech-firem a tim si zajistit investici u techto jinak kvalitnich firem ktere uz sice tak rychle neporostou,ale jejich pozice na trhu je jasna a tim padem rust nejaky bude a mit akci o tolik levnejsi je ........
pcmaker [Zobrazit profil] [Poslat zprávu] - CrowdStrike 2024-07-22 18:21:43
avatar
Společnost CrowdStrike se k tomu postavila zcela rozhodně a důsledně. Na veškeré naše dotazy nám bylo odpovědí jen ticho. Na jejich stránkách ani slovo o nějakém problému. Na druhou stranu musím říct, že se jim podařilo problém během několika hodin odstranit.
Pouze registrovaní uživatelé mohou přidat komentář!