Imbestigasyon sa pandaigdigang serbisyo ng Microsoft outage: Isang kahina-hinalang bug na nagkubli sa loob ng apat na buwan, natuklasan lang ang problema makalipas ang 15 oras
Ang kahinaan ng sistema ng Microsoft ay nailantad noong nakaraang linggo dahil sa isang routine na operasyon ng traffic switching, na nagdulot ng biglaang pagtaas ng traffic at pagkaubos ng memorya ng mga server. Ang automated disaster recovery system ay naglipat ng traffic sa iba pang "malusog" na server, subalit naipasa rin ang kahinaan sa mga sistemang iyon, na nagresulta sa sunud-sunod na pagkabigo. Mula sa paunang pagkakaroon ng kalat-kalat na pagkasira hanggang sa opisyal na pagkumpirma ng Microsoft ng malawakang problema, tumagal ito ng humigit-kumulang 15 oras; at inabot pa ng isa pang 15 oras bago nagsimulang maglabas ng solusyon ang Microsoft. Ang tagal ng downtime ay lubos na lumampas sa mga naunang kahalintulad na insidente.
Isang sistema ng bug na itinago ng Microsoft sa loob ng apat na buwan ay nagdulot ng isang pandaigdigang insidente ng pagkaantala ng serbisyo noong nakaraang linggo, na naglantad sa potensyal na panganib ng labis na pag-asa sa isang teknolohiyang supplier lamang.
Nagsimula ang insidente noong Nobyembre 11 sa isang karaniwang operasyon ng pag-dadagdag ng trapiko, at umabot pa ng alas-11:30 ng umaga kinabukasan—oras ng mataas na trapiko ng mga kumpanya sa Estados Unidos—bago napagtanto ng Microsoft ang tindi ng problema.
Pagkatapos nito, gumugol pa ang kumpanya ng humigit-kumulang 15 oras upang suriin ang aberya at simulan ang pagpapatupad ng solusyon, dahilan upang maantala ang trabaho ng maraming negosyo at kliyente mula sa pamahalaan. Sa pinaka-matinding yugto ng insidente, mahigit 80% ng mga server ng Outlook backend ay hindi tumutugon, nawala ang mga imbitasyon sa Teams video meeting, at napilitan ang mga empleyado na umasa sa telepono at papel at panulat para magpatuloy sa trabaho.
Ang Executive Vice President ng Microsoft na namumuno sa workplace software business, si Charles Lamanna, ay naglabas ng public apology nitong Lunes sa platapormang X kaugnay ng outage na ito. Sa oras ng pag-uulat, bumaba ng 1.2% ang Microsoft sa kalakalan nitong Lunes.

Isang Rutinaryong Operasyon, Nagdulot ng Sunod-sunod na Pagbagsak
Ayon sa paunang ulat ng Microsoft sa mga kliyente, ang bug na ito ay nagtagal na sa mga data center ng kumpanya mula pa nitong Hulyo ngayong taon ngunit hindi kailanman nadiskubre.
Ang direktang sanhi ng insidente ay isang awtomatikong traffic switch noong Nobyembre 11 bandang 8 p.m. New York time: Inilipat ng awtomatikong sistema ang trapiko ng Teams video meeting at instant messaging patungo sa isa pang grupo ng servers na pinoproseso rin ang Outlook traffic.
Samantala, isang hiwalay na problema nang mas maaga ngayong linggo ang nagdulot din ng pagkawala ng kapasidad ng ilang servers, at sa ilalim ng dobleng pressure na ito, nailantad ang nasabing bug—naubos ang memorya ng servers dulot ng biglaang pagdami ng trapiko.
Agad na kumalat ang problema. Ang automated disaster recovery ng Microsoft ay inilipat ang trapiko at email sa iba pang “healthy” servers, ayon sa kanilang sistema, ngunit kasabay ding nailipat ang parehong bug, dahilan ng sunod-sunod na pagkabigo.
Mula sa unang paglitaw ng mga isolated na aberya hanggang sa full confirmation ng Microsoft sa kabuuang problema ay tinatayang 15 oras; pagkatapos ay bumusisi pa ng 15 oras bago masimulan ang paglulunsad ng solusyon.
Nakatulong pa ang Automation sa Pagpalala, Ang Pagsasaayos ay Masalimuot
Ang tumagal na outage na ito ay higit sa karaniwan para sa mga ganitong insidente—karaniwan ay ilang oras lang ang tagal ng ganitong problema.
Sa detalyadong timeline na inilathala para sa mga technical personnel na gumagamit ng Microsoft 365, ipinakita na ang automation mechanisms na laan dapat para sa pagpapanatiling matatag ng serbisyo ay siyang nagpadali ng sunod-sunod na pagsablay.
Ang mga server na napalitan online ay nabangga naman ng dagsang backlogged traffic, kaya muling nag-overload at pumalya, dahilan upang pabalik-balik ang problema ng recovery process.
Dagdag pa, dahil ilang buwan nang naka-imbak ang bug na ito sa sistema, hindi na epektibo ang karaniwang paraan ng pagpapa-stable ng sistema sa pamamagitan ng pag-rollback sa mga pinakahuling update, kaya lalo pang natagalan ang pagbabalik ng normal na serbisyo.
Testing sa Laboratoryo, Hindi Nasundan ang Real-World na Kondisyon
Ipinaliwanag ni Charles Lamanna kung bakit ang bug ay nagtagal nang hindi napapansin o nahuhuli ng testing process.
Bago ipamahagi nang malawakan ang system changes, sinusubok muna ng Microsoft ang mga ito sa laboratoryo at sa mas maliit na network, na isinasagawa sa lahat ng malalaking kumpanyang nagbibigay ng online service.
Ngunit hindi pa rin nahuli ang bug sa pagkakataong ito, dahil iba ang traffic patterns at hardware setup na ginagamit sa laboratoryo kumpara sa real-world na kondisyon ng servers.
Ipinunto ni Lamanna na ang tests ng Microsoft ay karaniwang naka-focus sa mga lumang hardware na may mababang performance, upang suriin kung kayang sakyan ng mga kinakalawang na component ang updates. Ngunit ang vulnerability na naging sanhi ng server outage ngayon ay mas matindi pa ang epekto sa mas bagong hardware na mas malakas—isang scenario na hindi nasaklaw ng tests.
Disclaimer: Ang nilalaman ng artikulong ito ay sumasalamin lamang sa opinyon ng author at hindi kumakatawan sa platform sa anumang kapasidad. Ang artikulong ito ay hindi nilayon na magsilbi bilang isang sanggunian para sa paggawa ng mga desisyon sa investment.
