Uff, już po awarii, od wczoraj godz. 16 do dziś godz. 9. Wywołany do tablicy, bardzo przepraszam i wyjaśniam co się działo - a była to wyjątkowa kumulacja nieszczęśliwych zbiegów okoliczności, z której oczywiście wnioski zostały wyciągnięte.
Awaria została zgłoszona dostawcy niezwłocznie, około godziny 16 (zanim zaczęli dzwonić klienci, sam zauważyłem że nagle nie działa). Wystąpiła po stronie dostawcy (T-Mobile), była to awaria masowa na obiekcie Emitela w Chwaszczynie. Wiem tylko tyle ile mi przekazali na infolinii T-Mobile, niestety (jak to zwykle bywa na infolinii, "wszyscy dwaj nasi konsultanci są bardzo zajęci" itp.) jako klient nie mam bezpośredniego kontaktu z kimś technicznym. Mogę tylko spekulować - być może jakieś zalanie, czy np. osunięcie ziemi po ulewach (w ogródku przy domu też mi się trochę zapadło) mogło uszkodzić jakiś światłowód. Orientacyjna godzina naprawy była przesuwana kilkakrotnie, jeszcze o 8 rano było wiadomo tylko że awaria "trudno usuwalna" i nie było wiadomo że o 9 ruszy.
Odebrałem wczoraj kilkaset połączeń i SMS-ów na 2 telefonach. Musiał być problem z dodzwonieniem się, jak dzwoniło na raz tyle osób. Późniejszy wyłączony telefon to po prostu efekt rozładowania baterii, oraz zwykła ludzka potrzeba przespania tych kilku godzin w nocy po ciężkim popołudniu i przed być może kolejnym ciężkim dniem.
Do forum ani do FB ani do maila nie miałem dostępu z prostej przyczyny - braku dostępu do Internetu.
Pracownik obsługujący FB jest na zwolnieniu lekarskim, więc realnie niewiele mógł zrobić poza przekazaniem informacji.
Drugi pracownik postanowił odejść z końcem lipca i też jest na zwolnieniu, więc od ponad tygodnia praktycznie zostałem sam z całą firmą i mnóstwem rozpoczętych tematów. Od 1 sierpnia zatrudniam 2 nowych ludzi, oraz niezależnie od tego nawiązuję współpracę z firmą zewnętrzną wykonującą instalacje i prace wysokościowe.
Łącze zapasowe było i przez długi czas działało, niestety nasz dostawca tego łącza niedawno zmieniał swojego dostawcę (nie informując nas wcześniej o swoich planach - zrezygnował z Limesa, bo Limesa kupiła Vectra), niestety po tych zmianach coś nie zostało do końca dogadane i nie zadziałało jak należy - sesja BGP była, dostawaliśmy pełną tablicę tras ze świata, ale nasze prefiksy nie były rozgłaszane dalej, co było trudne do zauważenia dopóki nie nastąpiła awaria głównego łącza (które jak dotąd przez wiele miesięcy działało jak należy). Teraz backup już działa i będzie regularnie testowany, by sytuacja się nie powtórzyła. Niestety takie testy są zauważalne dla klientów, więc jest to jakiś kompromis i nie możemy tego robić codziennie (test polega na symulacji awarii - wyłączanie pojedynczo kolejnych łącz).
Dostałem nawet SMS-a w którym ktoś snuje teorie spiskowe że nie działa bo nie zapłaciłem, co jest oczywistą bzdurą. Niestety nie wiem kto, ten ktoś nie raczył się przedstawić i numeru z którego przyszedł SMS nie znalazłem w bazie klientów. Nawet myślałem czy nie odpisać że "tak, mam już dość tego deszczu i właśnie lecę do ciepłych krajów z walizką pieniędzy" ale nie miałem już siły.
Ludzie, proszę - wyluzujcie trochę. Nikogo nie olałem, ale jestem tylko człowiekiem i robię co mogę. Czegoś faktycznie nie dopilnowałem, za co przepraszam i obiecuję na przyszłość dopilnować. W natłoku telefonów i SMS-ów mogło coś umknąć, więc jeśli nadal komuś coś nie działa i nie pomogło chwilowe wyłączenie routera, proszę o ponowny kontakt. Ważne - proszę nie resetować routerów do ustawień fabrycznych (niestety jest taki przycisk który kusi by nacisnąć), bo na pewno nie rozwiąże to problemu a przysporzy dodatkowej pracy.
10
1