niepodam
Historia https://piekielni.pl/88630 przypomniała mi:
Pracowałem kiedyś w firmie robiącej oprogramowanie wewnętrzne dla dostawcy usług internetowych. Program ten odpowiadał (między innymi) za włączanie i wyłączanie usług klientom.
W nowym wdrożeniu miał być bajer, że jeśli ktoś ma w systemie ustawioną datę wygaśnięcia umowy - system automatycznie zdezaktywuje mu usługę (wcześniej wszystko było ręcznie).
Wszystko przeszło przez testy wewnętrzne, klienckie i nadeszła noc wdrożenia. O godzinie 1 w nocy kolega odpowiedzialny za ten system dostał sygnał od adminów, że włączają nową wersję, patrzy więc w logi...
System zdezaktywował usługę jednemu użytkownikowi, drugiemu, trzeciemu... Zanim został awaryjnie wyłączony poszło około 300 dezaktywacji.
Okazało się, że system nie sprawdzał, czy data wyłączenia usługi nadeszła, tylko czy jest ustawiona w ogóle. Zaczął więc wyłączać usługi wszystkim, którzy mieli umowy terminowe.
Niestety tutaj nie wystarczyło przywrócić bazy danych. Wyłączenie i włączenie usługi polega na wysłaniu odpowiedniego sygnału do fizycznego urządzenia. Tyle dobrze, że system wypisywał co i komu faktycznie wyłącza. Ręczne przywracanie usług zajęło (już całemu zespołowi) resztę nocy.
Pracowałem kiedyś w firmie robiącej oprogramowanie wewnętrzne dla dostawcy usług internetowych. Program ten odpowiadał (między innymi) za włączanie i wyłączanie usług klientom.
W nowym wdrożeniu miał być bajer, że jeśli ktoś ma w systemie ustawioną datę wygaśnięcia umowy - system automatycznie zdezaktywuje mu usługę (wcześniej wszystko było ręcznie).
Wszystko przeszło przez testy wewnętrzne, klienckie i nadeszła noc wdrożenia. O godzinie 1 w nocy kolega odpowiedzialny za ten system dostał sygnał od adminów, że włączają nową wersję, patrzy więc w logi...
System zdezaktywował usługę jednemu użytkownikowi, drugiemu, trzeciemu... Zanim został awaryjnie wyłączony poszło około 300 dezaktywacji.
Okazało się, że system nie sprawdzał, czy data wyłączenia usługi nadeszła, tylko czy jest ustawiona w ogóle. Zaczął więc wyłączać usługi wszystkim, którzy mieli umowy terminowe.
Niestety tutaj nie wystarczyło przywrócić bazy danych. Wyłączenie i włączenie usługi polega na wysłaniu odpowiedniego sygnału do fizycznego urządzenia. Tyle dobrze, że system wypisywał co i komu faktycznie wyłącza. Ręczne przywracanie usług zajęło (już całemu zespołowi) resztę nocy.
Ocena:
163
(171)
Komentarze