Czyli hash zamiast średnika i problem gotowy.

Jak coś nie działa, to zacznij od sprawdzenia DNSów

To kolejna historia z gatunku „opowieści z informatycznej krypty”. Niejaki Hugo, w późnych latach 90-tych przekonał się, jak bolesna może być literówka. Nie pierwszy i nie ostatni. Okaże się, że prawidłowym rozwinięciem skrótu DNS jest raczej Devil’s Naming Service.

W tamtym czasie komercyjny Internet był optymistycznym spojrzeniem w przyszłość, a przerwy w dostawie oznaczały raczej brak prądu niż Sieci. Hugo był wówczas starszym administratorem w brytyjskim oddziale jednego z globalnych dostawców usług internetowych.

Brak automatyzacji sprzyja pomyłkom

Firma nie zainwestowała zbyt wiele w narzędzia i automatyzację, a wiele rozwiązań administratorzy wymyślali na bieżąco. Nie było żadnego portalu internetowego dla klientów i musieli wysłać e-mailem zgłoszenie na takie rzeczy, jak zmiany DNS, które zostały następnie wprowadzane przez dział obsługi klienta.

Szczęśliwsze i prostsze czasy. Aż do dnia, w którym Hugo przyszedł do pracy i nie poznał tego miejsca.

DNS był wyłączony dla każdego klienta, tak dla domeny podstawowej jak i dodatkowej. Brązowa materia naprawdę uderzyła w obracający się wentylator.

Vi ale nie jak „victory”

Hugo przystąpił do działania, ściągając logi serwera DNS i szybko znajdując błędy. Na początku nie miały żadnego sensu, dopiero potem zaczęło stopniowo narastać zrozumienie przyczyny problemu.

Niewiele pieniędzy włożonych w automatyzację właśnie się „zwróciło”. W tej ofierze skąpstwa na ołtarzu korporacyjnych korzyści znalazły się narzędzia do edycji DNS. Użyto kilku pomocniczych skryptów, które w zasadzie wywoływały Vi w celu edycji plików stref.

Wyjaśnijmy niektórym z naszych Czytelników, ze Vi jest czcigodnym (czytaj: starym) edytorem tekstu, uwielbianym przez administratorów Uniksa. Inni wolą Emacsa ale nie ciągnijmy dalej tego tematu.

Jeśli chodzi o skrypty, istniało kilka prostych szablonów pomagających w tworzeniu rekordu SOA ale nie dochodziło do faktycznej weryfikacji strefy. Nie było też historii zmian. Była tylko data i właściciel pliku.

Okazało się, że Hugo dokonał ostatniej edycji dwa tygodnie temu

Prawdopodobnie pracowałem nad skryptem perl lub bash i tego samego dnia zredagowałem plik strefy dla uk.bignet.net, który znajdował się w rekordzie SOA dla każdej hostowanej domeny.

Sprawdź oferty pracy na TeamQuest

W plikach strefy Bind znakiem komentarza jest średnik ale Hugo przypadkowo użył hasha, stosowanego właśnie w skryptach powłoki. Gdy Bind załadował plik strefy, zdecydował, że nie jest on już autorytatywny i zmiany pozostały niezauważone. Wszystko było w porządku, dopóki nie upłynęły domyślne dwa tygodnie życia. Ponieważ każda inna domena zależała od tej, jej wygaśnięcie oznaczało, że Bind przestał obsługiwać wszystkie inne domeny.

Wynik: chaos.

Poprawka była banalna. Hugo zmienił komentarz na średnik, pośpiesznie wypchnął aktualizację i zrestartował wszystkie serwery nazw.

Posłowie

Zadaniem Hugo stało się następnie, co nie było zaskakujące, stworzenie walidatora plików strefy DNS, aby zapobiec dalszym „wypadkom”. Zespół obsługi klienta nienawidził tego z powodów, których nie mogłem zrozumieć. Ale gdy uruchomiłem narzędzie sprawdzające we wszystkich hostowanych przez nas domenach to stwierdziłem, że około 15 procent z nich zawierało podstawowe błędy…