cerrato
2018-11-20 10:43

Modernizacja zasilania serwerowni.
Będzie trochę czytania, ale może komuś się ten opis przyda, albo okaże inspiracją do zrobienia czegoś podobnego u siebie ;)

Niedawno padła decyzja o modernizacji zasilania serwerowni (właściwie to decyzja zapadła już daaawno temu, ale jakoś nie było czasu ani ochoty, żeby to doprowadzić do końca). Oczywiście, można po prostu wstawić dużego UPS'a, ale można także podejść do tematu merytorycznie. Uznaliśmy z kumplem, że zrobimy to "na bogato", a pisząc to nie mam nawet na tyle na myśli budżetu (łącznie całość kosztowała ok. 10kpln), tylko o porządne i całościowe potraktowanie tematu.

Podstawowa sprawa - skoro mówimy o instalacji elektrycznej, to zacznijmy od tablicy rozdzielczej. Już wyjaśniam, od czego są poszczególne "pstryczki":

  • 1, 2 i 3: zabezpieczenia typu C25 na wejściu do skrzynki. Wprawdzie cała instalacja w serwerowni jest jednofazowa, ale do rozdzielni doprowadziliśmy wszystkie 3 fazy. Za chwilę wyjaśnię, dlaczego zrobiliśmy właśnie tak :)
  • 4: potrójna lampka sygnalizacyjna, po prostu pokazuje, czy z opisanych powyżej zabezpieczeń "wychodzi" zasilanie.
  • 5: selektor faz, czyli magiczne urządzenie, do którego doprowadza się 3 fazy, a ono wykonuje specjalną magię, dzięki czemu zawsze z niego wychodzi zasilanie jednofazowe. Wyjaśniam: do budynku jest doprowadzone zasilanie trójfazowe, mamy parę urządzeń, które z niego korzystają. Ale 95% (albo i więcej) urządzeń odbiorczych jest jednofazowych. Oznacza to, że po prostu czerpią zasilanie z jednej z faz. Jeśli z jakiegokolwiek powodu dana faza zaniknie (awaria dostawcy prądu, "wyskoczony" bezpiecznik czy uszkodzony przewód), to urządzenia zasilane tą fazą zostają odłączone od prądu. Analogicznie - wpinając po prostu szafę serwerową do jednej z faz, jakby ta faza padła, to zasilanie serwerowni także by przestało istnieć. W związku z tym stosujemy selektor faz. Jest to urządzenie, które "przekazuje" dalej pierwszą fazę. Jeśli ona zaniknie, to przełącza zasilanie na drugą. a jeśli ona także zniknie, to na trzecią. Oznacza to, że samo zasilanie serwerów jest niezależne od konkretnej fazy i dopóki którakolwiek z 3 faz jest zasilana, do szafy zawsze będzie doprowadzone zasilanie.
  • 6, 7 i 8: bezpieczniki B2 używane do sterowania stycznikami. Zasadniczo, przez selektor faz można puścić bezpośrednio prądy do 16A przy 230V, ale większe natężenia mogą go zabić. Dlatego, żeby była możliwość podłączenia większych obciążeń do selektora, konieczne jest dołożenie dodatkowych styczników. Producent selektora zaleca podłączenie styczników do selektora przez zabezpieczenie typu B2. Tak więc, pomiędzy selektor a stronę sterującą cewką przekaźnika, podłączamy zabezpieczenia
  • 9, 10 i 11: styczniki 25A opisane w poprzednim punkcie. Są sterowane przez opisany powyżej selektor faz, przez nie realnie przechodzi zasilanie puszczane na obwody. Jak wspomniałem - kontroluje je selektor faz, a w danej chwili może być wysterowany jedynie jeden przekaźnik. I miejmy nadzieję, że selektor się nie pomyli, bo jak puści jednocześnie zasilanie przez 2 albo 3 sterowniki, to może się zrobić duże BUM...:(
  • 12: przełącznik typu sieć/UPS. Domyślnie zasilanie podawane na obwody odbiorcze przechodzi przez przetwornicę 4kW, która je zarówno stabilizuje, jak i zapewnia bateryjne zasilanie awaryjne w wypadku zaniku zasilania w sieci. Ale czasem może się pojawić konieczność zasilenia odbiorów bezpośrednio z sieci - chociażby w razie prowadzenia prac serwisowych wymagających odłączenia przetwornicy, czy w razie jej awarii. Dlatego został zastosowany taki przełącznik. Ma on 3 pozycje: górna "puszcza" zasilanie z przetwornicy, środkowa odcina zasilanie od obwodów, a dolna "puszcza" na obwody odbiorcze zasilanie bezpośrednio z sieci. Jedyny mankament, na który za bardzo nie mieliśmy pomysłu (jest to do zrobienia, ale wymaga dość dużych wydatków oraz kombinowania z podłączeniem) to sposób, żeby dało się przełączać zasilania bez odłączenia szafy. Obecnie jest tak, że samo przełączenie trwa 2-3 sekundy, więc wystarczająco długo, żeby kompy zdążyły się wyłączyć :(
  • 13: zabezpieczenie B25 przed wyjściem na przetwornicę. Jak pisałem wcześniej - zasilanie serwerowni jest podtrzymywane przez przetwornicę z akumulatorami. Wszystkie opisane powyżej elementy mają na celu zapewnienie przetwornicy ciągłego zasilania, z trzech faz "wyciągają" jedną, która zostaje dostarczona do przetwornicy. To zabezpieczenie jest ostatnim w szafce, które jest przed przetwornicą, dzięki niemu możemy całkowicie odłączyć zasilanie przetwornicy. W połączeniu z przełącznikiem sieć/agregat pozwala ono całkowicie i z obu stron (zarówno od strony zasilania, jak i odbiorów) odciąć przetwornicę od reszty instalacji.
  • 14: różnicówka 25A 30mA dla obwodów odbiorczych. Chyba nie trzeba za wiele wyjaśniać ;)
  • 15: lampka kontrolna zasilania obwodów odbiorczych. Wcześniejsze lampki na wejściu pokazywały, czy tablica otrzymuje zasilanie z sieci. Ta lampka z kolei pokazuje, czy zasilanie jest dostarczane na obwody odbiorcze. Nieważne, czy to zasilanie idzie bezpośrednio z sieci, czy przez przetwornicę, jeśli z różnicówki wychodzi prąd, to ta lampka się będzie świecić.
  • 16-20: zabezpieczenia B16 obwodów odbiorczych. Tutaj chyba też nie ma czego wyjaśniać ;) Dwa obwody są przeznaczone do szafy serwerowej, pozostałe 4 podtrzymują kilka stanowisk w firmie, dzięki czemu w razie awarii zasilania będzie możliwość prowadzenia obsługi klientów.

Na tablicy brakuje jeszcze jednego elementu - miernika energii, który będzie pokazywał aktualne obciążenie/aktualny pobór. Oglądając dostępne rozwiązania (oraz patrząc, co jest dostępne od ręki w miejscu, z którego zamawiamy tego typu zabawki), wybór padł na CONTO D2. Niestety, podczas zamawiania popełniłem błąd i zamówiłem wersję D2-B, który działa jak typowy licznik prądu, czyli pokazuje łączne zużycie od chwili jego zainstalowania i na tym się kończą jego możliwości. Licznik wymieniłem na taki, jaki chciałem i przy okazji go zainstaluję. Niestety, ponieważ wiąże się to z koniecznością odłączenia zasilania od szafy - czekam z tym na "okazję", czyli zrobię to podczas prowadzenia innych prac, które wymagają i tak wyłączenia zasilania, a na razie moje CONTO leży u mnie na biurku, patrzy na mnie i powoduje wyrzuty sumienia ;)

To by było na tyle. Za pewien czas, jak dokończę drugą część systemu zasilania - czyli przetwornicę, akumulatory itp, jeśli ktokolwiek będzie zainteresowany moimi dzisiejszymi wypocinami, wrzucę drugą część na blog ;) Obecnie wprawdzie wszystko już działa, ale na tylko 4 akumulatorach, do tego stojących luzem na podłodze i podpiętych prowizorycznie. Nie ma się czym chwalić, ale jak to skończę to chętnie pokażę :)

EDIT:
w związku z komentarzami @Mjuzik dodałem ostanie foto - czyli głównej rozdzielni. Pojawiła się kwestia braku zabezpieczeń przepięciowych. Rzeczywiście - w opisanej rozdzielni czegoś takiego nie ma, ale są one w głównej rozdzielni, która "ogarnia" cały budynek. Mamy tam zainstalowane moeller SPB 12/280, które zabezpieczają całość. Po głównej rozdzielni są zainstalowane podrozdzielnie, które obsługują dane segmenty budynku, a opisana przeze mnie tablica do zasilania serwerowni jest jedną z nich. Nie ma sensu duplikować zabezpieczeń, aczkolwiek uwaga @Mjuzik o tych zabezpieczeniach była słuszna :)

grski

co prawda do elektryki mi daleko, ale lubie sobię merytoryczne wpisy poczytać :D bardzo ciekawy!

cerrato

@grski: dzięki :) A co do elektryki i spraw technicznych - starałem się pisać w miarę łatwy i opisowy sposób tak, żeby każda w miarę ogarnięta osoba zrozumiała, o co chodzi. Pytanie - czy mi się udało?

grski

@cerrato yup, biorąc pod uwagę to, że moja styczność z elektryką ogranicza się do czasów, kiedy na budowie kable kładłem czy gniazdka podłączałem, to było dość jasne jasne

cerrato

@grski: to się cieszę :) Aczkolwiek, szczerze mówiąc, to co opisałem powyżej dużo bardziej skomplikowane nie jest. Fakt, że wykombinowanie tego chwilę nam zajęło, ale jak się patrzy na gotowy opis to wszystko wydaje się proste ;)

Mjuzik

Obawiam się że użyłeś zbyt dużych zabezpieczeń dla przetwornicy. Jakiej mocy jest przetwornica? Bo wg wyliczeń powinna mieć ok 5.5 kW. Jeśli ma dużo mniej należałoby użyć mniejszego zabezpieczenia :) Do tego jest coś takiego jak selektywność zabezpieczeń. Innymi słowy każde zabezpieczenie powyżej powinno mieć wyższą wartość. Przydałby się również schemat skrzynki, łatwiej by to było sobie zobrazować :) Dodałbym do tej waszej skrzynki również ogranicznik przepięć (B+C). Do skrzynki potrzebny będzie również obwód na ładowanie akumulatorów. Pozdrawiam :)

axelbest

Nawet ja zrozumiałem :)

cerrato

@Mjuzik: nie wiem, czy powinienem Ci odpisywać, bo nie dałeś "łapki w górę" ;)
A tak poważnie to wyjaśniam:

  • ładowanie akumulatorów jest po stronie potwornicy, jak ona dostaje zasilanie to automatycznie sama ogarnia temat ładowania, w związku z czym nie ma potrzeby dodawania osobnych obwodów / uwzględniania ładowania akku
  • stopniowanie zabezpieczeń w teorii ma sens, ale w praktyce i tak jak pójdzie jakaś konkretna zwara, to strzela wszystko po drodze, czasami aż do BM'ów ;) Poza tym zwróć uwagę na klasy zabezpieczeń - na wejściu mamy C25, potem B25, a na odbiorach B16
  • schematu nie wrzucę, bo go nie mam, a nie chce mi się teraz go robić. To, co jest powstawało w trakcie burzy mózgów na kartce, a potem zostało po prostu przeniesione do skrzynki
  • Potwornica to http://voltpolska.pl/pl/glown[...]jny-power-sinus-4000-12v.html - 4kW z zabezpieczeniem 30A i mocą chwilową 12kW, więc ze spokojem. Na razie nie chcę o niej za dużo pisać, bo to jest temat na kolejny wpis :P
  • co do ogranicznika przepięć - w którym miejscu byś wstawił? Jakoś nie widzieliśmy takiej potrzeby, bo na zasilaniu jest zbędne (w razie czego potwornica ma swoje zabezpeiczenia), a na wyjściu masz już zasilanie stabilizowane i "ładne" ;)
Mjuzik

Stopniowe zabezpieczenia jak najbardziej mają sens. Gdy masz zwarcie chociażby w instalacji domowej to prąd masz często dużo wyższy niż zabezpieczenie (a wywala Ci tylko bezpiecznik z mieszkania). Ogranicznik przepięć zainstalowany na linii zasilającej. W momencie uderzenia pioruna itp. nie spali Ci przetwornicy :)

cerrato

Powiem tak - zarówno z mojego doświadczenia, jak i elektryka który to wykonał tablicę zgodnie z naszymi wytycznymi wynika, że w teorii to powinno działać, ale w praktyce to bywa różnie. Sam, jak klima na dachu zrobiła pewien czas temu zwarcie, chodziłem przed budynek żeby podnieść heble przy liczniku. Tak samo pewnie każdy miał sytuację, w której mieszkając w kamienicy zrobił zwarcie w mieszkaniu, w efekcie którego musiał podnosić bezpieczniki na klatce schodowej. Niestety, często teoria nie pokrywa się z praktyka, niby masz rację, ale i tak wiem, jak to by się skończyło. Poza tym jak napisałem - jest pewne stopniowanie zastosowane.
A co do przepięć - jeśl ci chodzi o coś takiego, to mam w głównej tablicy, do której jest podłączona ta mała. Opisana rozdzielnia jest dedykowana do obsługi zasilania awaryjnego i w strukturze instalacji ma rolę podrozdzielni (nie wiem, czy tak się to nazywa, czy własnie stworzyłem nowe pojęcie - ale wiadomo chyba, o co chodzi).

Mjuzik

@cerrato: i wtedy wychodzi własnie brak selektywności zabezpieczeń :) Ucząc się w technikum podczas warsztatów również potrafiliśmy wywalić główne bezpieczniki. Aż wstyd że w szkole energetycznej selektywność ta nie została zachowana. Inna kwestią jest też jakość zabezpieczeń... bo jeśli bezpiecznik w odpowiednio krótkim czasie się nie wyłączy to logicznym jest że prąd pójdzie dalej i zacznie wywalać następne :) Ogólnie bardzo prosta zasada odnośnie zabezpieczeń - powinny być najsłabszym punktem całego obwodu :)

cerrato

@Mjuzik: po pierwsze - specjalnie dla Ciebie zrobiłem EDIT'a wpisu i dodałem foto. A po drugie - powtarzam, zabezpieczenia są "schodkowane". Na wejściu mamy c25, potem B25, a na końcu B16. Czy to nie jest selektywność Twoim zdaniem? Pytam nie żeby się czepiać, ale czegoś dowiedzieć. Jeśli uważasz, że to jest źle zrobione, to napisz proszę, jak Ty byś to widział.

Mjuzik

@cerrato: dyskusja przeszła na temat sensu selektywności zabezpieczeń. Wg tego co napisałeś o instalacji ta selektywność u Ciebie jest zachowana. Wątpliwości miałem odnośnie zabezpieczeń na stycznikach i zabezpieczenia na przetwornicę (myślałem że są jedno po drugim) :)

cerrato

No bo starałem się zrobić to zgodnie z zasadami sztuki, ale nie zmienia to faktu, że i tak nie wierzę zbytnio w skuteczność takiego rozwiązania ;) To tak samo jak w programowaniu - możesz łapać wyjątki, kontrolować wycieki pamięci itp, a na końcu i tak nieraz aplikacja się wychrzani bez konkretnego powodu ;) Teoria swoje, a praktyka swoje :D

cerrato

@Mjuzik: a te zabezpieczenia B2 (bo zakładam, że o nich piszesz) są nie na wyjściu przekaźników, ale po stronie ich sterowania, separują selektor faz od styczników. Nie wiem za bardzo po co tam są, ale skoro producent wymagał, to tak daliśmy ;)

Mjuzik

@cerrato: Nie, do zabezpieczeń B2 nie mam zastrzeżeń, chodziło mi o 9, 10 i 11: styczniki 25A i 13: zabezpieczenie B25 :)

Mjuzik

@cerrato odnośnie zabezpieczeń jest dokładnie tak jak mówisz. Kiedyś miałem awarię silnika gdzie przyczyna awarii obwodu było własnie zabezpieczenie silnikowe, które nie wiedzieć dlaczego po prostu się spaliło (nie wyłączając obwodu). Podejrzewałem luźne styki, ale nawet po spaleniu wszystko było sztywne. 100% bezpieczeństwa nie ma nigdy :P

cerrato

Co do tego B25 - on ma raczej na celu odcięcie zasilania od potwornicy, a nie zapewnienie ochrony nadmiarowo-prądowej. Potwornica posiada swoje zabezpieczenia na wejściu i wyjściu, więc ten bezpiecznik jest bardziej w roli włacznika. A ma 25A, żeby czasem nie był za słaby i nie wystrzelił nieproszony ;)

Aryman1983

łoo Panie, ile czytania! Łapka w górę :-)

cerrato

@Aryman1983: i to jest chyba klucz do sukcesu. Dawać więcej długich wpisów. Ważne, żeby pierwsze kilka zdań stwarzało wrażenie sensu, dalej można lorem ipsum wrzucić, a ludzie i tak będą plusować bo nikt tego nie czyta, a cały wpis ładnie wygląda :D

Aryman1983

@cerrato: jak dodasz jeszcze kilka editów to na ekranie przeglądarki się nie zmieści :-P

czysteskarpety

i obrazki, jak ktoś słabo czyta to chociaż są obrazki do pooglądania :]

matarata

@cerrato: czy urządzenia odbiorcze np. serwery macie z podwójnymi zasilaczami?
Ja w oparciu o własne doświadczenia pomyślał bym o osobnych różnicówkach na obwody serwerowni i na "inne stanowiska" bo minimalne przebicie kładzie ci całą sieć

cerrato

@matarata: bardzo słuszna uwaga, chyba tak zrobię :) (chodzi o różnicówki - osobne na serwer, osobne na biura). A co do zasilaczy - zgadza się, większość serwerów ma podwójne, więc zrobiłem tak, że jeden z nich jest zasilany przez ten cały mechanizm opisany powyżej, a drugi po prostu wpięty do sieci. W szafie mam 7 gniazd, z czego 5 po UPS, a 2 wpięte bezopośrednio. A do każdego gniazda wpięta listwa zasilająca montowana rackowo.

matarata

@cerrato: pracuję w dużej firmie i mamy dużo większe systemy napięcia gwarantowanego - przez co częściej niż byśmy chcieli są awarie, dlatego przy serwerach którymi się zajmuje mamy dodatkowe ups-y, które po 2-3 minutach braku zasilania zamykają serwery. Trzeba też uważać aby nie podłączać na jeden obwód zbyt dużo urządzeń ze względu na duży prąd początkowy po podaniu zasilania i zadziałanie bezpiecznika. Wasz układ zasilania będzie działał dobrze, niestety to kwestia czasu kiedy pani z biura przetestuje jego wytrzymałość czajnikiem ;). Powodzenia w dalszych pracach.

cerrato

Tego akurat się nie obawiam, bo to są gniazdka schowane pod lub za biurkami, za bardzo nie ma do nich swobodnego dostępu, poza tym w tamtych biurach pracuje ok 10 osób, które stwarzają pozory ogarniętych ;) co do wyłączania serwerów - celowo tego nie dałem, bo zawsze w firmie ktoś jest, a wieczorami i w nocy mamy stróża, który zauważy zanik prądu i odpali spalinowy agregat 50kW. Nie chciałem teraz o tym pisać, planowałem o tym wspomnieć dopiero w kolejnym wpisie na blogu. Tak samo jak o 8 akumulatorach 200Ah każdy, które są podpięte do potwornicy i podtrzymają serwery przez kilka godzin :)