Bonsoir,
Je vous fais suivre la news qui a été postée à l'instant sur cri.news :
From: Marin Hannache <mareo(a)cri.epita.fr>
Subject: [INFRA][MAINTENANCE] Interruption totale de service
Date: Sat, 20 Nov 2021 19:10:32 +0100
Newsgroups: cri.news
Bonjour,
TL;DR : une intervention sur le tableau électrique de la salle serveur
implique une coupure de la totalité des service qui y sont hébergés dans
la nuit du lundi 22 novembre 2021 au mardi 23 novembre 2021. Cette
coupure interviendra le lundi soir à 23:59 CET et pourra durer jusqu’à
mardi 07:00 CET. Nous invitons les étudiants souhaitant travailler
pendant cette période à prendre leurs dispositions en amont. Seront
notamment concernés :
- tous les services gérés par le CRI (ceux en *.cri.epita.fr) ;
- tous les services hébergés en salle serveur (dont ceux en
*.assistants.epita.fr, *.iaas.epita.fr, *.infoprepa.epita.fr,
*.ing.epita.fr, *.openstack.epita.fr, *.pages.epita.fr,
*.prepa.epita.fr, *.epita.net) ;
- l'authentification sur les services qui dépendent du SSO du CRI ;
- les VM du cluster OpenStack, qui seront éteintes avant la coupure ;
- les baies des laboratoires et majeures situées en salle serveur ;
- les postes des salles machines.
Une seconde coupure, plus courte, aura lieu ultérieurement.
Explication détaillée :
Dans une salle serveur ou dans un datacenter, les équipements sont
normalement alimentés via des lignes électriques sur lesquelles a été
placé en amont un onduleur. Un onduleur a deux fonctions : la première,
qui est la plus connue, est de permettre aux équipements de continuer à
être alimentés pendant quelques instants en cas de coupure de courant.
Les onduleurs disposent de batteries leur permettant de se prémunir des
coupures pourvu qu’elles ne soient pas trop longues. La seconde est de
protéger les équipements des défauts électriques qui pourraient les
endommager (variations anormales de la tension, déphasages, fuites de
courant, surintensités, etc.).
La salle serveur de l’école comporte des baies qui sont actuellement
ondulées individuellement : chaque baie dispose d’un ou plusieurs
onduleurs dont la puissance varie de 2kVA à 3kVA, 3kVA étant la
puissance maximale qui puisse être branchée sur une ligne 16A
monophasée. Certaines baies consomment actuellement plus de 3kVA, les
alimenter en se conformant à cette configuration implique d’utiliser
deux onduleurs chacun branché sur une arrivée 16A monophasée dédiée.
L’un des problèmes posé par cette installation est que lorsqu’un
onduleur se vide, l’autre disjoncte instantanément faute de pouvoir
supporter la charge totale de la baie, en dépit du fait que sa batterie
ne soit pas vide[1].
Par ailleurs, un tableau électrique est généralement alimenté en
triphasé, ce qui implique que chaque baie monophasée soit raccordée à
l’une des trois phases disponibles sur le tableau. Cette affectation a
été décidée par l’électricien qui a installé le tableau lors de la
construction de la salle serveur en octobre 2017. Il s’était basé sur la
puissance consommée par chaque baie en situation nominale à l’époque.
Enedis impose aux entreprises d’équilibrer leur consommation entre les
trois phases afin de préserver le réseau de distribution de tout un tas
d’effets indésirables[2]. Avec la montée en charge consécutive à
l’acquisition de nouveaux serveurs par le CRI, les laboratoires et
majeures, la répartition initiale n’est plus pertinente et il convient
donc de procéder à des ajustements.
L’acquisition d’un onduleur Eaton 93PS 20kVA a été planifiée il y a
quelques mois. Cet onduleur a pour vocation à être directement raccordé
à l’arrivée triphasée du tableau électrique de la salle serveur, toutes
les baies seront donc ondulées par cet onduleur. Par ailleurs, certaines
baies alimentées en 2x16A monophasé seront désormais alimentées en 2x32A
triphasé, ce qui permettra de répartir plus simplement la charge sur
chacune des phases : la répartition pourra se faire directement sur les
PDU[3] et donc serveur par serveur plutôt que baie par baie.
En outre, l’efficacité énergétique des onduleurs double conversion[4]
augmente avec la charge, avoir un unique gros onduleur est moins
consommateur que d’en avoir pleins de petits car moins d’énergie sera
dissipée en chaleur[5].
Un électricien est venu tirer les nouvelles lignes mais il reste encore
un certain nombre d’opérations à faire sur le tableau électrique qui ne
peuvent être effectuées que hors tension, en particulier il faut :
- raccorder l’entrée du nouvel onduleur sur le répartiteur principal ;
- raccorder la sortie de l’onduleur sur un nouveau répartiteur ;
- retirer les lignes existantes du répartiteur principal ;
- brancher les nouvelles lignes sur le nouveau répartiteur ;
- mettre en place un mécanisme de bypass pour pouvoir mettre
l’onduleur hors-tension en maintenant l’alimentation des équipements
électriques (pour pouvoir faire des maintenances sur l’onduleur
notamment).
Ces opérations devaient initialement avoir lieu le dimanche 21 novembre
mais une indisponibilité du prestataire nous oblige à les décaler au
lundi 22 novembre, nous avons fait en sorte qu’elles aient lieu de nuit
de sorte à minimiser l’impact sur les ING1 qui vont débuter 42sh le jour
même. Il y a un enjeu important à mettre le plus rapidement possible cet
onduleur en service car durant l’hiver le réseau électrique est
particulièrement sollicité, pour le chauffage notamment, et nous avons
déjà rencontrés des problèmes l’année précédente[6].
Une seconde coupure, plus courte, sera nécessaire pour la mise en
service définitive de l’onduleur par un technicien d’Eaton, vous en
serez averti par news dès que la date m’aura été communiquée.
[1] Dans notre cas où les serveurs disposent chacun de deux
alimentations réparties entre les deux onduleurs, la consommation
est divisée entre les deux alimentations. La répartition n’est
cependant pas complètement uniforme et des disparités peuvent
s’accumuler de sorte qu’un onduleur est généralement plus sollicité
que l’autre, d’où le fait qu’ils ne se déchargent pas à la même
vitesse.
[2] En cas de déséquilibre entre les phases, du courant est renvoyé au
neutre ce qui peut, dans des situations extrêmes, conduire à une
rupture de neutre. Dans ce cas, des phénomènes électriques trop
longs à expliquer dans une news peuvent endommager les équipements
raccordés sur le réseau voire provoquer des incendies.
[3] Un PDU (pour Power Distribution Unit) est une « grosse multiprise »
qui permet de distribuer l’électricité à des équipements dans une
baie.
[4] Les onduleurs double conversion convertissent systématiquement
l’entrée en courant continu puis de nouveau en courant alternatif,
de sorte à produire une sinusoïde parfaite, y compris en cas de
défauts en entrée, au prix d’une efficacité énergétique plus faible
sur des petites charges.
[5] L’effet Joule se paie deux fois en salle serveur : en énergie perdue
et en énergie nécessaire pour que la climatisation compense
l’augmentation de température.
[6] Cf. la news du 2 novembre 2021, la source de la variation de tension
venait d’une consommation électrique supérieure à la production dans
le Val-de-Marne, suite à un épisode de froid.
En nous excusant pour la gêne occasionnée,
--
Marin Hannache
EPITA - CRI
