Masivos outages en datacenters en NY

Varios datacenters y carriers han quedado fuera de servicio a consecuencia del huracán Sandy, el impacto no ha sido por vientos sino por las inundaciones (tal y como se esperaba)

Espero que por aquí nadie haya salido afectado porque la recuperación podría ser lenta debido a que la tormenta aún sigue y las inundaciones parecen ser extensas

 

Esta tormenta ha sido un perfecto ejemplo de porqué deben existir planes de recuperación ante desastres.

Esperemos que todo pueda volver a su sitio pronto.

Saludos.

 

Hay una buena cobertura en WHT http://www.webhostingtalk.com/showthread.php?t=1205042

Muchos carriers (cogent, internat, xo) afectados, esto podría impactar un poco las conexiones Europa/America ya que NY es normalmente la puerta de entrada del tráfico proveniente de Europa

 

Yo tengo servidores en 4 datacenters dentro del área de Sandy, 2 que no han sido tan afectados que están en el área de Ashburn y 2 que están en el centro de la tormenta en el área de New Jersey.

Afortunadamente he estado recibiendo información desde hace una semana mas o menos de todas las medidas "adicionales" que se han tomado para prevenir cualquier incidente ante la llegada de Sandy, entre otras :
* Se hicieron pruebas de las UPS y todos los generadores autónomos ( más de 100 en total y más de 10 MW sumando los 4 datacenters ).
* Se revisaron los niveles de diesel para los generadores y se programaron entregas adicionales con los proveedores en caso de un corte extendido de energía, podrían estar semanas funcionando sin problemas.
* Se aumentó el staff on-site para estar atentos a cualquier emergencia y los tengo disponibles online por cualquier requerimiento ... además agregaron lineas de soporte de respaldo por si acaso.
* Se hicieron pruebas de los planes de emergencia preparados para este tipo de eventos.
* He tenido información disponible cada una hora del estado de la tormenta, incluso live webcams externas al datacenter.

Respecto a los carriers tampoco he tenido ningún problema, hay varios que han tenido o están teniendo serios problemas en el área céntrica de Nueva York como Cogent e InterNap, pero cada datacenter que uso cuenta con múltiples carries ( hasta 12 ) asi que la caída de alguno no afecta la conexión.

El viento y la lluvia no son problema para ninguno de estos datacenters, están diseñados y construídos para soportar vientos mucho mas fuertes y respecto a las inundaciones tampoco debería tener ningún problema porque al seleccionar un datacenter además de analizar cientos de parámetros me preocupo de revisar el nivel de riesgo de inundación, terremotos, tornados, huracanes, etc ... por lo mismo evito la costa Oeste de USA por los terremotos, para un huracán se pueden tomar muchas medidas preventivas ... para un terremoto muy pocas.

Lo bueno de este tipo de incidentes es que justamente sirve para probar la calidad de los diferentes datacenters, la experiencia y capacidad demostrada ante situaciones más críticas es muy importante y mientras mas eficientes medidas se toman y logran funcionar sin ningún problema, mayor confianza tengo en ese datacenter.

 

Bien por ti, pero aún falta un poco para que esto este terminado, muchos datacenters están funcionando con generadores y los suministros de diesel pueden tardar más de lo acordado (independientemente de lo que digan los contratos si los caminos están inundados/bloqueados) el combustible puede no llegar a tiempo, por regulaciones hay un límite en cuanto a la cantidad de diesel que un datacenter puede guardar

Yo por la misma razón evito la costa este, oeste y amo a Chicago

 

Sip ... pero gracias a todo lo que hice previamente como el análisis de riesgo de cada datacenter, me permite estar super tranquilo ante este tipo de catástrofes ambientales ... muchas cosas no suceden por "casualidad" o por "buena suerte".

Por lo mismo JAMAS tengo "todos los huevos en la misma canasta" y tengo todo distribuído y siempre prefiero los proveedores que trabajan con más de un datacenter ... además es muy importante conocer los proveedores que se especializan en dar servicios de datacenter, por ejemplo Equinix para mí es sinónimo de calidad a toda prueba, todos sus datacenters son de primer nivel y tienen una infraestructura impresionante.

"Afortunadamente" ninguno de los 4 datacenters en el área ha necesitado utilizar generadores hasta el minuto, ya que obviamente también cuentan con múltiples sistemas de alimentación redundante ... y sin hacer ningún reabastecimiento de diesel podrían estar varios días a full carga operando solo con los generadores

En la costa Este no hay tanto problema en estar en la costa, pero si hay que preocuparse de estar "como mínimo" a unos 60 pies ( como 20 metros ) sobre el nivel del mar, eso se puede ver fácilmente usando Google Earth y posicionandose sobre el datacenter.

Yo también utilizo un par de datacenters en Chicago y también para los backups remotos prefiero Chicago y Atlanta por seguridad

Con esto de las inundaciones en NY me acordé de un hecho similar ocurrido en Chile en la época "prehistorica" de la computación, cuando se trabajaba con tarjetas perforadas y cintas ... allá por 1982 y debido a la crecida del río Mapocho se inundó "completamente" uno de los pocos "datacenters" que había en el país ( ECOM ) y que estaba ubicado "bajo el nivel del suelo" ... tuvieron pérdidas por más de 3,5 millones de US$ de esa epoca solo en equipamiento ( mainframes IBM ), supongo que no había backups remotos y la empresa prácticamente desapareció en unos pocos minutos, ya que no pudieron recuperarse nunca más ...

 

Ya he visto varias OFERTAS ESPECIALES para todos aquellos que han tenido problemas con su datacenter actual ... ofreciendo descuentos, asistencia en la migración y garantías de que no se verán afectados con un evento como este ... DOWN AGAIN ???

A más de algun datacenter le va a salir bastante caro no haber sido previsor

 

Si lo que esta pasando en NY pasara en España más de un CPD estaría down por mucho tiempo...

 

Toda la razón!

Si se fuera la electricidad la que se liaba! Media España sin Internet. Ya que si se van a la ###### los grandes los pequeños ni te cuento.

PD: Down no, el tejado del cpd habría volado por los aires y sin datacenter. Jaja.

 

Creo que en cualquier otro país del mundo el problema sería muchísimo mas crítico y demorarían mucho más en recuperarse ... si es que pueden recuperarse , y esa es precisamente una de las razones de por qué algunos preferimos datacenters en USA.

Tienen la gran ventaja de poder contar por ejemplo no solo con 2 o 3 carriers, sino que algunos hasta con más de 10 ... asi que si se caen 2 o 3 todavía quedan varios más para soportar la conexión a internet.

En este caso igual vale la recomendación de preferir datacenters con el "subterráneo" ubicado a más de 20 metros sobre el nivel del mar, rio o lago cercano ... ya que de nada sirve tener los servidores sobre esa altura pero los generadores en un subterraneo que se puede inundar ... o todo sobre el piso 4 pero si la calle se inunda no los pueden reabastecer de diesel ... como les estaba sucediendo a algunos ahora en NY.

En estos casos es cuando es crítico contar con más de un datacenter "por si acaso" y haber gastado algunas monedas en backups remotos ya que siempre algo puede fallar

 

Aca en Chile con el terremoto 8.8 Richter del 2010 un datacenter de ultima generación "a prueba de terremotos" no salió volando el tejado ni se cayeron los muros ... pero salieron volando las UPS

 

La verdad que neocomp tienes toda la razón, para fenómenos naturales, España esta muy verde y USA esta bastante metida en ello.

 

El punto @neocomp no es el número de proveedores de conectividad que tenga el datacenter, sino el número de rutas diversas por las que estos carriers "salgan" a internet, algo que no todos los datacenters/proveedores publican

Por ejemplo puedo tener 20 carriers todos vía una misma fibra punto a punto, si se me va la fibra se van los 20 carriers con ella, esto es bastante común en datacenters de empresas pero normalmente no sucede en datacenters neutrales

Muchos años atrás usaba un datacenter en FL que se jactaba de múltiples proveedores de conectividad, en una construcción cercana al DC una retro-excavadora rompió accidentalmente el cable de fibra óptica y todo el datacenter se fue abajo por varias horas. En resumen un par de buenos carriers vía diferentes rutas es preferible a múltiples rutas vía una sola ruta

Probablemente no muchos lo notaron pero si impacto bastante el tráfico Europa/America

Estuve monitoreando vía http://www.just-ping.com/ haciendo algunos pings y trazas a conocidos proveedores en USA e incluso a mi misma red y la gran mayoría del tráfico proveniente de Europa tenia pérdida de paquetes o trazas incompletas, no tan grave como para cortar la comunicación pero lo suficiente como para perturbar servicios sensibles, voip, juegos, etc.

En cuanto a España, desconozco como operan sus datacenters pero asumo que la falta de preparación es más debido a que no es común que tengan que lidiar con estos desastres, aquí por ejemplo si Sandy hubiera impacto Florida, probablemente a nivel de comunicaciones el impacto hubiera sido mínimo, es una zona natural de huracanes, están bien preparados para ellos, en cambio en NY esto no es común

Particularmente yo evito datacenters en zonas propensas a desastres naturales pero también en zonas densamente pobladas (grandes ciudades) y que no colinde con autopistas (se imaginan un camión de carga sin frenos abriéndose paso por la sala de servidores?)

 

Miren esto http://www.datacenterknowledge.com/...-mobilizes-diesel-bucket-brigade-at-75-broad/

Es Pier1 están subiendo el diesel vía escaleras desde el nivel de la calle hasta el piso 17 !!!

Esto debido a que las bombas del diesel se encuentran en el sótano y está inundado, ahora espero que nadie se le ocurra encender un cigarro ahí

 

Absolutamente de acuerdo contigo, solo que no alcance a hacer una explicación mas detallada de los carriers ... pero obviamente lo ideal es tener múltiples carriers con múltiples rutas ... hace muchos años atrás a PowerVPS le pasó algo muy parecido con otra retro que se llevó un "troncal de fibra" y ocasionó problemas a varios datacenters ... lo bueno es que aprenden con la mala experiencia

Afortunadamente los nuevos datacenters están siendo instalados justamente cerca de las ciudades pero no en áreas céntricas ni superpobladas y con una gran extensión de terreno para hacer ampliaciones, no tener problemas de acceso ni inundaciones ni restricciones con las reservas de diesel.

 

Muy cierto Carlos lo que comentas!

Aquí sopla un poco de viento y ya estamos con cortes de electricidad, arboles caídos, tejados arrancados y volando por los aires.

Salu2,

 

Otro interesante artículo de datacenterknowledge.com (en ingles) http://www.datacenterknowledge.com/...y-data-centers-battle-back-from-storm-damage/

Impresionante lo de Peer1 hasta algunos clientes se apersonaron en el sitio para ayudar a subir el diesel por las escaleras hasta el piso 17

 

Hombre mientras sea diesel no pasa nada que enchufen un cigarro jejeje.

Ahora sin salirme del tema... valla tela con los artículos, impresionante.

Sigo diciendo lo mismo en España no hay un plan de emergencia como en Nueva York.

Un saludo.