Asesina mi red !

800-HELP.com · 31-oct-2007, 17:30

Salu2 a todos

Me han encargado el diseño de una red para una empresa de hosting, los parámetros del cliente son:

1- Escalabilidad: Debe ser posible ampliar las capacidades fácilmente sin ningún tiempo fuera de línea de la red y servicios.
2- Inversión inicial no mayor a $USD 50K
3- Soporte multipanel: El diseño debe contemplar la posibilidad de que la empresa opere con varios paneles de control
4- Soporte para VPS: El cliente desea ofrecer servicios de renta de VPS, con VPN y en red aparte
5- Soporte para dedicados: El cliente desea ofrecer servicios de dedicados en red aparte
7- Colocación: Debe haber espacio para la colocación de servidores
6- Virtualizado
7- Debe ser failover
8- Debe soportar inicialmente ~500 usuarios y ~5000 dominios de hosting compartido
9- Todo la infraestructura debe ser DELL
10-Debe estar contenida en un rack

Para ello he ideado lo siguiente (son libres de críticar/sugerir donde crean)

He divido el proyecto en 3 partes:
a) Plataforma de hosting compartido y resellers de hosting compartido.
b) Plataforma de VPS/Dedicados
c) Plataforma de Colocación

Cada plataforma tendrá su propia red independiente

a) Plataforma de hosting compartido:

2 Servidores Dual Quad Core 16 GB de RAM 4 discos scsi 300 GB/cu en RAID 5
1 Servidor NAS de 15 TB o 36 TB (equipado con 15 o 36 discos SATA II 1TB/cu)
1 Switch 24 puertos gbE (4 puertos serán 10gbE)
1 Load Balancer

Funcionamiento:

En cada uno de los servidores físico he planeado instalar XEN, y crear servidores virtualizados para cada servicio (http, IIS, MySQL, MSSQL, Mail, NS1, NS2, Panel de control) la data será almacenada en el servidor NAS el cual usa iSCSI y está conectado a los servidores a 10 gbE vía el switch, el segundo servidor físico replica los servidores virtualizados del primero, un load balancer entre los servidores y la conexión principal a Internet decide a que servidor enviar la petición basado en la disponibildad y carga de cada uno

Probablemente utilice OpenFiler en el servidor NAS y aún estudio alternativas para el Load Balancing

Pros:
Fácil administración
Optimización de recursos,puedo cambiar dinámicamente los recursos de un servidor virualizado
Seguridad: La falla de un servidor no deja el servicio inoperativo
Rendimiento: al trabajar con NAS y redes de gbE y 10 gbE se logran altas velocidades y baja latencia
El sistema solo ocupa 7U

Contras:
En caso de falla del NAS toda la red queda fuera de servicio
En caso de falla del Load Balancer toda la red queda inoperativa.

b) Plataforma de VPS/Dedicados

Los VPS y Dedicados estarán en el mismo rack pero conectados a su propio switch a 1000Mbps, utilizaré Dell blade servers, de esta forma puedo empacar 10 servidores en 7U y ahorra costos de energía, cada blade (en caso que se necesite más de uno) irá conectado al switch principal a 10gbE, de esta forma puedo garantizar 100mbps puros de entrada/salida a cada servidor dedicado o vps

Los servidores destinados a VPS operan con XEN, serán XEON quad Core equipados con 12 GB y dos discos scsi

Los VPS serán en modelos de 256, 512 y 1024 MB de ram con una densidad de 32,16 y 8 vps por host respectivamente.

PROS
Buena velocidad de hasta 100mbps por servidor sin congestiones
Diseño sencillo y sin complicaciones
Fácil añadir más servidores físicos
Ahorros de energía al usar blade servers
Solo usa 7U por cada 10 servidores

Contras:
Solo es posible ofrecer servidores XEON (dual core, quad core, dual dual core y dual quad core) debido a que los blade servers de DELL solo son ofrecidos con procesadores de la gama alta, sin embargo los precios son bastante competitivos

Usar solo dos discos SCSI para servidores VPS de alto rendimiento puede ocasionar problemas de IO

c) Plataforma de colocación

Los servidores de colocación, utilizarán el espacio disponible del rack, el cual para el inicio es de apx 28 U se colocará un switch por cada 10 servidores, el cableado y switch operan a 1000 Mbps y se conectan al switch principal vía puerto de 10gbE

PROS:
Diseño sencillo
Velocidad, cada servidor puede operar a 100 Mbps incluso bajo condiciones de máxima carga
Seguridad, la red opera bajo VPN

El diseño soporta sin problemas 5000 dominios fácilmente expandibles, balanceado y failover, alrededor de 160 VPS, 20 servidores dedicados y 10 servidores en colocación
El número máximo de servidores físicos que soportará el rack es de apx 43 en rack standard 42U, me preocupa el calor y consumo de energía sin embargo, 30 de los servidores serán Blades (más eficientes en calor y energía) Dell afirma que es posible empaquetar 60 blades en un rack, sin problemas de calor o energía. zPor supuesto los blade servers para dedicados y vps son serán añadidos bajo demanda/pedido al igual que los servidores para colocación.

Cualquier comentario será siempre bienvenido

AMateos · 31-oct-2007, 17:40

Offtopic: Quiero algo así por reyes

800-HELP.com · 31-oct-2007, 17:46

Cita:

Iniciado por AMateos

Offtopic: Quiero algo así por reyes

Bueno ya sabes cuanto cuesta, no incluye conectividad, alquiler de rack, instalación ni honorarios.

Al ritmo que me han contado que creces pronto... pronto....

AMateos · 31-oct-2007, 17:58

Sigo cometiendo errores, más de los que me gustarían jeje. A ver si un día estás disponible vía skype y hablamos (sotemes)

ideasmultiples · 31-oct-2007, 20:54

Cita:

Iniciado por 800-HELP.com

Bueno ya sabes cuanto cuesta, no incluye conectividad, alquiler de rack, instalación ni honorarios.

Al ritmo que me han contado que creces pronto... pronto....

El presupuesto que tienen es más o menos lo que cuesta sólo el diseño e instalación de una red así

Si quieres una solución integrada, que además te permite windows y linuz + dedicados, etc..

Un primer paso es
http://www.swsoft.com/en/products/hspcomplete/
y con este tienes toda la solución empaquetada
http://www.swsoft.com/en/products/pem/

800-HELP.com · 31-oct-2007, 22:46

Cordial Saludo

De momento me interesa solo el diseño de la red y la elección de hardware, el software de panel de control puede esperar

ideasmultiples · 31-oct-2007, 23:18

Cita:

Iniciado por 800-HELP.com

Cordial Saludo

De momento me interesa solo el diseño de la red y la elección de hardware, el software de panel de control puede esperar

Estás equivocado en eso, hay que hacer el diseño de la red en función del software que vayas a utilizar no al revés..

PEM no es "un panel de control" es un sistema de gestión de infraestructuras de hosting y comunicaciones basada en la venta de servicios.

Si vas a montar una infraestructura de las características que quieres, debes empezar por elegir el software para el manejo de las aplicaciones y servicios que vas a vender, no olvides que lo importante es el tener una solución final óptima para el cliente.

Si lo haces al reves y te basas en el método "altas manual" en una infraestructura así necesitarás MUCHO más personal, que es el costo más alto, y más dificil de encontrar, y el negocio dificilmente competira con los precios de mercado...

Es muy diferente el montar un servidor para dar servicio de hosting, que ya está dentro de una infraestructura de ese tipo, que montar una PLATAFORMA diseñada para dar servicio de hosting.

800-HELP.com · 01-nov-2007, 00:12

Conozco bien PEM,

Sin embargo no está en la lista de "probables" la elección será entre cPanel, plesk y H-Sphere, con una alta probabilidad de que sea más de uno o todos los elegidos, por eso trato de desarrollar un esquema "Software de Control Independiente"

Estoy buscando opiniones más bien enfocadas a sistemas NAS, Load Balancers, iSCSI, redes 10gbE etc...

ideasmultiples · 01-nov-2007, 00:34

Cita:

Iniciado por 800-HELP.com

Conozco bien PEM,

Sin embargo no está en la lista de "probables" la elección será entre cPanel, plesk y H-Sphere, con una alta probabilidad de que sea más de uno o todos los elegidos, por eso trato de desarrollar un esquema "Software de Control Independiente"

Estoy buscando opiniones más bien enfocadas a sistemas NAS, Load Balancers, iSCSI, redes 10gbE etc...

Insisto, si no sabes que vas a usar no puedes diseñar nada, podrás hacerte "ideas", pero es es como querer colocar un satélite y pedir el diseño sin saber para que se va a utilizar

Apolo · 01-nov-2007, 03:33

Cita:

Iniciado por 800-HELP.com

Me han encargado el diseño de una red para una empresa de hosting

No sé si lo he pasado por alto, pero me parece curioso que menciones "diseño de una red" y no veo nada con respecto precisamente a la configuración de la red.

Yo pensaría en al menos 2 Cisco 65xx (o 12xx, si el presupuesto lo permite) + HSRP, y después otros dos Switches Layer 3 de distribución.

Saludos.

800-HELP.com · 01-nov-2007, 04:10

Quería opiniones antes de entrar de lleno en hardware específico

todos los switches serán layer 3 tengo pensado usar algunos DELL PowerConnect 6224 o 6228, equipados con los módulos de expansión 10gbE

El proveedor entrega al rack la conexión inicialmente de 100Mbps pero a 1000 por lo que no es necesario un 6500, todo está en un solo rack y no espero más tráfico que un Gbps

Apolo · 01-nov-2007, 22:25

Cita:

Iniciado por 800-HELP.com

a) Plataforma de hosting compartido:

2 Servidores Dual Quad Core 16 GB de RAM 4 discos scsi 300 GB/cu en RAID 5
1 Servidor NAS de 15 TB o 36 TB (equipado con 15 o 36 discos SATA II 1TB/cu)
1 Switch 24 puertos gbE (4 puertos serán 10gbE)
1 Load Balancer

Funcionamiento:

En cada uno de los servidores físico he planeado instalar XEN, y crear servidores virtualizados para cada servicio (http, IIS, MySQL, MSSQL, Mail, NS1, NS2, Panel de control)

Habría que hacer los números con más detalle, pero quizás sea mucho más económico tener más máquinas con menores prestaciones. Por ejemplo varios Xeon QuadCore 3220, o incluso DualCore 3060. Y eso sin mencionar que es muy posible que el consumo de energía sea menor. Nosotros pasamos de usar Dual Processor Dual Core a usar estos Xeon QuadCore, y no solamente obtenemos mejor o igual desempeño, sino que el consumo de energía se redujo a menos de la mitad. Y los 30xx consumen todavía menos.

Por otra parte, si se está pensando en una alta disponibilidad, no creo que tener 1 solo Load Balancer sea buena idea. Es mejor tener todo en pares.

Cita:

Iniciado por 800-HELP.com

Los servidores destinados a VPS operan con XEN, serán XEON quad Core equipados con 12 GB y dos discos scsi

(...)

Contras:
Solo es posible ofrecer servidores XEON (dual core, quad core, dual dual core y dual quad core) debido a que los blade servers de DELL solo son ofrecidos con procesadores de la gama alta, sin embargo los precios son bastante competitivos

Usar solo dos discos SCSI para servidores VPS de alto rendimiento puede ocasionar problemas de IO

Como ya hay un presupuesto definido, si quieres mayor I/O, entonces podrías pensar en hacer un cambio. Por ejemplo, ahorrarte el costo de las licencias Xen y mejor invertir ese dinero en una configuración RAID 10.

¿Y has pensado ya en la ventilación y refrigeración? Considero que es un punto importantísimo en la configuración de red, pues esta variable depende mucho de los equipos a usar y de la densidad de equipos por rack.

Saludos,

800-HELP.com · 02-nov-2007, 15:18

Gracias por tus útiles comentarios

Reconozco los puntos debiles los cuales a mi entender son:
- Un solo load balancer creo un único punto de fallo
- un solo servidor NAS creo un único punto de fallo para la plataforma de compartidos.
- Dos únicos discos en los servidores VPS (los que se van a rentar, los VPS internos están conectados al NAS) puede ocasionar que los clientes que hagan demasiadas operaciones de lectura escritura al disco pueden tener problemas de I/O wait

No creo que sea posible tener un segundo NAS ya sea conectado en mirror o en stand by, los más que puedo hacer es tener piezas de recambio en el sitio (tarjeta madre, disco, memoria y controladoras) el chasis dispone de fuentes y ventilación redunates, con esto podemos responder en menos de 60 minutos a una avería del NAS.

Para hacer un load balancer reduntante, es algo más complicado, la única forma práctica que se me ocurre es con un regla en el router, que si falla la comunicación con esa IP redireccione el tráfico a la IP del load balancer secundario, una gran ventaja es que solo usaré una IP externa por servicio, de esta manera es fácil hacer cualquier ruteo interno.

Para los VPS creo que no hay muchas opciónes, las tres cosas que se me ocurren son:
a) Utilizar los dos discos en RAID 0 con su correspondiente backup
b) Comprar discos con el mayor cache posible (16 MB o superior) y utilizar raid 1
c) Olvidarme de utilizar blade servers y montar servidores normales con 4 discos en RAID, con el correspondiente aumento de calor, espacio y consumo de energía

No tengo aún todos los datos de consumo de energía para hacer estimaciones precisas, me he basado en la literatura promocional del fabricante, y los blade server parecen ser hasta un 40% mas eficientes en consumo y 25% más eficientes en generación de calor, tomando en cuenta que mas apx las 3/4 partes de los servidores serán blades, no espero muchas complicaciones con calor y consumo, de todas maneras si se requiere de rack y medio en vez de uno solo, no creo que haya problemas.

Toda la plataforma de compartidos estará virtualizada, por que no creo que igual se requieren licencias, los vps compartidos no serán problema, cada uno tiene dos discos solo para el sistema operativo, la data se guarda en el servidor NAS el cual es extremadamente rápido

everclick · 28-feb-2008, 15:35

Cita:

Iniciado por 800-HELP.com

Gracias por tus útiles comentarios
Para hacer un load balancer reduntante, es algo más complicado, la única forma práctica que se me ocurre es con un regla en el router, que si falla la comunicación con esa IP redireccione el tráfico a la IP del load balancer secundario, una gran ventaja es que solo usaré una IP externa por servicio, de esta manera es fácil hacer cualquier ruteo interno.

Mas facil que todo eso no sería usar High Avaliability? Los dispositivos de gama alta suelen permitirlo.

west-domains · 28-feb-2008, 23:29

everclick...

Algunos switchs vienen con la posibilidad de dar HA desde el mismo hard creando una IP virtual compuesta por 2 IPs reales. generalmente esos switchs no estan al alcance de todos ya que son high end ...
por otro lado depende lo que se quiera hacer mas especificamente puede convenir o no utilizar ese metodo.

Algunos utilizan como load balancer la vieja y querida forma de hacer balanceo atravez de round robin o bien heartbeat..

por ejemplo yo tengo realizados con heartbeat unos clusters y a su vez las bases de datos utilizando Mysql Cluster server. compuesto por 2 Servidores de alta gama con las Apps y uno mucho mas pequeño simplemente para utilizarlo de nodo tal y como Mysql Cluster lo requiere para su instalación.

Un gran Cache de base de datos atravez del nodo.

no es muy caro.. si toma tiempo crearlo pero es igualmente efectivo.

Espero les ayude