[ranking] Rendimiento I/O de tu VPS

Si, he preparado un sistema de replicación en tiempo real con failover automático así como un plan de contingencia. Por el momento no daré más detalles técnicos, toda la información será publicada en la web a su debido tiempo.

Estoy aún en fase de pruebas, pero ya bastante avanzadas.

En los próximos días quiero lanzar una linea BETA de VPS gratuitos para que los usuarios nos ayuden con el test final.

El que quiera puede seguirnos en twitter para estar al día.

Un saludo y gracias!

 

Vamos por partes, primero entendamos el significado del la palabra "vituperio"

Ahora insisto, con una respuesta técnica, basada en nuestra experiencia, en el funcionamiento de los discos SSD, su tiempo de vida y el porcentaje de errores que tienen funcionando en servidores.

Ofrecer VZ con discos SSD sin raid es de suicidas

 

La replicación en tiempo real con failover fiable, solamente se puede hacer por hardware y se llama RAID.

La replicación por software en tiempo real, simplemente no existe, excepto si rehaces el kernel y los controladores de los drivers de manejo de discos y aun con eso, si tu servidor se apaga tus datos quedarán corrompidos y probablemente los discos, tanto el original como el espejo inutilizables.

Las tarjetas RAID no tiene una batería incorporada para hacer bonito, sino para evitar ese problema.

 

Ya te informo que no voy a seguir este juego y esta es mi última respuesta, no voy a contribuir con este tipo de contenido al foro. Tú luego podrás replicar lo que quieras y encadenar todos los mensajes que quieras, si así te sientes bien, pues bien por tí.

El que tú no consideres que has deshonrado mi empresa con tu comentario, no quieres decir que no lo hayas hecho. Lo has hecho. Podría sacar una lista de posts tuyos donde se prueba que te basas en desprestigiar a otras empresas para así dar a sobreentender que la tuya es mejor. Esto se llama vitubear. Has apostallido reafirmándote sobre tí mismo, si eso te hace sentir bien, bien por tí. Simplemente demuestra como eres.

A toda tu parrafada técnica, simplemente no voy a emplear mi tiempo. Tú sigue pensando que un RAID hace failover (aceptable para spares) así como que no existe utilidades para ello, te podría sacar aquí un listado de más de 20 gratuitas y de pago que sirven para ello. Pero si tú dices que no existen, oye, pues nada, no existen. Ya me dirás tú como conectas una tarjeta RAID a dos servidores distintos. O como balanceas cabinas de discos entre varios datacenters. Ahora resulta que las redes CDN son un RAID... En fín...

Ahora igual vendrás dando explicaciones metafísicas sobre como gestionas los datos de tu empresa, pero como te he dicho, yo no pienso responderte.

Agur!

 

Sabes una cosa, estás mezclando el tocino con la velocidad, confundes el RAID, con un sistema failover, un CDN y una cabina de discos.

Una sistema RAID trabaja sobre un servidor, no se puede compartir físicamente.

El RAID (5 EN ADELANTE) ES EN SI UN SISTEMA DE DISCOS FAILOVER fisico, el disco spare, sirve exclusivamente, para que cuando uno de los discos falle, el sistema los sustituya por el, de tal forma que el RAID siempre este funcionando correctamente.

Para tu información, las cabinas de discos (incluyendo las que se utilizan en un CDN) TODAS trabajan sobre RAID (5, 6, 10 o 60)

Te invito a que publiques tu lista de las 20 aplicaciones que substituyen a un RAID con otra cosa en un servidor

Las respuestas para discutir soluciones técnicas, se rebaten con otra explicación técnica que demuestre que la anterior está equivocada, no con un "no te lo digo por que a mi no me da la gana"

Esto es un foro público, en el que todo el mundo tiene derecho a opinar...

 

No comento el resto, pero en los CDN yo he visto mucho RAID Z que técnicamente no es un nivel RAID tradicional y conozco al menos dos aplicaciones que permiten realizar un pseudo raid, replicando simultáneamente el contenido de un disco en otro nodo, una es GlusterFS y la otra es Onapp Storage

RAID ayuda a obtener más velocidad y relativa fiabilidad de datos, pero no es menos cierto que la misma tarjeta RAID se convierte en el punto de fallo único, Las horas más amargas que he pasado en el datacenter casi siempre han sido causadas por controladoras RAID (uso únicamente Areca, LSI y Adaptec + BBU)

El que no haya visto una controladora/arreglo raid fallar, probablemente no ha estado un tiempo suficientemente largo en este negocio, no estoy desaconsejando el uso de RAID, pero tampoco es garantía contra fallos.

En cuanto al benchmark parece más bien una competencia de que chico tiene el "stick" más grande

Si un arreglo de discos es capaz de mantener +1GBps excelente e impresionante pero de nada sirve si le van a colocar 80 VMs encima. al final del día lo que cuenta es cuantos de esos MBps por segundo están disponibles para el cliente final cuando el nodo está en producción y vendido en su totalidad. He probado clouds de Softayer y Rackspace y en ninguno fue posible ni de forma remotamente cercana mantener 100MBps

Solo mi opinión acerca de estos test

 

ideasmultiples, que no te enteras!! Que no me tienes que dar clases de nada, que no te lo he pedido. Que en este hilo se trata de poner un resultado y no de que me cuentes tu vida.

A demás, si querías comentar, haber comentado en el otro hilo.

Qué el hecho de que tu quieras ganar popularidad a mi costa está haciendo que seas peor persona para mí. Te enteras o qué?

Yo intento hacerme publicidad en un post de lo más inocente.
Tu te haces publicidad pisoteando a los demás... uff muy mala persona.

 

Bravo bravo y bravo!!!

Pero a demás metele 4 nics de 1Gbps con 4 VLANS, osea 4Gbps...
twitter.com/GinerNet/status/270613712359018496/photo/1

Necesitas fibra para pasar de 100MB/s

A ver, que no tengo problema en montar un RAID, que lo que pasa es que no quiero y punto, por que se que a la larga es peor.

 

Necesitas fibra para pasar de 100MB/s en un solo canal.
Eso si que de momento no me lo puedo permitir, pero no es crítico.

Yo se que tengo esa limitación, pero al tener 4 VLANS y estar los hosts conectados a las 4 VLANS puedo repartir la carga a mi antojo. Y 4Gbps ya son eh!!

A ver, que no tengo problema en montar un RAID, que lo que pasa es que no quiero y punto, por que se que a la larga es peor. Yo en mi infra, cuando un disco SSD esté muriedo lo saco del pool y sin problemas le meto otro y no pasa nada, y sin RAID!!!!!!!

Habéis conseguido que termine siendo yo el que estrope el hilo.

 

ideasmultiples, lo creas o no hay muchas empresas con cantidades ingentes de datos que no usan RAID. Las baterias han resultado ineficaces por que si lo miramos en modo pesimista te puede salir buena o te puede salir mala y no te cubre la única funcionalidad que tiene. En cambio un software lo puedes controlar perfectamente. A parte que sistemas de ficheros como ZFS o XFS abren un mundo de posibilidades infinitas. Ya no solo se pueden virtualizar los host, también los storages!! y para eso, hasta una cabina de 24 discos en RAID-10 se te queda corta por falta de IOps...

 

@jmginer esto se esta volviendo un monólogo, relájate !

Un par de aclaraciones para terminar con el offtopic de mi parte

Al combinar RAID con un pseudo RAID distribuido logras lo mejor de ambos mundos, extremadamente veloz y confiable, el precio es costo y complejidad.

Para 100MBps (probablemente querías decir 1000MBps?) no requieres de fibra, tu setup en teoría debe alcanzar velocidades de 500MBps al combinar 4 nic de 1Gbps ( 4 x 1000 Mbps = 4000 Mbps /8 = 500 MBps)

En mi setup utilizo Infiniband 2 x 10 GbE con cables de cobre lo que da una velocidad de transmisión de apx 2500MBps , estos switches se consiguen en Ebay por menos de $1000 y las tarjetas por alrededor de $50.00 por lo que es incluso más barato que usar Ethernet.

Un par de sugerencias, ese switch de la foto no aguantará tráfico serio, menos si es en vlans o cualquier cosa que no sea únicamente tráfico capa 2, otro detalle, no coloques en un mismo switch tráfico ip con el tráfico SAN a menos que tengas un switch especializado para ello, y por último si tu switch lo soporta activa jumbo frames (solo si el switch es dedicado al trafico NAS/SAN) y el rendimiento será enorme al combinar 4 nic en bounding + jumpo frames

 

Y no se trata de meter 40, 80 y 500 VPS en un nodo, no es la cantidad, si no el aprovechar la capacidad del servidor. El que venda OpenVZ y no hace overselling es por que es tonto o por que se lo permite la infra. Yo se que voy a llenar al 80% y el rendimiento será practicamente el mismo que al 5%.

 

Para volver al tema aquí los resultados de un nodo, no escogido al azar sino entre los que están vendidos en su totalidad el que mostraba más I/O

16384+0 records in
16384+0 records out
1073741824 bytes (1.1 GB) copied, 6.10594 s, 176 MB/s

RAID 10 4 x 2TB Western Digital RE4
Controladora Adaptec 6405 512MB Cache
Flash Cache 128 GB Samsung 830

 

Si el switch es una ######, lo compré como toma de contacto en el datacenter. Pero cambiarlo son 5 minutos de downtime, no problem. Está previsto para Enero

Me voy a dormir! Vaya estropicio de hilo! Lo siento JaimeE!!

 

Por cierto, he releido tu mensajes.
Te confirmo que tengo jumbo frames activos, son indispensables para evitar colisiones y que todo se vuelva lento. Ya lo sufrí, era un desastre y casi me vengo atrás y me meto con el RAID, fue un alivio activar esa casilla...

De nuevo mil disculpas... Llevo más de 6 meses preparando esta infra y he invertido mucho dinero, que me venga alguien diciendo que es de suicidas cuando la tengo más que probada en la medida de mis posibilidades a hecho que me ponga de muy mala leche.

Y no por que no sepa quien es, si no precisamente por que se quien es y he leido muchos de sus mensajes y se cual es su forma de actuar perfectamente.

Buenas noches!

 

No basta activarlo en el switch solamente, debes ajustar en las NIC el MTU y que sea el mismo en toda la red interna (la de datos unicamente no la ruteada a Internet)

Ver http://eng.eelcowesemann.nl/linux-unix/redhat-centos/enabling-jumbo-frames/

 

Que gracioso las ínfulas e importancia que te das, con eso de querer "ganar popularidad a tu costa" como si fueras Jonathan Ive o alguien conocido por cierto, tu opinión sobre mi me importa mas menos lo mismo que si llueve en Tanzania, bueno no realmente me importa más si llueve en Tanzania que tu opinión.

Pero parece que el que vas embalao eres tu, tu post ha sido:

Y yo te he contestado:
Ofrecer VZ con discos SSD sin raid es de suicidas, cosa que sigo manteniendo, probablemente tu estas preparando una plataforma que en breve vas a probar, yo la tengo en marcha hace años...

En ningún momento has dicho, un Container contectado a una cabina, o aun DAS o a nada, vuelve a leer lo que escribes please...

Según tu cualquiera que te critica es una mala persona, supongo que tu entonces debes de ser la luz de los creyentes...

Y sueltas lindezas tipo "Necesitas fibra para pasar de 100MB/s en un solo canal. Eso si que de momento no me lo puedo permitir, pero no es crítico.", entonces supongo que los que pasamos un 1G por cobre hace varios años debemos ser magos...

Por cierto hay muchos que vendemos Virtuozzo sin necesidad de hacer Overselling, simplemente por principios y por que es facilísimo hacerlo cuando cobras los precios que tienes que cobrar...

Tal y como dijo datacenter1:
"No comento el resto, pero en los CDN yo he visto mucho RAID Z que técnicamente no es un nivel RAID tradicional y conozco al menos dos aplicaciones que permiten realizar un pseudo raid", efectivamente es un pseudo raid, pero es un raid, hecho por software basado en un kernel especializado, que es si no me equivoco lo que había comentado antes, RAID es una técnología no una tarjeta, no nos confundamos...

Ademas de que los CDN no es el ejemplo mejor que puedes dar para una configuración que necesite alto rendimiento, los CDN están preparados para replicación y distribución de datos, no para el acceso a datos con búsquedas de alto rendimiento, por ejemplo bases de datos, así que no sirven mucho como ejemplo para los servicios de hosting standard.

En cuanto a rendimiento de I/O siempre acaba siendo el problema en las cabinas de discos, tengan la configuración y tecnologóia que tengan, si no pregúntaselo a Amazon, por ejemplo tengan 4x1G o 4 x10G, sino pregunta o prueba en Softlayer o Amazon e intenta mantener una carga de I/O alta en una DDBB por ejemplo, te sorprenderás...

A veces se quieren buscar soluciones compeljisímas para los problemas más sencillos, la realidad es que el gran problema que tiene los VPS dedicados a la empresa media, con acceso a las DDBB es el I/O y por mucho que quieras, cuando montas una plataforma compleja sobre una cabina y llegas a un determinado numero de instancias el rendimiento se va al suelo.

La única forma, o por lo menos la mas sencilla y económica, de garantizar un I/O suficiente para atender a todos las instancias de una instalación compleja sin problemas es distribuir el I/O en simples nodos, cada uno con su RAID10 (El mejor en relación rendimiento/precio/seguridad).

Siempre vas a tener mucho mayor rendimiento de I/O y ops asignando la carga directamente a cada nodo, sin necesidad de ninguna conexión de red compartida, aunque sea de 10G.

Hay dos normas en esto del rendimiento y la fiabilidad, "divide y vencerás" y KSS (Keep Simple Stupid).

Asi que no te pongas loco, ni catalogues a nadie por sus opiniones, porque el que te gastes "mucha pasta" como tu dices (Y teniendo en cuenta que lo que para ti es mucha pasta para otros puede ser un fin de seana en el campo) no quiere decir ni que tengas más razón, ni que estés creando la séptima maravilla del mundo, en la práctica, cuanto mas compleja es la solución mas problemas da y sobre todo más grande es la caída...

El diseño de planta no se debe de hacer por que es mas moderno, grande o bonito, sino por el segmento al que va dedicado y el presupuesto que se asigna.

Cuando quieras, prueba en una instalación de alto tránsito e uso intensivo de DDBB para 500 Instancias s ponerlas en un Armario de I/O, (el que quieras sin soluciones fantasmagoricas de millones de dolares), con 20 server de cabecera o montar una instalación de 25 simples nodos con 20 VPS por nodo (Cada uno con su propio RAID por supuesto) y luego mide el ancho de banda de I/O y el numero de OPS de uno y compáralo con el rendimiento que te dan los nodos independientes, cuando lo hayas hecho, podrás discutir con objetividad y no con "salidas de tiesto".

Además que or supuesto el indice de probabilidades de un error total es de 25 a 1 contra una simple caída del Sistema de I/O en un SAN/DAS/Etc.. que cuando se cae toda tu plataforma se va abajo...

Asi que ya sabes, tómate una tila, calmate los nervios y relajare, que esto es un foro de opinión y cada uno es muy libre de dar la suya....

 

Si, también he tenido que pasar muchos problemas por tarjetas controladoras de RAID, sin embargo al no tener acceso físico al servidor queda en manos de otros la resolución del problema y eso me causa mucha ansiedad.

 

Haciendo unas pruebas con un VPS de prueba de GinerNet.

CODE, HTML o PHP Insertado:

 dd if=/dev/zero of=test bs=64k count=16k conv=fdatasync
16384+0 records in
16384+0 records out
1073741824 bytes (1.1 GB) copied, 3.85343 s, 279 MB/s

Muuy buenos resultados!

 

con el otro comando

CODE, HTML o PHP Insertado:

dd if=/dev/zero of=test bs=4k count=256k
262144+0 records in
262144+0 records out
1073741824 bytes (1.1 GB) copied, 1.33956 s, 802 MB/s