Cambio de servidores y hdd

Hola soy nuevo y la verdad es que de servidores no sé mucho así que espero acertar al poner este post aquí. Lo cierto es que soy programador y planeo hacer un proyecto lo suficientemente grande como para contratar varios servidores dedicados de alto rendimiento y alojar allí mi "aplicación". La duda que tengo es: Cómo selecciono desde mi aplicación a qué servidor tienen que ir mis datos? Al tener más de uno, cómo se haría esto? También paso con los discos duros. Planeo tener al menos 36 discos duros por servidor (según lo que me ofrece mi proveedor) cómo le digo dónde están los archivos? En qué disco de qué servidor? No sé si me explico. Pero para entenderlo un poco mejor, supongamos un ejemplo: Si quisiera montar una red social como facebook... que tienen muchísimos servidores con muchísimos discos duros... cómo o con qué lenguaje le explicas a la aplicación dónde están esos datos y esos archivos? De dónde va a cargar la foto de mi perfil? Del servidor 720 y disco duro número 4? Espero haberme explicado. No sé si se puede con algún lenguaje tipo CGI o Node.js o algo de esto... Muchas gracias de antemano. Un saludo a todos.

 

Se crea un bloque virtual de discos, ya sea entre varios discos de un servidor o entre varios discos de varios servidores y solo tendrás un sistema de archivos transparente a la aplicación. Para efectos de la aplicación es igual si estás en un solo disco o en miles

 

@Datacenter1,
Lo que mencionas supone un costo adicional, me imagino (a los servidores, claro). En tu caso, como centro de datos / proveedor, cuánto sería?

 

depende de la implementación puedo o no puede suponer costos adicionales

Un sistema como GlusterFS puede convertir x discos localizados en diferentes servidores en un solo sistema, es como hacer un raid de servidores en lugar del tradicional raid de discos, otro sistema similar es Onapp. Existen muchas formas de hacerlo, probablemente quien te asesora con el hardware podrá darte recomendaciones o sino sugiero que contrates un consultor

 

Muchas gracias por las rápidas respuestas y el asesoramiento. Por el momento estaba pensando en contratar un servicio que no supere un coste de 500€/mes. He estado mirando por ahí y mi duda vendría si debo hacerlo con un Private/Public Cloud Data Center o con Servidores dedicados. Lo más que me interesa por cuestiones de coste es hacerlo con Servidores dedicados. Había pensado que para dar soporte a 250 usuarios de entrada, contrataría un servidor dedicado (En caso de que se pueda hacer con este método) con estas epecificaciones: Intel Bi Xeon E5630 8 cores (2x4) 12Mb caché 48Gb DDR3 ECC 12hd x3Tb con posibilidad de ampliar hasta 36Hd. Mega RAID 6 Gb/s con pila de seguridad RAID HARD 0/1/5/6/10/50/60. NIC TenGigabitEthernet Cómo lo veis? Os parece bien esta opción? La verdad es que estoy estancado en esto y me corre algo de prisa. Una vez más gracias por la ayuda prestada. Espero vuestras respuestas. Un abrazo.

 

Que espacio en disco necesitas?
Si el plan es interconectar servidores de 36 discos, optaría por infiniband en lugar de 10GbE

 

En principio creo que para dar soporte a 250 usuarios creo que un servidor de esas características y con 12discos duros de 3.3Tb cada uno estaría bien. De hecho, por el momento esa es la capacidad que tengo en mente. Más adelante quizás sí opte por otro servidor con más discos o quizás este mismo lo actualice con más discos. La cosa es que estoy hecho un lío con tanta información. No sé si servidores dedicados o cloud data center, no sé si un servidor o 2 o más...!!! quizás GlusterFS como decías con balanceadores o no... mucha información empiezo a hacerme un lío. Disculpa por mi desconocimiento en la materia. En principio sería servir archivos a 250 usuarios. Y por supuesto no sería a todos a las vez, según se conecten. Gracias nuevamente por la ayuda me es de gran utilidad aunque aún estoy indeciso y me gustaría si tienes tiempo y ganas, me lo aclararas si no es molestia. Gracias nuevamente.

 

Dale un vistazo a Onapp 3, es cloud pero muy modular y fácil de expandir

Por otro lado no creo que existan proveedores que puedan dar 12 x 3 TB por menos de $500 salvo que estés dispuesto a pagar un alto precio de setup

12 x 3 TB para solo 250 usuarios no es como demasiado? desconozco como será tu proyecto pero suena muchos Gb's x usuario.

Lo más recomendable es que contrates un consultor que te ayude a diseñar tu red/cluster/cloud de otra manera, meterse en eso sin una sólida base técnica puede ser peligroso y siempre es más costoso

 

Efectivamente el coste del setup es bastante alto pero entra dentro de mi presupuesto. Sabes dónde podría encontrar un consultor para este tipo de proyectos? alguna web o empresa que se dedique a esto? Le echaré un vistazo a Onapp 3 muchas gracias por la ayuda prestada. Un abrazo.

 

Hablo sin saber... Pero ya que @Datacenter1 es quien te ha asesorado, podrías contactarlo directamente en su página y quien sabe, tal vez pueda ofrecerte algo que se ajuste a tus necesidades y presupuesto

 

Desconozco a fondo tu proyecto y tu aplicación, pero mi recomendación siempre es optar por varios servidores "más pequeños" frente a un "mega servidor" enorme por dos motivos: 1) diversificación del riesgo y 2) Empiezas desde el principio con un sistema descentralizado.

Empezar con un único servidor y pretender expandir lo posteriormente a un sistema clusterizado multiservidor es complicado y más caro que empezar con varios servidores más pequeños ya con la infraestructura de hardware y softwsare preparada para ser expandida en cualquier momento añadiendo subsistemas/equipos.

Pensar en crecer añadiendo discos duros a un único servidor dedicado no lo consideraría como opcíon viable.

Es muy importante en cualquier caso hacer un piloto - en miniatura incluso - de todo para testear capacidades, necesidades y configuraciones (hard/soft).

Yo podría asesorarte, pero necesitaría conocer muy a fondo el proyecto, pero el problema que veo es que comentas que te corre prisa y una cosa de estas no se puede/debe montar deprisa y corriendo.

 

Muchas gracias por toda la información la amabilidad y predisposición de este foro me deja atónito. No esperaba tantísima ayuda. Gracias de verdad. Por supuesto me pasaré por Datacenter1 y miraré sus costes y sus servicios. Sin lugar a dudas. Cincinnati si no te importa asesorarme, me encantaría contar con tu ayuda y consejo. Te mando un privado y Datacenter1 y ya miramos cómo lo hacemos. Un abrazo a todos y gracias nuevamente.

 

Hecho ya os he enviado los privados!!

 

como bien dice cincinati dicho proyecto ha de ser bien estudiado y cm bien comenta hacer pruebas, te puedo decir q cincinati sabe bastante de esto q dice.

Hace unos meses en cyberneticos hicieron algo parecido para un cliente suyo, se de ello pues tubieron carga simutanea de hasta 180mil cnexines a ese sistema tras haber salido en TV un spot un sabado noche.

Tambien puedes preguntar en hostigal, hace poco montaron un cloud para una asesoria fiscal

 

Muchas gracias, estoy estudiando todas las posibilidades.

 

@Spre445 ofertas de asesoría y recomendaciones no te han faltado, no tengo experiencia directa trabajando con @cincinnati pero es alguien con amplia experiencia en el ramo y se encuentra en España lo que probablemente para ti sea una ventaja.

He respondido tu correo e igualmente estoy a la orden