Hola,
No conozco Red5, pero no parece difícil de instalar.
* Instalar jdk1.5 de Sun (o quizás solamente el JRE):
http://www.java.com/en/download/manual.jsp
* Descargar Apache Ant:
http://ant.apache.org/bindownload.cgi
Y lo copias en alguna carpeta dentro del servidor, por ejemplo:
/usr/ant
* Luego descargas Red5:
http://osflash.org/red5/red5downloads
Lo descomprimes y el contenido de ese directorio lo mueves hacia:
/opt/red5
E ingresas a ese directorio /opt/red5
* Luego ejecutas Ant, de este modo:
/usr/ant/bin/ant
* Y luego pones a correr Red5 con este comando:
./red5.sh
* Si algo no funciona bien, puedes intentar editar el archivo:
/opt/red5/conf/red5.properties
Y supongo que es posible que si tu servidor está usando algún firewall, quizás debas abrir los puertos que utiliza Red5.
Saludos,