¿Me ayudan a optimizar MySql?

Hola amigos!

Tengo mucho consumo de memoria (mucho en caché y luego sigue con la swap) y, ya probando varias cosas, ahora voy por MySql. A lo mejor éste me genera el problemita.

Alguien puede darme una guía o una idea de cómo puedo configurarlo de acuerdo a mis necesidades/recursos?

Saludos!

 

Hola hereje,

Para poder ayudarte necesitamos un poco más de información.

• ¿Es un dedicado o un VPS?
• ¿Qué características tiene la máquina (CPU, RAM garantizada, etc...)?
• ¿El servicio es administrado?
• ¿Cuántos sitios hospedas en el servidor?
• ¿Usas algún tipo de panel (cPanel/Plesk/DA...)?
• ¿Qué tipo de aplicaciones web se ejecutan (p.ej: phpBB, WordPress, Shoutcast,...)?
• ¿Cuántas visitas diarias tienen los sitios web?

Para empezar, podrías pegar aquí la salida del comando top

Saludos

 

Hola MaxKiller!

Como siempre al rescate vos! Yo soy el mismo que hace un par de meses atrás tenía problemas con los procesos de php-cgi y de hecho los sigo teniendo. Pero bueno, ya que no lo puedo solucionar voy intentando con otras cosas.

Te voy comentando lo que me solicitas:

- Es un dedicado, un AMD Sempron con 2GB de RAM.
- Sí, el servicio es administrador POR MI !! :O
- Por ahora tengo unos 25 sitios de "bajo consumo", excepto uno con unas 3000 diaras.
- Uso el panel ispCP Omega ( isp-control.net )
- Las aplicaciones web que se ejecutan son propias (desarrollos con php puro, otras con frameworks tipo Symfony, etc).
- Tengo la configuración de MySQL por defecto de Debian Lenny.

free -m

CODE, HTML o PHP Insertado:

             total       used       free     shared    buffers     cached
Mem:          1997       1953         43          0         72       1025
-/+ buffers/cache:        855       1141
Swap:         2894       1004       1889

Por lo que veo el "cached" tiene mucho, a lo mejor es el mysql.

La salida de top me da verguenza (por el tema de los procesos, pero bue, haz vista gorda!). Va como adjunto.

 

Sí, cierto, me acuerdo de ti y del problema que tuviste.

He estado revisando el log de procesos y hay cosas que no me cuadran. Vuelves a tener multitud de procesos php5-cgi abiertos (desde el día 21 de julio). Esos procesos continúan inútilmente cargados en memoria cuando deberían de ser cerrados al instante.

Según has comentado, las aplicaciones son programadas por ti. ¿Has revisado el código? ¿Has verificado que las aplicaciones cierran las conexiones con la base de datos después de hacer una consulta?

Revisa también que no estés usando conexiones persistentes; ésto te lo pregunto por que esos procesos se quedan a la espera de alguna orden.

 

mm si no me equivoco hay un comando para liberar la cache drop_cache algo asi lo puedes poner con algun codigo para que se ejecute cada hora asi se libera

yo lo uso en un vps y me deja bien la cache libre

echo 3 > /proc/sys/vm/drop_caches

saludos ,

 

King, no deberías de hacer eso seguidamente. La caché está para almacenar los datos que más se usan y cuando se requieran algunos de éstos, que se puedan entregar de una forma extremadamente rápida.

Recuerda que la memoria está para usarse. Aunque eso sí, como mínimo también disponer de un 20% de memoria libre para posibles futuros datos no cacheados.

Saludos

 

Gracias por la info maxkiller siempre salvando pero siempre de vez encuando es recomendable darle una limpiada al cache

pero en segundos quito el script jajaja

 

Ahora que he caído hereje, ¿has probado a disminuir el tiempo en segundos del valor max_execution_time del php.ini?

Este parámetro especifica cuánto tiempo podrá estar ejecutándose un script PHP:

CODE, HTML o PHP Insertado:

max_execution_time = 30

El valor default es 30, mira a ver que no lo tengas puesto en 0. Creo que un buen valor sería incluso 20.

Recuerda reiniciar el servidor web después del cambio.

Saludos

 

Interesante aportación Apolo.

Traduzco un tip de la documentación oficial:

Modifica el archivo /etc/apache2/mods-available/fastcgi_ispcp.conf y cambia:

CODE, HTML o PHP Insertado:

-idle-timeout 300
# -singleThreshold 100

Por esto:

CODE, HTML o PHP Insertado:

-idle-timeout 300 \
-singleThreshold 100

Lo que hace ese cambio de configuración sería solucionar el presunto bug que comenta Apolo, ya que establece un time-out a nivel de FastCGI para cerrar los procesos que no se usan.

De nuevo, reinicia el servidor web después de hacer el cambio de configuración.

Saludos.

 

Hola MaxKiller y Apolo!

Gracias por interesarse en mi problema, realmente no sabría cómo devolverles vuestra atención.

Volviendo al tema. Actualmente estoy usando fcgid en vez de fastcgi. Esta elección fue aribitraria (ya había probado con fastcgi y el problema persistía). El bug que comenta apolo tiene toda la pinta de ser mi problema. Y la solución que me propones MaxKiller se la ve buena.

Voy a activar fastcgi con esta nueva configuración:

CODE, HTML o PHP Insertado:

<IfModule mod_fastcgi.c>
        FastCgiWrapper On
        FastCgiIpcDir /var/lib/apache2/fastcgi2

        FastCgiConfig -minProcesses 1 \
                  -maxProcesses 400 \
                  -maxClassProcesses 5 \
                  -multiThreshold 80 \
                  -killInterval 60 \
                  -startDelay 5 \
                  -singleThreshold 100  # esta linea estaba comentada (-idle-timeout ya está más abajo como parámetro)
                  # -autoUpdate \
                  # -pass-header HTTP_AUTHORIZATION

        FastCgiServer /var/www/fcgi/master/php5-fcgi-starter -user vu2000 -group vu2000 -idle-timeout 300

        #
        # PHP5 SUPPORT
        #

        AddHandler php-fastcgi .php .php5

        <Location /php5/php5-fcgi-starter>
                SetHandler fastcgi-script
                Options +ExecCGI
        </Location>

        Action php-fastcgi /php5/php5-fcgi-starter
        AddType application/x-httpd-php .php .php5
</IfModule>

Les parece correcto? Luego reinicio todo y vamos a ver qué sorpresita nos trae.

Hasta luego y gracias nuevamente!

 

Perfecto hereje, aunque prueba con esta configuración:

CODE, HTML o PHP Insertado:

<IfModule mod_fastcgi.c>
        FastCgiWrapper On
        FastCgiIpcDir /var/lib/apache2/fastcgi2

        FastCgiConfig -minProcesses 1 \
                  -maxProcesses 400 \
                  -maxClassProcesses 5 \
                  -multiThreshold 80 \
                  -killInterval 60 \
                  -startDelay 5 \
                  -idle-timeout 60
                  -singleThreshold 100  \
                  # -autoUpdate \
                  # -pass-header HTTP_AUTHORIZATION

        FastCgiServer /var/www/fcgi/master/php5-fcgi-starter -user vu2000 -group vu2000 -idle-timeout 60

        #
        # PHP5 SUPPORT
        #

        AddHandler php-fastcgi .php .php5

        <Location /php5/php5-fcgi-starter>
                SetHandler fastcgi-script
                Options +ExecCGI
        </Location>

        Action php-fastcgi /php5/php5-fcgi-starter
        AddType application/x-httpd-php .php .php5
</IfModule>

Hay un par de cambios. Copia y pégala tal como la he puesto.

Ya nos cuentas, ¡suerte!

 

Listo, ya hice todo (con tus configuraciones) y reinicié el servidor entero para que empiecen todos los procesos y memoria de cero.

El tiempo nos dirá! Jeje. Realmente les agradezco de todo corazón en ayudarme.

De todas formas..., despues los voy a molestar para volver al tema principal..., configurar mi MySql que está todo por defecto (aunque ustedes me dirán si es conviente o no tocarlo, al parecer así como está funciona bien)

Saludos!!

 

Muy bien, a ver si cesan los procesos. Mantennos informados.

Saludos.

 

Buenas!! Paso a informales cómo viene el estado:

uptime

CODE, HTML o PHP Insertado:

09:04:39 up 1 day, 19:46,  1 user,  load average: 0.55, 0.60, 0.54

free -m

CODE, HTML o PHP Insertado:

             total       used       free     shared    buffers     cached
Mem:          1997       1889        107          0        154       1310
-/+ buffers/cache:        425       1571
Swap:         2894          4       2890

Mejoró, pero ya empezamos a usar swap nuevamente

Pongo el ps en otro post, hasta ahora tengo entre 105 ~ 120 procesos. Bastante mejor que antes. Ya veremos cuando pase más tiempo a ver cómo se comporta.

 

CODE, HTML o PHP Insertado:

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.0  10308   736 ?        Ss   Aug03   0:01 init [2]
root         2  0.0  0.0      0     0 ?        S    Aug03   0:00 [migration/0]
root         3  0.0  0.0      0     0 ?        SN   Aug03   0:00 [ksoftirqd/0]
root         4  0.0  0.0      0     0 ?        S    Aug03   0:00 [watchdog/0]
root         5  0.0  0.0      0     0 ?        S<   Aug03   0:00 [events/0]
root         6  0.0  0.0      0     0 ?        S<   Aug03   0:00 [khelper]
root         7  0.0  0.0      0     0 ?        S<   Aug03   0:00 [kthread]
root        11  0.0  0.0      0     0 ?        S<   Aug03   0:00 [kblockd/0]
root        12  0.0  0.0      0     0 ?        S<   Aug03   0:00 [kacpid]
root       119  0.0  0.0      0     0 ?        S<   Aug03   0:00 [khubd]
root       121  0.0  0.0      0     0 ?        S<   Aug03   0:00 [kseriod]
root       168  0.0  0.0      0     0 ?        S    Aug03   0:00 [pdflush]
root       169  0.0  0.0      0     0 ?        S    Aug03   0:35 [pdflush]
root       170  0.0  0.0      0     0 ?        S<   Aug03   0:05 [kswapd0]
root       171  0.0  0.0      0     0 ?        S<   Aug03   0:00 [aio/0]
root       709  0.0  0.0      0     0 ?        S<   Aug03   0:00 [ata/0]
root       710  0.0  0.0      0     0 ?        S<   Aug03   0:00 [ata_aux]
root       713  0.0  0.0      0     0 ?        S<   Aug03   0:00 [scsi_eh_0]
root       714  0.0  0.0      0     0 ?        S<   Aug03   0:00 [scsi_eh_1]
root       937  0.0  0.0      0     0 ?        S<   Aug03   1:37 [kjournald]
root      1096  0.0  0.0  16876  1088 ?        S<s  Aug03   0:00 udevd --daemon
root      1380  0.0  0.0      0     0 ?        S<   Aug03   0:00 [kpsmoused]
root      1588  0.0  0.0      0     0 ?        S<   Aug03   0:00 [kmirrord]
daemon    1755  0.0  0.0   8020   544 ?        Ss   Aug03   0:00 /sbin/portmap
root      1943  0.0  0.0   5900   660 ?        Ss   Aug03   0:56 /sbin/syslogd
root      1952  0.0  0.0   3792   444 ?        Ss   Aug03   0:00 /sbin/klogd -x
root      1961  0.0  0.0   3792   588 ?        Ss   Aug03   0:00 /usr/sbin/acpid
root      2038  0.0  0.0  17332  1468 ?        S    Aug03   0:00 /bin/sh /usr/bin/mysqld_safe
mysql     2153  1.0  2.7 234072 55572 ?        Sl   Aug03  28:23 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --u
root      2155  0.0  0.0   3776   580 ?        S    Aug03   0:00 logger -t mysqld -p daemon.error
polw      2215  0.0  0.4  44036  8380 ?        Ss   Aug03   0:01 policyd-weight (master)
polw      2216  0.0  0.4  44296  8296 ?        Ss   Aug03   0:00 policyd-weight (cache)
postgrey  2222  0.0  0.6  57192 12960 ?        Ss   Aug03   0:02 /usr/sbin/postgrey --pidfile=/var/run/postgrey.pid --daemoni
root      2339  0.0  0.0  20440   828 ?        Ss   Aug03   0:03 /usr/sbin/famd -T 0
ntp       2353  0.0  0.0  22376  1436 ?        Ss   Aug03   0:02 /usr/sbin/ntpd -p /var/run/ntpd.pid -u 101:103 -g
root      2395  0.0  0.0  20060  1048 ?        Ss   Aug03   0:00 /usr/sbin/cron
vu2000    2481  0.0  0.3 133272  8104 ?        Ss   Aug03   0:00 /usr/bin/php5-cgi
root      2521  0.0  0.3  40340  7112 ?        Ss   Aug03   0:01 /usr/sbin/munin-node
root      2649  0.0  0.3 106304  6400 ?        Sl   Aug03   0:56 /usr/bin/python /usr/bin/fail2ban-server -b -s /var/run/fail
root      2735  0.0  0.0   3776   456 ?        S    Aug03   0:00 /var/www/ispcp/daemon/ispcp_daemon -p /var/run/ispcp_daemon.
root      2821  0.0  0.0   3792   568 tty1     Ss+  Aug03   0:00 /sbin/getty 38400 tty1
root      2823  0.0  0.0   3788   568 tty2     Ss+  Aug03   0:00 /sbin/getty 38400 tty2
root      2824  0.0  0.0   3792   568 tty3     Ss+  Aug03   0:00 /sbin/getty 38400 tty3
root      2825  0.0  0.0   3792   568 tty4     Ss+  Aug03   0:00 /sbin/getty 38400 tty4
root      2826  0.0  0.0   3788   564 tty5     Ss+  Aug03   0:00 /sbin/getty 38400 tty5
root      2828  0.0  0.0   3792   568 tty6     Ss+  Aug03   0:00 /sbin/getty 38400 tty6
polw      7099  0.0  0.4  44300  8852 ?        S    Aug03   0:03 policyd-weight (child)
polw      7100  0.0  0.4  44300  8836 ?        S    Aug03   0:03 policyd-weight (child)
vu2000   32104  0.0  0.7 139384 15192 ?        S    Aug03   0:17 /usr/bin/php5-cgi
vu2000     430  0.0  0.7 139668 15184 ?        S    Aug03   0:17 /usr/bin/php5-cgi
vu2004   11801  0.0  0.3 133272  8100 ?        Ss   Aug03   0:00 /usr/bin/php5-cgi
vu2004   11802  0.0  1.0 136976 20920 ?        S    Aug03   0:17 /usr/bin/php5-cgi
vu2004   11803  0.0  0.9 138000 20328 ?        S    Aug03   0:17 /usr/bin/php5-cgi
vu2004   11806  0.0  0.3 133272  8100 ?        Ss   Aug03   0:00 /usr/bin/php5-cgi
vu2004   11807  0.0  0.9 137120 20212 ?        S    Aug03   0:20 /usr/bin/php5-cgi
vu2004   11808  0.0  1.0 138296 20792 ?        S    Aug03   0:19 /usr/bin/php5-cgi
vu2004   11817  0.0  0.3 133272  8100 ?        Ss   Aug03   0:00 /usr/bin/php5-cgi
vu2004   11818  0.0  0.9 136760 19500 ?        S    Aug03   0:16 /usr/bin/php5-cgi
vu2004   11819  0.0  0.9 137516 20244 ?        S    Aug03   0:08 /usr/bin/php5-cgi
vu2004   11826  0.0  0.3 133272  8100 ?        Ss   Aug03   0:00 /usr/bin/php5-cgi
vu2004   11827  0.0  1.0 137104 20940 ?        S    Aug03   0:10 /usr/bin/php5-cgi
vu2004   11828  0.0  0.9 138000 20020 ?        S    Aug03   0:12 /usr/bin/php5-cgi
root     11861  0.0  0.0  48856  1168 ?        Ss   Aug03   0:01 /usr/sbin/sshd
polw     29038  0.0  0.4  44292  8856 ?        S    Aug04   0:02 policyd-weight (child)
bind     20113  0.0  0.5 112620 10252 ?        Ssl  Aug04   0:00 /usr/sbin/named -u bind
nobody   10320  0.0  0.1 102108  2376 ?        Ss   Aug04   0:02 proftpd: (accepting connections)
bind     14208  0.0  0.5 114148 11748 ?        Ssl  Aug04   0:07 /usr/sbin/named -u bind
root     14273  0.0  0.1  36840  2340 ?        Ss   Aug04   0:00 /usr/lib/postfix/master
root     14277  0.0  0.0   6056   464 ?        S    Aug04   0:00 /usr/sbin/courierlogger -pid=/var/run/courier/authdaemon/pid
root     14278  0.0  0.0  21628   724 ?        S    Aug04   0:00 /usr/lib/courier/courier-authlib/authdaemond
root     14283  0.0  0.0   6052   460 ?        S    Aug04   0:00 /usr/sbin/courierlogger -pid=/var/run/courier/imapd.pid -sta
root     14284  0.0  0.0   9232   676 ?        S    Aug04   0:00 /usr/sbin/couriertcpd -address=0 -maxprocs=40 -maxperip=20 -
postfix  14285  0.0  0.1  38940  2408 ?        S    Aug04   0:00 qmgr -l -t fifo -u
root     14287  0.0  0.0  30468  1332 ?        S    Aug04   0:00 /usr/lib/courier/courier-authlib/authdaemond
root     14288  0.0  0.0  30864  1620 ?        S    Aug04   0:00 /usr/lib/courier/courier-authlib/authdaemond
root     14289  0.0  0.0  30468  1332 ?        S    Aug04   0:00 /usr/lib/courier/courier-authlib/authdaemond
root     14290  0.0  0.0  30468  1332 ?        S    Aug04   0:00 /usr/lib/courier/courier-authlib/authdaemond
root     14291  0.0  0.0  30864  1620 ?        S    Aug04   0:00 /usr/lib/courier/courier-authlib/authdaemond
root     14296  0.0  0.0   6052   464 ?        S    Aug04   0:00 /usr/sbin/courierlogger -pid=/var/run/courier/pop3d.pid -sta
root     14297  0.0  0.0   9232   676 ?        S    Aug04   0:00 /usr/sbin/couriertcpd -maxprocs=40 -maxperip=4 -nodnslookup
vmail    14490  0.0  0.0  22532  1548 ?        S    Aug04   0:00 /usr/bin/imapd /var/mail/virtual/envasesplasticoslr.com.ar/g
root     28963  0.0  0.3 144624  6548 ?        Rs   06:26   0:00 /usr/sbin/apache2 -k start
root     28966  0.0  0.7  59488 14612 ?        S    06:26   0:00 /usr/bin/perl /var/www/ispcp/engine/ispcp-apache-logger -e
root     28967  0.1  0.7  59752 14764 ?        S    06:26   0:12 /usr/bin/perl /var/www/ispcp/engine/ispcp-apache-logger
www-data 28968  0.0  0.2 144312  5584 ?        S    06:26   0:00 /usr/sbin/apache2 -k start
www-data 28969  0.0  0.2 144312  5512 ?        S    06:26   0:00 /usr/sbin/fcgi-pm -k start
www-data 28971  0.2  0.6 373400 12820 ?        Sl   06:26   0:20 /usr/sbin/apache2 -k start
www-data 28973  0.2  0.6 373092 12928 ?        Sl   06:26   0:21 /usr/sbin/apache2 -k start
vu2000   28970  0.0  0.3 133272  8100 ?        Ss   06:26   0:00 /usr/bin/php5-cgi
vu2000   28992  0.1  0.9 141536 19284 ?        S    06:26   0:16 /usr/bin/php5-cgi
vu2000   28993  0.1  0.7 139428 15436 ?        S    06:26   0:13 /usr/bin/php5-cgi
postfix   9371  0.0  0.1  38892  2276 ?        S    06:34   0:00 anvil -l -t unix -u -c
www-data 12698  0.2  0.6 373000 12684 ?        Sl   07:30   0:14 /usr/sbin/apache2 -k start
vu2004   12753  0.0  0.3 133276  8104 ?        Ss   07:32   0:00 /usr/bin/php5-cgi
postfix  15597  0.0  0.1  38892  2220 ?        S    08:26   0:00 pickup -l -t fifo -u -c
root     16667  0.0  0.1  66064  3092 ?        Ss   08:40   0:00 sshd: root@pts/0
root     16670  0.0  0.0  19052  1896 pts/0    Ss   08:40   0:00 -bash
postfix  16720  0.0  0.1  62948  4036 ?        S    08:44   0:00 smtpd -n smtp -t inet -u -c -o stress
vu2004   18252  6.5  1.0 138004 20868 ?        S    09:06   0:16 /usr/bin/php5-cgi
vu2004   18260  6.6  0.9 136948 18936 ?        S    09:07   0:12 /usr/bin/php5-cgi
postfix  18339  0.0  0.1  62828  3960 ?        S    09:09   0:00 smtpd -n smtp -t inet -u -c -o stress
postfix  18340  0.0  0.1  39624  3292 ?        S    09:09   0:00 trivial-rewrite -n rewrite -t unix -u -c
postfix  18341  0.0  0.1  39180  2936 ?        S    09:09   0:00 cleanup -z -t unix -u -c
postfix  18342  0.0  0.1  39092  2876 ?        S    09:09   0:00 virtual -t unix
postfix  18349  0.0  0.1  62828  3956 ?        S    09:10   0:00 smtpd -n smtp -t inet -u -c -o stress
vu2009   18360  0.2  0.3 133272  8100 ?        Ss   09:10   0:00 /usr/bin/php5-cgi
vu2009   18361  0.0  0.2 133932  6036 ?        S    09:10   0:00 /usr/bin/php5-cgi
vu2009   18362  0.0  0.2 133932  5944 ?        S    09:10   0:00 /usr/bin/php5-cgi

 

hereje, el problema no se ha solucionado. Los procesos no se cierran.

Prueba a actualizar PHP a la última versión, a ver si se corrige el bug que comentaba Apolo.

 

Hola MaxKiller!

Te comento, tengo instalada creo la última versión de PHP (la 5.2.9). Como agregado, lo tengo instalado desde un repositorio externo (dotdeb) que libera las versiones más rapidamente que debian (está en la 5.2.6). Tendrá esto algo que ver? A lo mejor podría probar con las versiones oficiales de debian unos días a ver qué pasa.

Para agregar aún más..., tengo instalado también junto con php, eAccelerator. No se si éste podría afectar en algo en los síntomas que tengo. También probé en quitarlo un par de días, pero no hubo resultados visibles.

Bueno, usted me dirá! Saludos

 

hereje, no puedo afirmarte directamente si ambas acciones solucionarían tus problemas, pero me temo que no te queda más que hacerlo.

Vuelve a la versión que suministran los repositorios de Debian, reinicia el servidor y prueba un par de días, si sigues sin resultados satisfactorios, desactiva eAccelerator y lo mismo.

Ya nos cuentas, mucha suerte.