Errores en disco en Solaris

Hoy voy a postear un par detruquillos fáciles de recordar y que vale la pena tenerlo a mano cuando buscas errores en los discos de Solaris (yo lo utilizo bajo ZFS, es posible que bajo otros formatos funcionen algunos de ellos). Ahí van!

format
nos devuelve todos los discos (o LUNs) disponibles en el servidor. Para salir, hay que acceder a alguno de los discos y hacer 'quit' desde ahí.

Server # format Searching for disks...done AVAILABLE DISK SELECTIONS:        0. c0t0d0           /pci@0,600000/pci@0/pci@0/scsi@0/sd@0,0        1. c0t1d0           /pci@0,600000/pci@0/pci@0/scsi@0/sd@1,0        2. c3t600601606FC01D00DC76C8F975B6DF11d0           /scsi_vhci/ssd@g600601606fc01d00dc76c8f975b6df11        3. c3t600601606FC01D00E0B37FE672B6DF11d0           /scsi_vhci/ssd@g600601606fc01d00e0b37fe672b6df11        4. c3t600601606FC01D00E4F142FA72B6DF11d0           /scsi_vhci/ssd@g600601606fc01d00e4f142fa72b6df11        5. c3t600601606FC01D0098A820F372B6DF11d0           /scsi_vhci/ssd@g600601606fc01d0098a820f372b6df11 Specify disk (enter its number): 5 selecting c3t600601606FC01D0098A820F372B6DF11d0 [disk formatted] FORMAT MENU:         disk       - select a disk         type       - select (define) a disk type         partition  - select (define) a partition table         current    - describe the current disk         format     - format and analyze the disk         repair     - repair a defective sector         label      - write label to the disk         analyze    - surface analysis         defect     - defect list management         backup     - search for backup labels         verify     - read and display labels         save       - save new disk/partition definitions         inquiry    - show vendor, product and revision         volname    - set 8-character volume name         !     - execute , then return         quit format> quit Server #

iostat -En
nos devuelve datos y estadísticas de error de los discos y LUNs del servidor (nombre, tamaño, errores, tipo de errores, etc)

Server # iostat -En c0t1d0           Soft Errors: 0 Hard Errors: 0 Transport Errors: 0 Vendor: FUJITSU  Product: MBD2147RC        Revision: 3701 Serial No: Size: 146.81GB <146810536448 bytes> Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0 Illegal Request: 0 Predictive Failure Analysis: 0 c0t0d0           Soft Errors: 0 Hard Errors: 0 Transport Errors: 0 Vendor: FUJITSU  Product: MBD2147RC        Revision: 3702 Serial No: Size: 146.81GB <146810536448 bytes> Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0 Illegal Request: 0 Predictive Failure Analysis: 0 c0t4d0           Soft Errors: 0 Hard Errors: 0 Transport Errors: 0 Vendor: MATSHITA Product: DVD-RAM UJ875AS  Revision: 1.00 Serial No: Size: 0.00GB <0 bytes> Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0 Illegal Request: 2 Predictive Failure Analysis: 0 c3t600601606FC01D00E4F142FA72B6DF11d0 Soft Errors: 0 Hard Errors: 0 Transport Errors: 0 Vendor: DGC      Product: RAID 5           Revision: 0224 Serial No: Size: 214.75GB <214748364800 bytes> Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0 Illegal Request: 1 Predictive Failure Analysis: 0 c3t600601606FC01D0098A820F372B6DF11d0 Soft Errors: 0 Hard Errors: 0 Transport Errors: 0 Vendor: DGC      Product: RAID 5           Revision: 0224 Serial No: Size: 214.75GB <214748364800 bytes> Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0 Illegal Request: 1 Predictive Failure Analysis: 0 c3t600601606FC01D00E0B37FE672B6DF11d0 Soft Errors: 0 Hard Errors: 0 Transport Errors: 0 Vendor: DGC      Product: RAID 5           Revision: 0224 Serial No: Size: 107.37GB <107374182400 bytes> Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0 Illegal Request: 1 Predictive Failure Analysis: 0 c3t600601606FC01D00DC76C8F975B6DF11d0 Soft Errors: 0 Hard Errors: 1 Transport Errors: 0 Vendor: DGC      Product: RAID 5           Revision: 0224 Serial No: Size: 107.37GB <107374182400 bytes> Media Error: 0 Device Not Ready: 0 No Device: 1 Recoverable: 0 Illegal Request: 1 Predictive Failure Analysis: 0

zpool iostat -v DISCO
donde DISCO es el pool en el que está montado nos devuelve información de cómo está montado ese recurso. Puede ser un mirror o que esté montado sobre una LUN; en cualquier caso te devuelve la información sobre el recurso.

Server # zpool iostat -v root                  capacity     operations    bandwidth pool           used  avail   read  write   read  write ------------  -----  -----  -----  -----  -----  ----- root          67,5G  68,5G      1      5   177K   174K   mirror      67,5G  68,5G      1      5   177K   174K     c0t0d0s0      -      -      0      3  89,5K   174K     c0t1d0s0      -      -      0      3  89,6K   174K ------------  -----  -----  -----  -----  -----  ----- Server # zpool iostat -v flashbackpool                                            capacity     operations    bandwidth pool                                     used  avail   read  write   read  write --------------------------------------  -----  -----  -----  -----  -----  ----- flashbackpool                           27,5G   172G      1      3   199K   136K   c3t600601606FC01D00E4F142FA72B6DF11d0  27,5G   172G      1      3   199K   136K --------------------------------------  -----  -----  -----  -----  -----  ----- Server #  Server #

Activando Server-Status en Apache

Parece una tontería, pero es una herramienta bastante útil a la hora de detectar cuellos de botella en un servidor apache. Últimamente me ha sido decisiva a la hora de detectar dos de estos casos en poco tiempo, y aunque su activación es un momento, muchos administradores no lo tienen en cuenta.

También es verdad que hay otros módulos, del propio apache o de terceros, pero este, por su simplicidad, facilidad a la hora de instalar (viene prácticamente por defecto, sólo hay que configurarlo) y por su utilidad, debería estar en cualquier checklist de instalación.

Lo primero es instalar el paquete apache; dependiendo de tu distribución se hace de una manera u otra (apt-get install apache2, aptitude apache2, yum install http, etc). Yo seguiré a partir del momento en que vuestro Apache funciona correctamente.

Antes que nada, debéis confirmar si la directiva

ExtendedStatus

está activada o no; en caso de no estarlo, la activáis (descomentándola o poniéndola en On). En caso de estar activad, pues ya la tenemos. Si no la encontráis, podéis dar de alta la línea 

ExtendedStatus On

en el archivo de configuración apache2.conf o httpd.conf, por ejemplo (o en cualquier archivo de configuración que vaya a leer el apache al levantar).

El siguiente paso es configurar el manejador. Es posible que vuestra distro ya lo tenga activado sin configurar. En el caso de distribuciones tipo Debian, en el directorio mods-available encuentro la configuración para este módulo en status.conf. Si edito me encuentro que la configuración por defecto es:

# # Allow server status reports generated by mod_status, # with the URL of http://servername/server-status # Uncomment and change the "192.0.2.0/24" to allow access from other hosts. #     SetHandler server-status     Order deny,allow     Deny from all     Allow from 127.0.0.1 ::1     Allow from 192.168.253.0/24 # Keep track of extended status information for each request ExtendedStatus On # Determine if mod_status displays the first 63 characters of a request or # the last 63, assuming the request itself is greater than 63 chars. # Default: Off #SeeRequestTail On     # Show Proxy LoadBalancer status in mod_status     ProxyStatus On

Yo me voy a centrar en la parte del handler, el manejadro que comentaba antes:

SetHandler server-status     Order deny,allow     Deny from all     Allow from 127.0.0.1 ::1 #    Allow from 192.168.1.0/24

Aquí podremos cambiar la manera de llamar al manejador; por defecto es '/server-status', pero por seguridad está bien que lo cambies, más que nada porque esta directriz mal configurada puede estar disponible públicamente, y no interesa. Con llamarlo '/config-status' o '/server-stat' o algo parecido ya es suficiente.

La siguente cosa en que nos fijamos en los usuarios que se permiten; sólo permite acceso desde localhost, pero si descomentamos el último 'Allow' podremos acceder también desde toda nuestra red privada 192.168.1.0/24 (o desde la red o IPs que le pongamos, aquí es donde configuramos el acceso)

Y ya está. Hacemos una comprobación de la configuración con

apache2ctl configtest

y cuando nos dé el OK, hacemos un reload para cargar los cambios. Y comprobamos que tengamos acceso al server-status de la máquina desde un navegador:

http://nombredelservidor/server-status

Mover los archivos de una base de datos MSSQL Server

Hoy me he tenido que ver en la tesitura de mover los archivos de una BBDD SQL Server 2008 de un directorio a otro: el motivo, una BBDD que ha crecido de manera desmesurada en pocas horas, así que me he tenido que buscar las castañas para devolver el servicio a la plataforma. Y ya hablaremos con el cliente para ver qué quiere hacer.

El caso es que mover la BBDD ha sido sencillo, una vez he tenido un poco de idea de cómo hacerlo. En mi caso, lo he hecho para un MSSQL 2008, pero imagino que el procedimiento será el mismo en otras versiones.

Antes de empezar
1) tener claro dónde están los datos actuales de la BBDD y dónde lo vamos a mover, y sobre todo, si hay espacio suficiente. Sé que puede parecer una tontería, pero no lo es.
2) configuraremos el directorio destino. Con esto me refiero a que asignaremos los mismos permisos al directorio de destino que tiene el directorio origen. En mi caso, que trabajo con un usuario administrador, sólo me hizo falta añadir al usuario SQLUser con control total en el directorio, y después, al mover los archivos, y en los archivos.

Una vez tenemos el escenario preparado, los pasos serán los siguientes:
 - Arranca el SQL Server Management Studio
 - Expande la instancia de tu servidor SQL y las Bases de datos (Databases)
 - Botón derecho sobre la BBDD que quieres mover y elige 'Tasks' y después 'Detach'. Con esto, la BBDD queda desvinculada del servidor SQL, aunque sigue en nuestro disco duro. Haz con cuidado este paso y asegúrate que no hay activada ninguna opción tipo 'Drop'. Haz click en 'OK' cuando hayas comprobado toda la información de la ventana 'Detach'.
 - Desde el directorio origen de datos de SQL, mueve los datos (xxxx.mdf y xxxx.ldf) a su nuevo directorio. Recuerda comprobar los permisos unas vez movidos los archivos, y que sean los mismos que originalmente.
 - Botón derecho sobre 'Databases' y elige la opción 'Attach'; con esto, volveremos a vincular la BBDD al servidor SQL. Se abrirá una ventana que nos pedirá que ubiquemos los archivos de la BBDD que vamos a vincular; navegamos y seleccionamos el archivo .mdf que acabamos de mover, y 'OK'.
 - En el siguiente panel comprueba que la nueva localización está configurada tanto para el archivo .mdf como para el .ldf. Una vez comprobado, 'OK'.
 - Una vez se haya vinculado de nuevo la BBDD, comprueba que se haya hecho bien, refrescando la vista y comprobando que la BBDD se lista de nuevo correctamente.


Como véis, el proceso no es muy complicado, sólo que las primeras veces hay que ir con ojo. Aún así, me he encontrado con dos problemas, y paso a relatar cómo los he solucionado.

• Por un lado, al vincular la BBDD de nuevo, el SQL lo hacía en modo Read-Only. Esto ha sido debido a que los permisos del nuevo directorio y de los archivos copiados no eran los mismos que originalmente; por eso hago tanto hincapié durante la explicación.
• Por otro lado, una vez ha finalizado correctamente todo el proceso, otra BBDD se ha quedado en estado 'in recovery', y no se podía realizar ninguna acción sobre ella. En esta BBDD no se ha hecho ningún cambio, pero es posible que a nivel interno tuviera alguna relación con la BBDD que se ha movido; el caso es que pasados unos minutos en este estado, se ha solucionado solo, la BBDD ha salido de este estado una vez ha finalizado la recuperación.

Haciendo mis pinitos en Oracle: recursos en STOP_FAILED

En mi caso, alguna vez me he encontrado con que no se puede establecer una conexión entre un tomcat y una BBDD oracle; el error típico es el siguiente

[06/12/11 23:44:11:396] com.mchange.v2.resourcepool.BasicResourcePool$AcquireTask run INFO: An exception occurred while acquiring a poolable resource. Will retry.
java.sql.SQLException: Listener refused the connection with the following error:

ORA-12519, TNS:no appropriate service handler found
The Connection descriptor used by the client was:
192.168.168.168:1521:BBDD01

Al acceder al nodo activo de oracle, y ver el estado, hay un recurso que ha intentado pararse pero no ha podido. Para consultar el estado, ejecutamos

scstat -g

y obtenemos

-- Grupos de recursos y recursos --             Nombre del grupo Recursos             ---------------- --------  Recursos:  grupo_recurso-rg servicio_01 servicio_02 servicio_03 servicio_n -- Grupos de recursos --             Nombre del grupo Nombre del nodo          Estado         Suspendido             ---------------- ---------------          ------         ----------      Grupo: grupo_recurso-rg BD1                     Error: parada no satisfactoria No      Grupo: grupo_recurso-rg BD2                     Offline        No -- Recursos --             Nombre del recurso Nombre del nodo          Estado         Mensaje de estado             ------------------ ---------------          ------         -----------------   Recurso:  servicio_01    BD1                      Online         Online - LogicalHostname online.   Recurso:  servicio_01    BD2                      Offline        Offline - LogicalHostname offline.   Recurso:  servicio_02 BD1                     Online         Online   Recurso:  servicio_02 BD2                     Offline         Offline   Recurso:  servicio_03 BD1                     Online         Online   Recurso:  servicio_03 BD2                     Offline         Offline   Recurso:  servicio_n BD1                     Parada no satisfactoria Con fallo   Recurso:  servicio_n BD2                     Offline       Offline

Localizamos que el problema está en el recurso servicio_pen-oracle_server del nodo BD11. El estado es STOP_FAILED. En este caso, lo que debemos hacer es poner el recurso en estado offline y después balancear el clúster al nodo pasivo para volver a tener servicio. Primer ejecutaremos

scswitch -c -h BD1 -j servicio_n -f STOP_FAILED

donde
-c: pasar a offline
-h: nodo
-j: recurso
-f: estado actual

Una vez ejecutado, nos devuelve el siguiente mensaje

scswitch: NOTICE: Operation succeeded, but resource group oracle-rg remains in ERROR_STOP_FAILED state on node server1 because some resources in the group remain
online while others are offline. To clear this condition, switch the resource group offline.

y ejecutamos el siguiente comando para pasar el grupo de recursos offline (es decir, todos los recursos, no sólo el que da problemas)

scswitch -F -g grupo_recurso-rg

Una vez ha finalizado, comprobamos que el todo ha quedado sin errores: scstat -g
Por último, para pasar el clúster al nodo inactivo, lo hacemos ejecutando

scswitch -z -g grupo_recurso-rg -h BD2

donde
-z: balanceo
-g: grupo de recursos
-h: nodo al que vamos a pasar el grupo de recursos

Una vez finalice, comprobamos que los servicios han quedado bien levantados con scstat -g

Reducir o truncar el ibdata1 de MySQL

Si estáis utilizando la configuración por defecto del motor de almacenamiento InnoDB para vuestras tablas MySQL, seguramente os habréis encontrado con un problema bastante molesto: el archivo 'ibdata1', que contiene todos los datos de la instancia MySQL (no es bien bien un log de transacciones) y que crece descontroladamente. Al principio pesa 10Mb, pero eso va creciendo y no se puede partir o cortar de ninguna manera. Ni siquiera con DELETE, TRUNCATE o DROPs a los datos almacenados en la BBDD harán que el archivo sea más pequeño. De hecho, cuando se libera espacio, el sistema lo marca como libre dentro del archivo y se puede reutilizar más adelante. Vamos, que podría llegar a ocupar todo el espacio libre en la partición. Y con lo crítico que es, este parámetro no viene preconfigurado en una instalación por defecto.

Bueno, el caso es que una vez configuras una BBDD para trabajar con InnoDB, pocas cosas puedes hacer con ella, una vez te has encontrado con el problema. Así que hay que empezar de nuevo, y para que no nos pase, vamos a intentar limitar estos parámetros y que no crezca de manera descontrolada.

Éste es el método que he utilizado en varias ocasiones. Al final tenéis el enlace al texto original, donde se comentan otras dos maneras de truncar el ibdata1. Yo utilizaré la más intuitiva.

Antes de nada, haced un backup completo de la BBDD. Es más, si puedes también parar el MySQL y copiar los binarios a otro directorio, mejor. Ya lo borrarás cuando puedas. Así tienes todos los backups habidos y por haber.

Yo mi backup completo lo hago con una query del estilo:

/usr/bin/mysqldump ––extended-insert ––all-databases ––add-drop-database ––disable-keys ––flush-privileges ––quick ––routines ––triggers > /root/all-databases.sql

Tarda, tarda bastante, pero es completo.

Una vez tengo hecho mi backup, paro el servidor MySQL y entonces me dedico a mover o a borrar el directorio de datos MySQL. Yo, en mi caso, siempre me gusta guardar el directorio por si hay que hacer un rollback, y es recomendable que lo hagáis. Si no podéis por problemas de espacio o algo, al menos esperad a comprobar que el proceso funciona.

Nos habíamos quedado en que tenéis que mover lo que hay en el directorio de datos de MySQL si queréis mantener el path (por defecto en Debian es /var/lib/mysql); otra opción es crear una carpeta nueva, por ejemplo si queréis mover el directorio de datos de filesystem a uno más grande. En ese caso, recordad configurar los mismos permisos

mkdir /path/to/mysql
chown mysql:mysql /path/to/mysql
chmod 770 /path/to/mysql

Ya casi estamos. Ahora toca reconfigurar el MySQL; por defecto el archivo en Debian es /etc/mysql/my.cnf pero en algunos sistemas es /etc/my.cnf; sólo tendréis que localizarlo y realizar las modificaciones que consideréis pertinentes. Yo, en mi última configuración, añadí estos parámetros

innodb_log_file_size    = 800M
innodb_buffer_pool_size = 1024M
innodb_file_per_table = 1
innodb_data_file_path=ibdata1:1024M

pero en el último algo andaría mal, porque el sistema ha pasado de mí. Lástima que lo vi cuando ya era demasiado tarde (era demasiado tarde porque había puesto la BBDD en producción y si me 'cargo' el ibdata1, me cargo la BBDD... y queda feo). Si habéis cambiado el path del directorio de datos, recordad que tenéis que modificar la variable 'datadir' y actualizarla.

Ahora que he hecho las modificaciones, inicializo la BBDD. Esto es que como no tengo nada, sólo un directorio vacío, vamos a crear la estructura de datos para que el MySQL pueda arrancar sin nada. Ya me encargaré después de cargarle los datos. Para ello, desde la línea de comandos ejecuto

sudo -u mysqld mysql_install_db
(si estoy como root sólo  mysql_install_db)

Y ya estará inicializada. Comprobad que no devuelva otro error, pero si todo va bien, ya tenéis la BBDD.

Ahora levanto el MySQL. En Debian da 'problemas' con el usuario debian-sys-maint, que es el que Debian utiliza para cualquier tarea de mantenimiento, como comprobar el estado de las tablas al arrancar el proceso. Nada, que da error porque el usuario no existe, así que no le hagáis mucho caso al amigo. Cuando importéis la BBDD y el usuario se cree, se resolverá el problema. El caso es que el servicio se levanta y podréis entrar al MySQL. Dentro de la consola ejecutar

SET FOREIGN_KEY_CHECKS=0;
SOURCE /path/to/backup-databases.sql;
SET FOREIGN_KEY_CHECKS=1;

El segundo paso importará la base de datos, y su duración dependerá de lo grande que sea ésta. Puede durar horas. No desesperéis.

Cuando por fin haya acabado, reiniciad el MySQL para que coja todos los cambios que habéis hecho al importar la base de datos. Comprobad que levanta bien y que todo funciona correctamente.

En el caso que tuviérais que volver atrás porque no ha salido bien y no tenéis tiempo de repetir el proceso, todo es tan sencillo como

1 - parar el MySQL
2 - editar /etc/mysql/my.cnf y deshacer los cambios
En mi caso sería eliminar las líneas añadidas y volver a poner /var/lib/mysql en el 'datadir'
3 - arrancar el MySQL de nuevo. Comprueba que todo funciona correctamente

El proceso sólo requiere mucho tiempo, siempre en función del tamaño de la BBDD, no es tan difícil como puede parecer antes de hacerlo

Y ya está!!

"Mi servidor no está bien..." - Manual para instalar RKHUNT

¿No os suena eso de 'Este servidor está haciendo cosas raras'? Yo lo suelo decir mucho. Demasiado tal vez... El caso es que, una vez analizado el caso, si sigue sin seguir ningún tipo de lógica y empiezas a pensar que tal vez tienes 'marcianitos' en tu servidor, ha llegado el momento de comprobar con un rootkit a ver qué hay ahí dentro.

Es muy sencillo, la verdad, no tiene misterio.
Instalamos la aplicación elegida; yo suelo trabajar con RKHUNTER

http://www.rootkit.nl/projects/rootkit_hunter.html 

y si puedo lo instalo directamente desde el repositorio; en caso de trabajar con sistemas tipo Debian:

apt-get install rkhunter

(además el sistema te instala libmd5-perl y el unhide; alguna vez me he encontrado que el unhide después devuelve algún aviso de seguridad al scanear)
Una vez instalados los paquetes, sólo queda escanear en busca de cosas 'raras'. Para ejecutarlo, invocamos en la shell

SERVER:~# rkhunter -c
[ Rootkit Hunter version 1.3.2 ]

Checking system commands...

  Performing 'strings' command checks
    Checking 'strings' command                               [ OK ]

  Performing 'shared libraries' checks
    Checking for preloading variables                        [ None found ]
    Checking for preload file                                [ Not found ]
    Checking LD_LIBRARY_PATH variable                        [ Not found ]

  Performing file properties checks
    Checking for prerequisites                               [ OK ]
    /bin/bash                                                [ OK ]
    /bin/cat                                                 [ OK ]
    /bin/chmod                                               [ OK ]
    /bin/chown                                               [ OK ]
    /bin/cp                                                  [ OK ]
    /bin/date                                                [ OK ]
    /bin/df                                                  [ OK ]

[...]

Al acabar, el log por defecto lo deja en

/var/log/rkhunter.log

La versión de rkhunter que viene con Debian, además, se puede programar de manera que no necesite interacción, ideal para automatizar vía cron.
Las entradas que yo tengo en mi cron respecto a esto son

rkhunter --update
rkhunter --cronjob --report-warnings-only

La primera entrada es para actualizar la base de datos del rkhunter. Para que funcione el sistema tiene que tener instalado algún navegador para utilizar desde la línea de comandos, tipo wget o lynx.
La segunda entrada es la que os comentaba, ya que ejecuta rkhunter de manera que no necesita interacción y sin reportar nada por pantalla. Para ello le ponemos el '--reports-warnings-only', y todo lo que analice lo envía al log por defecto.

Ahora sólo queda automatizar un proceso que revise el log y me avise vía mail si alguna vez hay algo raro. De momento estoy en ello, pero tengo que acabar de pulir los 'Warnings' que me devuelve el log, a ver qué se puede ignorar y qué no!



Fuentes:    http://www.rootkit.nl/projects/rootkit_hunter.html
               http://www.howtoforge.com/scan_linux_for_rootkits

MSSQL: Error al importar

Hoy he tenido que importar una BBDD MSSQL 2000 en MSSQL 2008. Y me daba una pequeña crujida:

El conjunto de copia de seguridad contiene una copia de una base de datos distinta de la existente
(The Backup set holds a backup of a database other than existing database)

y luego un montón de códigos raros a los MS es tan aficionado del tipo:

Microsoft.SqlServer.SmoExtended
System.Data.SqlClient.SqlError

El caso es que googleando he visto que lo único que tenía que hacer mientras importaba la BBDD era activar la opción WITH_REPLACE en las Opciones. Y ya está, la BBDD se ha importado correctamente ;)


Puedes consultar la fuente directamente aquí.