Regexp mortal

Hoy realizando una tarea que va a ser repetitiva (MODO CRON ON), he tenido que currar una regexp, la verdad no es muy compleja en sí pero sí larga:

'/(project|production)/production/(hs|ga)[0-9]{2}/Runs/[0-9]{6}_SN[0-9]{3}_[0-9]{4}_[0-9A-Z]{8}XX/(Data/Intensities/(L00[0-9]/C*|BaseCalls/L00[0-9]/C*)|Thumbnail_Images/L00[0-9])'

Cuanto tardará find en procesar algo como esto con una jerarquía de unos 36000K ficheros xD
Respuesta en breve :-)

El típico día a día

Hoy un amigo me planteaba un problema.
Resulta que tiene 2 ficheros con datos del tipo:

  • fichero1: [SERIAL]|[ID], por ejemplo:
    8944110064809868270|1221174
  • fichero2: [ID], por ejemplo:
    1185648

El problema es sencillo, necesita mostrar del fichero1 [SERIAL]|[ID] si [ID] está en fichero2 y de los que no estén en fichero2 mostrar únicamente la ocurrencia con [ID] más alto.
La cuestión es que todos los [ID] de fichero2 están en fichero1.

Después de un buen rato, opté por ignorar fichero2, total, todos los datos están en fichero1, no nos da ningún dato significativo.
Y lo que obtuve fue lo siguiente:
sort -k 2 -n -t "|" fichero1.txt | awk -F\| '{
file1array[$1] = $2
} END{
for (SSN in file1array)
print SSN"|"file1array[SSN] }' > test.file

El razonamiento es sencillo teniendo, la clave la da la ordenación del principio, ya que el array que creo dentro de awk irá machacando [ID] menores.

Ciclo Herramientas gnu/linux (VII): moc

No es ningún tema de fubol por supuesto :P
moc es un reproductor basado en ncurses (para variar), como cualquier otro reproductor X de los simples, con reproducción por listas, exploración de directorios y poquito más (pa qué).
Ocupa poco, funciona realmente bien y no hay mucho que configurar :)

En mi caso lo único a sido asignar las teclas multimedia del teclado, en $HOME/.fluxbox/keys por supuesto:

None XF86Tools :ExecCommand roxterm -e mocp
None XF86AudioPlay :ExecCommand mocp -G
None XF86AudioLowerVolume :ExecCommand amixer -q set PCM 5%- unmute
None XF86AudioMute :ExecCommand amixer -q set Master toggle
None XF86AudioRaiseVolume :ExecCommand amixer -q set PCM 5%+ unmute

También tenemos la aplicación moc-tray para los tray-lovers ;-) aunque entonces yo optaría por xnoise que tiene todo ya integrado.

Serverstats, el “cacti” ligero

En mi búsqueda habitual de aplicaciones lightweight y tras tirar “cacti” a la basura por motivos de rendimiento óbvios, he encontrado “serverstats” a través de un blog donde lo analizan bastante bien, asi que no voy a ponerme a analizarlo yo :P

La cuestión viene cuando he intentando personalizar la configuración inicial.
Lo primero que he visto que aunque en la documentación diga que modificando el fichero “config/sources.php” carga módulos… no lo hace :-P, únicamente hará caso del fichero “config/simple.php“.
Por ejemplo, para activar el módulo de monitorización de mysql he tenido que habilitarlo en el “simple.php“:

'mysql' => array(
'used' => true,
'host' => 'localhost',
'user' => 'serverstats',
'password' => 'serverstats',
'graphs' => array(
'questions' => array('used' => true, 'title' => 'MySQL: questions per second'),
'processes' => array('used' => true, 'title' => 'MySQL: query count ("SHOW PROCESSLIST")')
)
),

Continue reading “Serverstats, el “cacti” ligero”

Script de copia y restauración de un sistema windows

Imagino que todos los sysadm/informaticos de este mundo hemos sufrido alguna vez el caso del “Amigo informatico“.

En mi caso últimamente, después de usar muchas veces ghost, he decidido cambiar… Nada de dar un dvd con la imagen, que para eso tenemos toneladas de gigas de espacio en disco y si el usuario se queja, pues mira, habérselo pedido a otro.

Partiendo de esto, he decidido hacer un script tipo menú de instalación con las opciones mínimas y que sea fácilmente gestionable por el usuario final.

El preparación es simple:

  • Se particiona el disco.
  • Instalamos windows
  • Instalamos un linux “minimal”, y dependencias necesarias para que el script funcione
  • Añadimos nuestro script.
  • Modificamos los parámetros de configuración necesarios en el mismo
  • Creamos un usuario de sistema sin privilegios, modificamos ~/.bashrc para lanzar automáticamente el script cuando se logue el usuario.
  • Deshabilitamos la posibilidad de salir del script (trap) para evitar problemas.
  • Nos guardamos el pass de root ;-)
  • Modificamos grub para que el menú diga algo como Restore or similar y el usuario no se asuste viendo GNU/Linux
  • Informar al usuario de como funciona el entorno, aunque es muy muy sencillo)

Con eso y generar nosotros mismos la primera imagen que será imborrable (desde el script), ya estaría todo.

El funcionamiento es mucho más simple aún:

  1. Restaurar imagen
  2. Generar Imagen
  3. Borrar Imagen
  4. Listar Imágenes
  5. Ayuda
  6. Reboot

No deberían añadirse muchas más opciones, cuanto menos se pueda hacer, mejor.

Las ventajas son bastante óbvias:

  • El propio usuario se gestiona sus imágenes, por lo que cambio de sistema windows (de xp a 7 por ejemplo), no deberían necesitar más ayuda.
  • El script debería funciona en cualquier linux mientras se cumplan las deps.
  • El backup “va contigo”, no hay discos adicionales.

Y las desventajas:

  • Espacio en disco
  • Que se carguen grub
  • Que alguna vez falle el ntfsclone (FAIL!)

Por supuesto puede que el script no esté libre de fallos, por ejemplo, no consigo hacer trap de “CONTROL+Z” aunque haga trap de todas las señales. Aunque probado está ;-)

El script está documentado en la wiki.

Ciclo Herramientas gnu/linux (VI): busybox

Hoy un compañero ha tenido un “pequeño” percance con la actualización de unas vmware-tools… Le han petado /root.
Por algún motivo corrompieron todo el fs.
La cuestión es que necesitábamos tener los comandos básicos por que tras diversas acciones “/lib64” desapareció O:-) y no podíamos ejecutar ni un “mv“.
Es decir, teníamos shell y … poco más.
En estas le comento y por qué no metemos un busybox, no tiene dependencias (compilado estático) y tenemos todo!
Se quedó un poco parado por lo de busybox, no lo había oido nunca, asi que como muestra un botón, cogí mi android, puse el terminal emulator y ejecuté:
[cc lang=”bash”]dodger:~ $ busybox
BusyBox v1.10.3 (2010-10-13 23:52:46 CEST) multi-call binary
Copyright (C) 1998-2007 Erik Andersen, Rob Landley, Denys Vlasenko
and others. Licensed under GPLv2.
See source distribution for full notice.

Usage: busybox [function] [arguments]…
or: function [arguments]…

BusyBox is a multi-call binary that combines many common Unix
utilities into a single executable. Most people will create a
link to busybox for each function they wish to use and BusyBox
will act like whatever it was invoked as!

Currently defined functions:
[, [[, addgroup, adduser, ar, ash, awk, basename, bunzip2, bzcat, bzip2, cat, chgrp, chmod, chown, chroot, chvt, clear, cmp, cpio, crond, crontab, cut, date, dc, dd, deallocvt, delgroup, deluser, df, diff, dirname,
dmesg, dos2unix, dpkg, dpkg-deb, du, echo, env, expr, false, fdisk, find, fold, free, getopt, getty, gunzip, gzip, halt, head, hexdump, hostid, hostname, hwclock, id, ifconfig, ifdown, ifup, inetd, init, insmod,
install, ip, kill, killall, killall5, klogd, less, linuxrc, ln, logger, login, logname, losetup, ls, lsmod, md5sum, mdev, mkdir, mknod, mkswap, mktemp, modprobe, more, mount, mv, netstat, nice, nslookup, od, openvt,
passwd, patch, pidof, ping, pivot_root, pkill, poweroff, printf, ps, pwd, rdate, readlink, reboot, reset, rm, rmdir, rmmod, route, run-parts, sed, sh, sha1sum, sleep, sort, start-stop-daemon, strings, stty, su,
sulogin, swapoff, swapon, sync, syslogd, tail, tar, tee, telnet, telnetd, test, time, top, touch, tr, traceroute, true, tty, udhcpc, umount, uname, uncompress, uniq, unix2dos, unzip, uptime, usleep, uudecode, uuencode,
vi, vlock, wc, wget, which, whoami, xargs, yes, zcat, zcip
[/cc]
Para cualquier amante de trastear routers y cualquier cosa con un linux embebido es el pan de cada día, pero si no te has puesto puede sonar un poco a chino.

Asi que subimos con netcat (esto pa otro día) el busybox compilado para rhel4 de dag.wieers y listo! Comandos básicos ready-to-go.