[MATLAB] Ejecutar scripts en background sin el GUI

En particular necesito procesar millones de datos cargados desde la BdD, y generar archivos y gráficas. Debido a las gráficas, mientras estas son generadas pierdo el control del computador hasta que este proceso termine.

Para solucionar esto (Aprovechando que uso linux), puedo ejecutar los scripts desde consola además de incrementar la prioridad del proceso.

Entonces :

 

  1. Ejecutaremos los scripts necesarios desde consola. 
  2. Cambiaremos la prioridad para decrementar el tiempo de ejecución.
 

[MYSQL] + [InnoDB] + The total number of locks exceeds the lock table size

Cuando uno trabaja con Bases de Datos muy grandes, en mi caso de alrededore de 60 Millones de Datos, existen ciertas limitantes.

Una de ellas es la cantidad de memoria utilizada por los indices en las BdD, esta por efecto en Mysql al parecer es de 8Megas por lo que al trabajar con datos muy grandes no sirve.

Una forma de agrandar el espacio de memoria reservado para la utilización de estos indices es editar el archivo de configuración de mysql.

 

  • sudo vim /etc/mysql/my.cnf  (Pueden usar su editor favorito)
  • Debajo de [mysqld] agregar : set-variable=innodb_buffer_pool_size=256M
Esto debería solucionar los problemas que causa el limite del lock.
 
Este es un extracto de la página ->  http://mrothouse.wordpress.com/2006/10/20/mysql-error-1206/

 

 

 

Matlab + Mysql

Soy de las personas que generan scripts y programas para todo. El problema es que me cansé  de utilizar «Intermediarios» para obtener/insertar los datos de Mysql para terminar procesandolos con Matlab.

Por lo mismo, ahora explico el procedimiento para realizar la conexión entre mysql y matlab. 

[ Tshark ] [ editcap ] Como separar dumps generador por tshark

Tshark es un capturador de tráfico de red, además de tener cualidades que ayudan a su análisis.  

Una de las opciones que tiene Tshark, es que al momento de capturar, lo dividir los resultados  por duración, cantidad de paquetes, distintos filtros, etc.

Una de las cosas que no puede hacer TShark sin embargo, es editar los dump ya capturados para dividirlos por tiempo, o por cantidad de paquetes, para ello usamos la aplicación llamada editcap.

 Un ejemplo que es el que utilizo yo, es dividir un dump en fragmentos de 5 minutos, con lo cual usando editcap simplemente hago:

 editcap i 300 in.dump out_dump

 Lo que me genera tantos out_dump como intervalos de 5 minutos haya en in.dump.

Esto es muy útil cuando se trabaja con archivos muy grandes :D.