Controlar tamaño de CACHE.DAT y Journals en Ensemble

En primer lugar hay que entender como funciona y se maneja la base de datos de Caché, eso esta descrito en este capitulo de la documentación (http://docs.intersystems.com/ens20121/csp/docbook/DocBook.UI.Page.cls?KEY=GSA_manage#GSA_manage_databases). 

Caché aumenta el tamaño conforme lo va necesitando, cuando en el CACHE.DAT ya no queda espacio entonces se aumenta el tamaño del fichero y lo hace en trozos del 12% del tamaño actual de la base de datos (o en 10 MB dependiendo de lo que sea más grande). Por ejemplo, si tu base de datos ocupa 1 GB (1.024 MB) entonces cuando le toca crecer lo hará en 124 MB aproximadamente.

El fichero CACHE.DAT nunca decrece, es decir, nunca reduce su tamaño de forma automática. De esta forma, si por ejemplo recibes 10.000 mensajes de 10 KB cada uno es posible que necesites más de 100 MB para almacenarlos, si como en el caso anterior la base de datos crece en 124 MB, entonces tienes un restante de 24 MB. Pero imagina que luego se purgan esos mensajes, entonces el espacio se libera pero el fichero no decrece en tamaño y se quedará con un tamaño de 1.148 MB pero con 124 MB de espacio libre. Esto seguirá así hasta que sea necesario crecer de nuevo.

Siempre es posible "truncar" y/o "compactar" el espacio para reducir el volumen del fichero CACHE.DAT. Es por esto que las bases de datos de Ensemble se suelen mantener en un tamaño "constante".

Por otro lado está el journal (http://docs.intersystems.com/ens20121/csp/docbook/DocBook.UI.Page.cls?KEY=GCDI_journal). Los ficheros de journal son unos ficheros muy simples que registran cada una de las operaciones que se realizan de forma atómica en los globals. Recuerda que finalmente uses objetos o SQL la información reside en los globals. Las operaciones en los globals son SET y KILL y si miras el contenido del global desde el Operaciones >> Journal veras algo como:

Off	Hora	Proceso	Tipo		Global	Base de datos
13..	20..	25..	KILL		^SYS("Task","TaskI","ScheduleIndex",62748,0,0,1)	/Users/ensemble/mgr/
13..	20..	25..	SET		^SYS("Task","TaskI","ScheduleIndex",62749,0,0,1)	/Users/ensemble/mgr/
13..	20..	25..	SET		^SYS("Task","TaskAttemptCount",5)	/Users/ensemble/mgr/
13..	20..	25..	SET		^SYS("Task","TaskD",1)	/Users/ensemble/mgr/

Como ves refleja cada uno de los SET y KILL en cualquier base de datos de la instancia.

Los journals se utilizan como mecanismo de recuperación ante desastre. De hecho cuando Caché se recupera de una caída el automáticamente aplica de forma redundante las entradas existentes en el JOURNAL que hayan podido quedar pendientes por estar en memoria o en el WIJ (http://docs.intersystems.com/ens20121/csp/docbook/DocBook.UI.Page.cls?KEY=GCDI_wij). Además se usan para otras estrategias de replicación o de restauración.

En cualquier caso, y como te puedes imaginar, el journal, crece, crece y crece. El journal se compone de ficheros, normalmente limitados a 1GB como máximo, sin embargo hay una tarea que de manera automática cambia el fichero del journal cada día. De manera que puedes encontrarte con muchos ficheros de menos de 1GB (cambio por tiempo) o de 1GB (cambio por tamaño).

Los ficheros de journal no son necesarios eternamente. Por ejemplo si has hecho un Backup los journal hasta la fecha del Backup se suelen eliminar porque ya no recuperas del journal sino del Backup. Por lo tanto, normalmente hay una tarea programada que purga (elimina) los ficheros de journal que ya no son útiles. También se puede realizar esta tarea con la rutina PURGE^JOURNAL desde el namespace %SYS.

Mucho crecimiento en journal describe mucho movimiento en base de datos, pero ese movimiento puede ser igualmente repartido en SET y KILL de manera que la base de datos se queda igual. Por otro lado es normal no ver crecimiento en la base de datos porque es posible que el espacio libre internamente sea bastante.

El consumo de disco por parte de los journals no se puede evitar. Pero se puede gestionar, es decir, puedes purgarlos más a menudo tratando de conservar el espacio consumido. Esto se puede hacer ejecutando la tarea de purgado más a menudo o con unos criterios más relajados. En la opción de configuración de sistema >> configuración de journal puedes editar esos criterios de borrado.

Espero que sea de utilidad

Configuración de la seguridad de DeepSee y Ensemble

La guía para la configuración de seguridad de DeepSee está en:

http://docs.intersystems.com/ens20122/csp/docbook/DocBook.UI.Page.cls?KEY=D2IMP_ch_security

En general la seguridad en Ensemble 2012 sigue este modelo.

1. Tenemos Recursos. Los recursos dan acceso a funcionalidades.

2. Tenemos Roles. Los roles tienen privilegios de uso sobre Recursos.

3. Tenemos Usuarios. Los usuarios pueden estar asignados a varios Roles.

Para que un usuario pueda acceder al portal de usuario de DeepSee (http://host:57772/csp/NAMESPACE/_DeepSee.UserPortal.Home.zen) entonces debe estar asignado como mínimo a roles que tengan privilegios sobre los siguientes recursos:

• %DeepSee_Portal
• %Ens_Portal
• Recursos asociados a las base de datos incluidas en los cuadros de mando

Cada base de datos debe tener un recurso.

Para crear un recurso para la base de datos ir a Administración >> Configuración >> Configuración de Sistema >> Bases de Datos Locales

Editar la base de datos y donde pone "Nombre de recurso" elegir "Crear un nuevo recurso". Podemos elegir si es de solo lectura o R/W.

Si por ejemplo tenemos la base de datos HELLO y creamos un nuevo recurso para ella entonces se creará un recurso %DB_ HELLO. Pero además se crea automáticamente un Rol %DB_ HELLO que tiene privilegios sobre el recurso y que podemos usar a nuestra elección. De esta manera para que un usuario pueda acceder al portal de DeepSee de la base de datos HELLO tendrá que estar asignado a Roles que como mínimo den privilegio de acceso a los siguientes recursos:

• %DeepSee_Portal
• %Ens_Portal
• %DB_ HELLO

La organización de Roles puede varias, por ejemplo puedes tener:

Rol DeepSeeSimpleUser con Privilegio de acceso a los recursos (%DeepSee_Portal, %Ens_Portal)

Rol %DB_ HELLO (por defecto) con Privilegio de acceso a (%DB_ HELLO)

Y entonces tener un usuario David asignado a ambos roles

O podrías tener un Rol DeepSeeHelloUser con Privilegio de acceso a los recursos (%DeepSee_Portal, %Ens_Portal, %DB_LABCORE) 

Y entonces solo necesitas asignar un Rol al usuario (aunque es menos flexible)

En definitiva la cuestión es disponer de los recursos necesarios a través de los Roles.

En el portal de seguridad de Caché disponemos de los siguientes recursos que dan acceso a cada una de las características de DeepSee:

%DeepSee_Analyzer

%DeepSee_AnalyzerEdit

%DeepSee_Portal

%DeepSee_PortalEdit

%DeepSee_Architect

%DeepSee_ArchitectEdit

%DeepSee_Admin

Igualmente para Ensemble tenemos un montón de recursos como:

%Ens_Alerts

%Ens_ArchiveManager

%Ens_Code

%Ens_Credentials

%Ens_Deploy

%Ens_DeploymentPkg

%Ens_DTLTest

%Ens_EDISchema

%Ens_Jobs

%Ens_LookupTables

%Ens_MessageContent

%Ens_MessageDiscard

%Ens_MessageEditResend

%Ens_MessageResubmit

%Ens_MessageSuspend

%Ens_MsgBank

%Ens_MsgBankConfig

%Ens_MsgBank_MessageContent

%Ens_MsgBank_MessageEditResend

%Ens_ProductionConfig

%Ens_ProductionDocumentation

%Ens_Purge

%Ens_PurgeSchedule

%Ens_Queues

%Ens_SequenceManager

%Ens_SystemDefaultConfig

%Ens_TestingService

%Ens_ViewFileSystem

%Ens_WorkflowConfig

Por último en el listado de usuarios hay un link "Perfil" que te da el detalle de todos los recursos que dispone el usuario y a través de que Rol.

Espero que sea de utilidad

Indices en Ensemble

Cuando en Caché creamos una clase o editamos una clase y añadimos un:

Index NameIDX On Name;

Lo que hacemos es indicarle al planificador de ejecución de SQL de Caché que tome en cuenta una nueva "ruta" para obtener los valores de la clase. Así si la clase es:

Class MyApp.Student Extends %Persistent 

{

 Property Name As %String;

 Property GPA As %Float;

 Index NameIDX On Name;

}

Y ejecutamos una consulta SQL como:

select * from MyApp.Student where Name like 'David'

Entonces el plan de consulta es:

Read index map MyApp.Student.NameIDX, using the given %SQLUPPER(Name), and looping on ID.

For each row:

Read master map MyApp.Student.IDKEY, using the given idkey value. 

Output the row. 

Como podemos observar el planificador va a utilizar un camino que es utilizar en primer lugar el "index map" MyApp.Student.NameIDX. Como su nombre indica es un "map" un mapa o una dirección al camino de búsqueda, ahora bien, está es la parte de definición, luego está la parte de los datos. 

Un indice utiliza de forma estándar el global ^FullClassNameI para almacenar los valores de indexación. Así por ejemplo el global de indexación para la clase anterior es ^MyApp.StudentI. 

MUY IMPORTANTE: Cuando definimos el indice en la clase y compilamos, a partir de ese momento estamos diciendole al planificador que puede utilizar ese indice pero eso no significa que el indice contenga datos. Si, por ejemplo, tenemos una tabla que dispone de 100 filas y definimos un indice en la clase el planificador inmediatamente lo va a usar pero al usarlo encontrará siempre 0 registros ya que el global de indexación para ese indice estará vacío.

En los casos en los que partimos de una tabla vacía, de manera automática cada vez que se realiza un INSERT (o un %Save()) se añade una entrada al global de indexación. Por ejemplo para la sentencia:

insert into MyApp.Student (Name, GPA) values ('David',95.4)

El global de indexación queda como sigue:

USER>zw ^MyApp.StudentI

^MyApp.StudentI("NameIDX"," DAVID",1)=""

Esto quiere decir que para el valor "DAVID" el ID asociado es el 1.

Si la clase MyApp.Student dispone de 100 filas antes de la creación del indice el global estará vacío y no encontrará a nadie cuando se ejecute una sentencia que utilice el indice. Para poder generar el indice para todas las filas existentes se debe invocar al método %BuilIndices. Este método tiene 3 parámetros, el primero es la lista de indices a generar, si se deja vacío genera todos los indices existentes en la clase. El segundo parámetro indica si se debe borrar las entradas para ese indica en el global previamente a la construcción. El tercer parámetro indice si se debe bloquear el Extent (global) durante la construcción. 

De esta forma podemos tener estas sentencias:

// Genera todos los indices sin borrar los valores anteriores

set tSC=##class(MyApp.Student).%BuildIndices()

// Genera todos los indices borrando los valores anteriores

set tSC=##class(MyApp.Student).%BuildIndices(,1)

// Genera solo el indice "NameIDX" borrando los valores anteriores

set tSC=##class(MyApp.Student).%BuildIndices($lb("NameIDX"),1)

// Genera los indices "NameIDX" y "TestIDX" sin borrar los valores anteriores

set tSC=##class(MyApp.Student).%BuildIndices($lb("NameIDX","TestIDX"))

SIEMPRE se debe consultar el valor devuelto por tSC para comprobar que el indice se ha generado correctamente.

Otra situación posible es que "borremos" o "modifiquemos" un indice. Por ejemplo tenemos el indice:

Index indiceA On campoA;

Y queremos reemplazarlo por el indice:

Index indiceB On (campoA,campoB);

La secuencia correcta sería:

1. Purgar los valores del indice "indiceA" en el global de Indexación

2. Modificar la clase eliminar la definición del "indiceA" y añadir la del "indiceB"

3. Costruir el "indiceB"

Para purgar un indice se utiliza el método %PurgeIndices. Este método dispone de 2 parámetros, el primero es la lista de indices a purgar, si se deja vacío purga todos los indices existentes en la clase. El segundo parámetro indica si se debe bloquear el Extent (global) durante el purgado. 

// Purgar el indice "NameIDX"

set tSC=##class(MyApp.Student).%PurgeIndices($lb("NameIDX"))

Por último, todo esto está bien descrito en este link de la documentación que os pido encarecidamente que leáis:

http://docs.intersystems.com/ens20121/csp/docbook/DocBook.UI.Page.cls?KEY=GSQL_indices