Comprender la administración centralizada de registros de paraguas con el servicio S3 de Amazon para clientes de MSP, MSSP y multiorganización

Introducción

Este documento describe la administración centralizada de registros de Umbrella con el servicio S3 de Amazon para clientes MSP, MSSP y multi-org.

Overview

Las consolas MSP, MSSP y multiorganización tienen la capacidad de almacenar los registros de DNS, URL e IP de sus clientes sin conexión en el almacenamiento en la nube. El almacenamiento se encuentra en Amazon S3 y, una vez cargados los registros, se pueden descargar y conservar por motivos de cumplimiento o análisis de seguridad.

Esta documentación le ayuda a entender esta función, configurarla tanto en su panel de Umbrella como en su consola Amazon S3, y ejecutar varias opciones de configuración, incluida la duración de tiempo que le gustaría que los registros se mantuvieran en S3.

Umbrella para MSP, MSSP y Multi-Org tienen la capacidad de cargar los registros de actividad de tráfico de las organizaciones secundarias de la consola y almacenar esos registros en la nube. Amazon AWS S3 (Simple Storage Service) es el servicio que archiva los registros y a veces se denomina almacenamiento fuera de línea o retención de registro.es

El archivado de registros puede ser útil por varios motivos, dependiendo de sus necesidades. Para algunas personas, los registros exportados y archivados se pueden importar en herramientas de análisis de datos o de diagnóstico de seguridad, como SIEM. Para otros, un archivo de registros de actividades puede ser útil para el diagnóstico de datos en caso de un incidente de seguridad o para los registros de recursos humanos.

AWS S3 almacena los registros en un archivo comprimido (gzip) en formato CSV. Dado que los registros se cargan cada diez minutos, existe un retraso mínimo de diez minutos entre el tráfico de red procedente de la red, registrado por Umbrella, y que está disponible para su descarga desde S3.

El número orgID de la consola 

Cada organización del cliente carga sus registros individualmente, utilizando el número de ID de organización de la Consola para asignar cada cliente a una carpeta. La función también se puede activar o desactivar por cliente/por organización.

Dos tipos de gestión de registros de paraguas

La administración de registros se realiza cargando los registros a lo que se denomina como es bucketit (esencialmente una carpeta dentro del entorno AWSit is S3). Hay dos formas de alojar un depósito para los registros de Umbrella:

• Administrado, gestionado y pagado por usted, el administrador de la empresa.
• Administrado, gestionado y pagado por Cisco Umbrella. 

Tener a Cisco gestionando su cubeta S3 tiene sus pros y sus contras.

Las ventajas de que Cisco administre su cubeta son las siguientes:

• Extremadamente fácil de configurar. Solo lleva un par de minutos y después es extremadamente fácil de gestionar.
• La gestión de cubos de Cisco se incluye en el coste de su licencia con Umbrella, lo que hace que el servicio sea realmente gratuito. Si bien es barato tener su propia cubeta, el costo general de administrar otra factura puede ser prohibitivo.

Las ventajas de administrar una instancia S3 usted mismo:

• No hay limitación en cuanto al tiempo que los datos pueden almacenarse sin conexión. Cisco limita el almacenamiento sin conexión a un máximo de 30 días.
• Puede agregar cualquier cosa a su cubeta, incluidos los archivos de registro de Umbrella, para que la cubeta también pueda ser utilizada por otras aplicaciones.
• Puede obtener asistencia directamente de Amazon para obtener asistencia en la configuración avanzada, como automatización o ayuda con la línea de comandos.

Para la mayoría de los clientes, el coste de mantenimiento de una cubeta es muy barato, pero puede resultar molesto.

Getting Started

La función Log Management se puede encontrar en la Consola en Settings > Log Management (Configuración > Log Management) (puede pulsar la flecha desplegable).

115012963103

Configuración de un depósito S3 autoadministrado

Prerequisites

Para archivar los registros, debe cumplir estos requisitos:

• Acceso administrativo completo a Cisco Umbrella MSP, MSSP o la consola multiorganización.
• Un inicio de sesión en el servicio Amazon AWS (https://aws.amazon.com/console/). Si usted no tiene una cuenta, Amazon proporciona registro gratuito para S3. Sin embargo, requieren una tarjeta de crédito en caso de que su uso exceda el uso del plan gratuito.
• Cubeta configurada en Amazon S3 para el almacenamiento de registros. Consulte la siguiente sección para obtener instrucciones sobre la configuración y configuración de la cubeta Amazon S3.

Configuración de su cubeta Amazon S3

1. Comience iniciando sesión en la consola de AWS y seleccione "S3" en la lista de opciones bajo Almacenamiento.
   115012842106

2. Verá una pantalla de introducción que le dará la bienvenida al sistema de almacenamiento simple de Amazon

3. A continuación, si aún no dispone de un depósito, desea crear uno. Haga clic en Crear depósito
   115012842326.
4. Comience introduciendo un nombre de depósito
   El nombre de la cubeta debe ser único en todo el mundo, no solo para tu AWS o tu Umbrella, sino para todo Amazon AWS. El uso de algo personal, como "my-organization-name-log-bucket" puede ayudarle a eludir el requisito de un nombre de bucket universalmente único. El nombre de depósito sólo debe utilizar letras minúsculas y no puede contener espacios ni puntos, y debe cumplir con las convenciones de nomenclatura DNS. Para obtener más información sobre las restricciones de nombres, lea aquí. Para obtener más información sobre la creación de depósitos, incluida la nomenclatura, lea aquí.
   
   115013010503
5. Seleccione la región que mejor se ajuste a su ubicación y haga clic en Crear. No copie los parámetros desde otro depósito
6. En el paso "Establecer propiedades", simplemente haga clic en Siguiente. Estos se pueden ajustar más adelante
7. En el paso "Establecer permisos", simplemente haga clic en Siguiente. Más adelante volveremos a consultar los permisos para configurar la cubeta para cargarla
8. Finalice el proceso de revisión y haga clic en Crear depósito
   115012842686
9. A continuación, debe configurar la cubeta para aceptar las cargas del servicio Umbrella. En S3, esto se denomina política de depósito. Haga clic en el nombre de la cubeta recién configurada y luego seleccione la pestaña Permisos en la parte superior de la interfaz
   115012842906
10. Seleccione Directiva de depósito y, a continuación, se le solicitará que pegue en el depósito
      115012843006
11. Copie y pegue la cadena JSON siguiente, que contiene la política de depósito, en un editor de texto o simplemente péguela en la ventana. Sustituya el nombre exacto de la cubeta donde bucketname se especifica a continuación. Si no lo hace, se genera un mensaje de error

{
"Versión": "2008-10-17",
"Declaración": [
{
"Sid": "",
"Efecto" "Permitir",
"Principal": {
"AWS": "arn:aws:iam::568526795995:user/logs"
},
"Acción": "s3:PutObject",
"Recurso": "arn:aws:s3:::bucketname/*"
},
{
"Sid": "",
"Efecto" "Denegar",
"Principal": {
"AWS": "arn:aws:iam::568526795995:user/logs"
},
"Acción": "s3:GetObject",
"Recurso": "arn:aws:s3:::bucketname/*"
},

{
"Sid": "",
"Efecto" "Permitir",
"Principal":

{ "AWS": "arn:aws:iam::568526795995:user/logs" }

,
"Acción": "s3:GetBucketLocation",
"Recurso": "arn:aws:s3:::bucketname"
},

{
"Sid": "",
"Efecto" "Permitir",
"Principal": {
"AWS": "arn:aws:iam::568526795995:user/logs"
},
"Acción": "s3:ListBucket",
"Recurso": "arn:aws:s3:::bucketname"
}
]
}

12. Haga clic en Guardar para confirmar este cambio

Verificación de su Amazon S3 Bucket

Paso 1:

1. Vuelva a Umbrella Console y navegue hasta Settings > Log Management .
2. Haga clic en "Amazon S3" para ampliar la ventana
3. En el campo Nombre del depósito, escriba o pegue el nombre exacto del depósito que creó en S3 y haga clic en Verificar
   Recibirá un mensaje de confirmación en el panel que le indicará que la cubeta se ha verificado correctamente.
   115012847146

Si recibe un error que indica que no se ha podido verificar su depósito, vuelva a comprobar la sintaxis del nombre del depósito y revise la configuración. Si los problemas persisten, abra un caso con nuestro departamento de soporte

Paso 2:

Como precaución secundaria para asegurarse de que se ha especificado la cubeta correcta, Umbrella solicita que se introduzca un token de activación único. El token de activación se puede obtener volviendo a visitar su cubeta S3. Como parte del proceso de verificación, un archivo llamado README_FROM_UMBRELLA.txt fue cargado desde Umbrella a su cubeta de Amazon S3 y aparece allí.

1. Descargue el archivo léame haciendo doble clic en él y, a continuación, ábralo en un editor de texto. Dentro del archivo, hay un token único que une su cubo S3 a su panel de Umbrella 
   

   Nota: Es posible que necesite actualizar la cubeta S3 en el explorador para ver el archivo README después de cargarlo.

2. Vuelva al panel de Umbrella y pegue el token en el campo con la etiqueta "Token único" y, a continuación, haga clic en Guardar. En este momento, la configuración es
   completo. Para revisar su configuración, simplemente haga clic en el nombre de Amazon S3 en la sección Administración de registros
   115012848126

Gestión del ciclo de vida del registro

Cuando utiliza S3, puede gestionar el ciclo de vida de los datos dentro de la cubeta para ampliar la duración del tiempo durante el que desea conservar los registros. Dependiendo de la razón por la que está utilizando la administración de registros externa, la duración puede ser muy corta o muy larga. Por ejemplo, puede simplemente descargar los registros de la cubeta S3 después de 24 horas y almacenarlos sin conexión, o retenerlos indefinidamente en la nube. De forma predeterminada, Amazon almacena los datos en una cubeta indefinidamente, pero el almacenamiento ilimitado aumenta el costo de mantenimiento de la cubeta. Para obtener más información sobre los ciclos de vida de S3, lea aquí.

Para configurar el ciclo de vida de la cubeta:

1. Seleccione Administración y haga clic en Ciclo de vida
   115012848246
2. Haga clic en Agregar una regla y, a continuación, en Aplicar la regla a todo el depósito (o a una subcarpeta si la ha configurado como tal).
3. Seleccione una Acción sobre objetos, como Eliminar o Archivar, luego seleccione el período de tiempo y si desea utilizar el almacenamiento Glacier para ayudar a reducir sus costos de Amazon. (Glacier es iscoldit es almacenamiento fuera de línea, que aunque más lento de acceso, es menos costoso.)

4. Si prefiere administrar los registros con otro método (como la solución de copia de seguridad interna), puede simplemente descargar los registros de S3 y conservarlos de otra manera, y luego establecer el tiempo de retención en unos pocos días.

Configuración de una cubeta S3 gestionada por Cisco

Navegue hasta Configuraciones > Administración de registros en su panel de Umbrella.

Hay dos opciones:

• Utilice la cubeta Amazon S3 gestionada por su empresa
• Utilice una cubeta Amazon S3 gestionada por Cisco

25231151138964

Seleccione "Usar un cubo Amazon S3 gestionado por Cisco" y tendrá dos opciones nuevas: "Seleccione una región" y "Seleccione una duración de retención".

25231151158036

Seleccione una región

Los terminales regionales son importantes para minimizar la latencia al descargar registros en los servidores. Las regiones enumeradas coinciden con las disponibles en Amazon S3, pero no todas las regiones están disponibles. Por ejemplo, China no aparece en la lista.

Seleccione la región que esté más cerca de usted en el menú desplegable. Si desea cambiar su región en el futuro, debe eliminar la configuración actual y empezar de nuevo.

Seleccione una duración de retención

La duración de la retención es de 7, 14 o 30 días. Después del período de tiempo seleccionado, todos los datos se depuran y no se pueden recuperar, pase lo que pase. Recomendamos un período de tiempo menor si su ciclo de ingestión es regular. La duración de la retención se puede cambiar más adelante.

Después de realizar su selección, haga clic en Next y se le pedirá que confirme su región y duración

25231181211796

Una vez que acepte continuar, recibirá una notificación de activación.

25231181218708

A continuación, recibirá una clave de acceso y una clave secreta. Usted debe aceptar (haga clic en "Got it!") porque esta es la única vez que usted consigue ver cualquiera de las claves. El acceso y las claves secretas son necesarias para acceder a su cubo y descargar sus registros.

Por último, verá la pantalla de resumen que muestra la configuración y, lo que es más importante, el nombre de la cubeta.

25231181228180

Puede activar o desactivar el registro cuando lo desee.

Nota: Cisco continúa depurando los registros en función de la duración de retención seleccionada, incluso si el registro se ha desactivado.

Opciones de configuración posterior

Errores de carga de registros

En caso de que no se carguen los registros de Cisco Umbrella en la cubeta de S3, existe un período de gracia de cuatro horas durante el cual el servicio se reintenta cada 20 minutos. Después de cuatro horas, se abre un caso con nuestro equipo de soporte, que inicia una investigación sobre la causa del problema y se comunica proactivamente con usted para informarle sobre el problema.

Comprobación de los registros cargados y el formato

Los registros se cargan en intervalos de diez minutos desde la cola de registro de Umbrella a los depósitos S3. Después de completar la configuración, el primer registro se carga en su cubeta S3 dentro de las dos horas, aunque el proceso suele ser inmediato o cercano a inmediato. Sin embargo, para cargar cualquier elemento es necesario que existan datos de registro generados recientemente, por lo que si está probando esto en un entorno de prueba, asegúrese de que los datos de red se registran en la búsqueda de actividad.

Para comprobar si todo funciona, la hora de la última sincronización del panel de Umbrella se actualiza y los registros comienzan a aparecer en la cubeta de S3.

Dentro de la cubeta, cada cliente u organización se etiqueta con su ID de organización, por lo que la estructura de carpetas es:

Amazon S3/<bucket-name>/<orgID>/<subfolder>

<bucket-name> es el nombre de la cubeta, <orgID> es la ID de la organización y <subfolder> son dnslogs, proxylogs o iplogs, dependiendo de los tipos de logs dentro de.

Para los clientes de MSP y MSSP, el orgID coincide con el de Customer Settings (Configuración del cliente) en cada detalle de cliente de la sección de parámetros de implementación. Los clientes de varias organizaciones pueden recopilar la ID de organización iniciando sesión en cada suborganización individual y anotando la ID de organización en la URL del navegador: (https://dashboard.umbrella.com/o/#####/ ).

360002271623

Actualmente, la versión de formato de registro para los clientes MSP, MSSP y Multi-org es la versión 1.1. Los registros aparecen en formato GZIP y se cargan en los bloques S3 de la subcarpeta correspondiente con este formato de nomenclatura:

<subfolder>/<YYYY>-<MM>-<DD>/<YYYY>-<MM>-<DD>-<hh>-<mm>-<xxxx>.csv.gz

<subfolder> es dnslogs, proxylogs o iplogs, dependiendo de los tipos de logs dentro de. <xxxx> es una cadena aleatoria de cuatro caracteres alfanuméricos que impide que se sobrescriban nombres de archivo duplicados.

Por ejemplo:

dnslogs/2019-01-01/2019-01-01-00-00-e4e1.csv.gz

Si no ve los registros en su cubeta en 10 minutos, póngase en contacto con el servicio de asistencia técnica para obtener información sobre los pasos que ha dado hasta el momento.

Una vez que aparecen los registros, se recomienda revisar los datos descomprimiendo el contenido de las primeras cargas de registros recibidas para asegurarse de que los datos se pueden ver en un editor de texto (o incluso en Microsoft Excel, que suele ser el valor predeterminado para .CSV). Para obtener información sobre qué campo del registro representa, lea aquí.

Si falla la carga de un registro de Cisco Umbrella en la cubeta de S3, hay un período de gracia de cuatro horas en el que el servicio se reintenta cada 20 minutos. Después de cuatro horas, se abre un caso dentro de nuestro equipo de soporte, que comienza una investigación sobre la causa del problema y se pone en contacto con usted de forma proactiva para informarle sobre el problema.

Activar el registro por cliente 

De forma inmediata, esta función está habilitada para todos los clientes a menos que se especifique lo contrario. La función se puede desactivar para clientes individuales, lo que resulta útil si tiene diferentes niveles de servicio para clientes que sí la tienen. Se encuentra debajo de cada clientesus ajustes en la consola. La captura de pantalla de la sección anterior muestra la alternancia para desactivarla.

También es posible crear usuarios de IAM en Amazon y asignarlos a subcarpetas individuales de orgit is de la cubeta. De este modo, puede permitir que un usuario final acceda a sus registros, pero sólo a sus registros.

Descarga de registros, comprensión del formato e integración de Splunk / QRadar

Para descargar los registros para retención o consumo, hay algunos enfoques para descargar los registros DNS de S3. Hemos creado un artículo que describe algunos enfoques para este problema aquí.

También puede que tenga algunas preguntas sobre el formato del registro y cómo difiere ligeramente de los registros que se muestran en el panel de Umbrella. Para obtener más información sobre el formato de registro exportado, lea este artículo.

Por último, uno de los usos principales para exportar registros DNS es la integración con herramientas SIEM. Aunque la configuración para un SIEM cuando se trata de registros como este a menudo puede llegar a un administrador es preferencias personales, tenemos algunas directrices para los SIEM más populares.

Para obtener más información sobre cómo configurar el plug-in Splunk para Amazon AWS S3 y Umbrella, lea aquí.

Para obtener información sobre la configuración de IBM QRadar para extraer registros de Amazon S3 y digerirlos, lea aquí.

¿Qué tamaño tienen los registros S3?

El tamaño de los registros S3 depende del número de eventos que se producen, que depende del volumen del tráfico DNS.

Puede encontrar el formato de registro para el registro S3 aquí.

La entrada de ejemplo es 220 bytes, pero el tamaño de cada línea de registro varía en función de un número de elementos (longitud del nombre de dominio, número de categorías, etc.). Suponiendo que cada línea de registro es de 220 bytes, un millón de solicitudes sería de 220 MB.

Para obtener una estimación de cuántas consultas DNS se ven cada día:

1. En el panel de Umbrella, navegue hasta Reporting > Activity Search.
2. En Filtros, ejecute un informe durante las últimas 24 horas y, a continuación, haga clic en el icono Exportar CSV.
3. Abra el archivo .csv descargado. El número de filas (menos una para el encabezado) es el número de consultas de DNS por día; multiplique eso por 220 bytes para obtener la estimación para un día.

En términos de costes, aunque es variable, encontramos que incluso nuestros clientes más voluminosos gastan solo unos pocos dólares al mes en el servicio.  Un coste está vinculado al tiempo de almacenamiento y otro está vinculado a la descarga de datos de S3 a su entorno. Consulte con Amazon para obtener más detalles.

Al igual que con cualquiera de nuestras funciones, nos encanta saber lo que piensa, especialmente sobre las integraciones de SIEM o cualquier otra pregunta adicional que se trate en esta documentación. Si tiene cualquier comentario, por favor háganoslo saber!