فهم الإدارة المركزية لسجلات Umbrella Log مع خدمة S3 من Amazon لعملاء MSP و MSSP و Multi-org

المقدمة

يصف هذا المستند الإدارة المركزية لسجل Umbrella مع خدمة S3 من Amazon لعملاء MSP و MSSP و Multi-org.

نظرة عامة

يمكن لوحدات التحكم في MSP و MSSP و Multi-org تخزين DNS و URL وسجلات IP الخاصة بعملائك دون اتصال في وحدات التخزين على الشبكات. التخزين موجود في Amazon S3 وبعد تحميل السجلات، يمكن تنزيلها وحفظها لأسباب تتعلق بالتوافق أو لتحليل الأمان.

تساعدك هذه الوثائق على فهم هذه الميزة، وإعدادها في كل من لوحة المعلومات Umbrella ووحدة التحكم Amazon S3، وتشغيلها عبر العديد من خيارات التكوين، بما في ذلك مدة الوقت الذي ترغب في الاحتفاظ بالسجلات فيه في S3.

تمتلك Umbrella ل MSP و MSSP و Multi-Org جميع القدرة على تحميل سجلات أنشطة حركة المرور من المؤسسات التابعة لوحدة التحكم وتخزين هذه السجلات في السحابة. AmazonAWS S3 (خدمة التخزين البسيط) هي الخدمة التي تقوم أرشفة السجلات، ويشار إليها أحيانا باسم STORAGEeit غير المتصل أو IS islog retention.هي

يمكن أن تكون سجلات الأرشفة مفيدة لعدة أسباب، حسب إحتياجك. بالنسبة لبعض الأشخاص، يمكن إستيراد السجلات التي تم تصديرها أو أرشفتها إلى أدوات تحليل البيانات أو أدوات الأمان للطب الشرعي، مثل SIEMs. وبالنسبة لآخرين، يمكن أن يكون أرشيف سجلات الأنشطة مفيدا للطب الشرعي للبيانات في حالة وقوع حادث أمني أو سجلات الموارد البشرية.

يقوم AWS S3 بتخزين السجلات في أرشيف مضغوط (gzip) بتنسيق CSV. نظرا لأنه يتم تحميل السجلات كل عشر دقائق، يكون هناك أدنى تأخير لمدة عشر دقائق بين حركة مرور الشبكة القادمة من الشبكة لديك، والتي يتم تسجيلها بواسطة Umbrella، ثم تتاح للتنزيل من S3.

رقم orgID من وحدة التحكم 

تقوم كل مؤسسة من مؤسسات العملاء بتحميل سجلاتها بشكل فردي، باستخدام رقم orgID من وحدة التحكم لتعيين كل عميل إلى مجلد. كما يمكن تمكين الميزة أو تعطيلها لكل عميل / لكل مؤسسة.

نوعان من إدارة سجل المظلة

يتم تنفيذ إدارة السجل عن طريق تحميل السجلات إلى ما يسمى هو isbuctit (أساسا مجلد داخل بيئة AWSit ISS S3). هناك طريقتان لاستضافة دلو لسجلات Umbrella الخاصة بك:

• تتم إدارته وإدارته ودفع ثمنه من قبلك أنت، مسؤول الشركة.
• تتم إدارته وإدارته ودفع ثمنه بواسطة Cisco Umbrella. 

هناك إيجابيات وسلبيات لجعل Cisco تدير دلو S3 الخاص بك.

ميزات إدارة Cisco لحقيبتك:

• سهولة فائقة في الإعداد. يستغرق الأمر بضع دقائق فقط وبعد ذلك يصبح من السهل للغاية إدارته.
• يتم تضمين إدارة دلو Cisco في تكلفة الترخيص الخاصة بك مع Umbrella، مما يجعل الخدمة مجانية بشكل فعال. وفي حين ان امتلاك دلو خاص بك غير ملائم، فإن الكلفة الاجمالية لإدارة فاتورة أخرى يمكن ان تكون باهظة جدا.

إيجابيات إدارة مثيل S3 بنفسك:

• لا يوجد حد للمدة التي يمكن فيها تخزين البيانات دون اتصال. تحدد Cisco التخزين دون اتصال ب 30 يوما كحد أقصى.
• يمكنك إضافة أي شيء إلى الدلو الخاص بك، بما في ذلك ملفات السجل من Umbrella، بحيث يمكن إستخدام الدلو بواسطة تطبيقات أخرى أيضا.
• يمكنك الحصول على الدعم مباشرة من موقع Amazon للحصول على مساعدة في عمليات التكوين المتقدمة، مثل التشغيل التلقائي أو المساعدة باستخدام سطر الأوامر.

بالنسبة إلى معظم العملاء، فإن تكلفة صيانة الدلو منخفضة للغاية، ولكنها قد تكون شاقة.

الشروع في البدء

يمكن العثور على ميزة "إدارة السجل" في وحدة التحكم ضمن الإعدادات > إدارة السجل (يمكنك الضغط على السهم المنسدل).

115012963103

تكوين دلو S3 ذاتي الإدارة

المتطلبات الأساسية

in order to أرشفة سجل، أنت ينبغي استوفيت هذا متطلب:

• وصول إداري كامل إلى Cisco Umbrella MSP أو MSSP أو وحدة التحكم متعددة المؤسسات.
• تسجيل دخول إلى خدمة Amazon AWS (https://aws.amazon.com/console/). إذا كنت تريد الحصول على حساب، توفر Amazon تسجيل دخول مجاني ل S3. ومع ذلك، فإنها تتطلب بطاقة ائتمان في حال تجاوز الاستخدام الاستخدام الاستخدام المجاني للخطة.
• دلو مهيأ في Amazon S3 لتخزين السجلات. راجع القسم التالي للحصول على تعليمات حول تكوين وإعداد دلو S3 من Amazon.

إعداد دلو Amazon S3

1. ابدأ بتسجيل الدخول إلى وحدة تحكم AWS، وتحديد S3" من قائمة الخيارات الموجودة تحت التخزين.
   115012842106

2. يمكنك مشاهدة شاشة مقدمة ترحب بك في نظام التخزين البسيط Amazon

3. بعد ذلك، إذا لم يكن لديك دلو بالفعل، فأنت تريد إنشاء دلو. انقر إنشاء دلو
   115012842326.
4. ابدأ بإدخال اسم مستودع
   يجب أن يكون اسم الدلو فريدا من نوعه - ليس فقط ل AWS الخاص بك أو المظلة الخاصة بك، ولكن لكل AWS في Amazon. فاستخدام شيء شخصي، مثل "My-Organization-name-log-bucket" يمكن ان يساعدكم على تخطي مطلب اسم الدلو الفريد عموما. يجب أن يستخدم اسم الدلو أحرف صغيرة فقط ولا يمكن أن يحتوي على مسافات أو فترات، ويجب أن يمتثل لاتفاقيات تسمية DNS. لمزيد من المعلومات حول قيود الأسماء، اقرأ هنا. لمزيد من المعلومات حول إنشاء الدلو، بما في ذلك التسمية، اقرأ هنا.
   
   115013010503
5. حدد المنطقة التي تعمل بشكل أفضل لموقعك وانقر فوق إنشاء. عدم نسخ الإعدادات من دلو آخر
6. في الخطوة "تعيين الخصائص"، انقر فوق التالي. يمكن تعديل هذه العناصر لاحقا
7. في الخطوة "تعيين الأذونات"، انقر فوق التالي. سنقوم بإعادة مراجعة الأذونات لاحقا لإعداد الدلو لتحميله
8. إنهاء عملية المراجعة وانقر فوق إنشاء دلو
   115012842686
9. بعد ذلك، تحتاج إلى تكوين الدلو لقبول عمليات التحميل من خدمة Umbrella. في S3، يشار إلى هذا كسياسة دلو. انقر فوق اسم المستودع الذي تم تكوينه حديثا ثم حدد علامة التبويب أذون في أعلى الواجهة
   115012842906
10. حدد نهج Bucket ثم تتم مطالبتك باللصق في المستودع
      115012843006
11. انسخ سلسلة JSON أدناه ولصقها، والتي تحتوي على نهج الدلو، إلى محرر نصوص أو قم بلصقها ببساطة في النافذة. إستبدال اسم الدلو المحدد حيث يتم تحديد BucketName أدناه. يؤدي الفشل في القيام بذلك إلى ظهور رسالة خطأ

{
"الإصدار": "2008-10-17"،
"بيان": [
{
"سيد": "",
"التأثير": "السماح"،
"المدير": {
"AWS": "arn:aws:iam::568526795995:user/log"
},
"العمل": "s3:PutObject"،
"المورد": "arn:aws:s3::bucketname/*
},
{
"سيد": "",
"التأثير": "رفض،
"المدير": {
"AWS": "arn:aws:iam::568526795995:user/log"
},
"العمل": "s3:GetObject"،
"المورد": "arn:aws:s3::bucketname/*
},

{
"سيد": "",
"التأثير": "السماح"،
"المدير":

{"AWS": "arn:aws:iam::568526795995:user/log" }

،
"العمل": "S3:GetBucketLocation"،
"المورد": "arn:aws:s3:::bucketname"
},

{
"سيد": "",
"التأثير": "السماح"،
"المدير": {
"AWS": "arn:aws:iam::568526795995:user/log"
},
"العمل": "S3:ListBucket"،
"المورد": "arn:aws:s3:::bucketname"
}
]
}

12. انقر فوق حفظ" لتأكيد هذا التغيير

التحقق من دلو Amazon S3

الخطوة 1:

1. ارجع إلى وحدة التحكم Umbrella Console وانتقل إلى الإعدادات > إدارة السجل
2. انقر فوق "Amazon S3" لتوسيع النافذة
3. في حقل "اسم المستودع"، اكتب أو الصق اسم المستودع الذي أنشأته في S3 وانقر فوق التحقق من الصحة
   تتلقى رسالة تأكيد في لوحة معلوماتك تشير إلى أنه تم التحقق من المستودع بنجاح.
   115012847146

إذا تلقيت خطأ يشير إلى أنه تعذر التحقق من دلو الخاص بك، فأعد التحقق من بناء جملة اسم الدلو وراجع التكوين. إذا إستمرت المشكلات، يرجى فتح حالة لدى قسم الدعم التابع لنا

الخطوة 2:

كاجراء إحتياطي ثانوي لضمان تحديد الدلو الصحيح، تطلب Umbrella إدخال رمز تنشيط فريد. يمكن الحصول على الرمز المميز للتنشيط من خلال إعادة زيارة دلو S3. كجزء من عملية التحقق من الصحة، تم تحميل ملف باسم README_FROM_UMBRELLA.txt من Umbrella إلى دلو S3 من Amazon ويظهر هناك.

1. قم بتنزيل الملف التمهيدي بالنقر المزدوج عليه ثم فتحه في محرر نصي. يوجد داخل الملف رمز مميز يربط بين دلو S3 ولوحة معلومات Umbrella الخاصة بك 
   

   ملاحظة: قد تحتاج إلى تحديث دلو S3 في المستعرض لعرض ملف README بعد تحميله.

2. ارجع إلى لوحة معلومات Umbrella وألصق الرمز المميز في الحقل المسمى "الرمز المميز الفريد"، ثم انقر فوق حفظ. عند هذه النقطة، فإن التكوين هو
   كامل. لمراجعة التكوين الخاص بك، انقر فقط فوق اسم Amazon S3 في قسم إدارة السجل
   115012848126

إدارة دورة حياة السجل

عند إستخدام S3، يمكنك إدارة دورة حياة البيانات داخل المستودع لتمديد الفترة الزمنية التي تريد الاحتفاظ بالسجلات الخاصة بها. قد تكون المدة قصيرة جدا أو طويلة جدا وفقا للسبب الذي تستخدمه لإدارة السجل الخارجي. على سبيل المثال، يمكنك ببساطة تنزيل السجلات من دلو S3 بعد 24 ساعة وتخزينها دون اتصال أو الاحتفاظ بالسجلات إلى أجل غير مسمى في السحابة. افتراضيا، تخزن Amazon البيانات في دلو إلى أجل غير مسمى ولكن التخزين غير المحدود يرفع تكلفة صيانة الدلو. لمزيد من المعلومات حول دورات حياة S3، اقرأ هنا.

لتهيئة دورة حياة دلو الخاص بك:

1. حدد إدارة ثم انقر فوق دورة الحياة
   115012848246
2. انقر فوق إضافة قاعدة، ثم قم بتطبيق القاعدة على الدلو بأكمله (أو مجلد فرعي إذا قمت بتكوينه على هذا النحو).
3. حدد إجراء على الكائنات، مثل حذف أو أرشفة، ثم حدد الفترة الزمنية وما إذا كنت ترغب في إستخدام تخزين Glacier للمساعدة في تقليل تكاليف Amazon. (الأنهار الجليدية هي أن تقنية الإسكوديت عبارة عن تخزين خارج الخط، والذي على الرغم من كونه أبطأ للوصول إليه، إلا أنه أقل تكلفة).

4. إذا كنت تفضل إدارة السجلات بطريقة أخرى (مثل حل النسخ الاحتياطي الداخلي)، يمكنك ببساطة تنزيل السجلات من S3 والاحتفاظ بها بطريقة أخرى، ثم تعيين وقت الاستبقاء على بضعة أيام.

تكوين مستودع S3 المدار من Cisco

انتقل إلى الإعدادات > إدارة السجل في لوحة معلومات المظلة.

هناك خياران:

• أستخدم دلو Amazon S3 الذي تديره الشركة
• إستخدام مستودع S3 الذي تتم إدارته من Cisco على موقع Amazon

25231151138964

أختر "إستخدام وعاء S3 الذي تديره Cisco من Amazon" ويتم منحك خياران جديدان: "حدد منطقة" و"حدد مدة استبقاء".

25231151158036

تحديد منطقة

تعد نقاط النهاية الإقليمية مهمة لتقليل زمن الوصول عند تنزيل السجلات إلى الخوادم لديك. وتطابق المناطق المدرجة في القائمة المناطق المتاحة في الأمازون S3، ولكن لا تتوفر جميع المناطق. على سبيل المثال، الصين غير مدرجة في القائمة.

أختر المنطقة الأقرب إليك من القائمة المنسدلة. إذا كنت ترغب في تغيير منطقتك في المستقبل، يجب حذف إعداداتك الحالية والبدء من جديد.

تحديد مدة استبقاء

مدة الاستبقاء هي ببساطة 7 أو 14 أو 30 يوما. بعد الفترة الزمنية المحددة، يتم إزالة جميع البيانات ولا يمكن إستردادها بغض النظر عن أي شيء. نوصي بفترة زمنية أقل إذا كانت دورة الإبتلاع لديك عادية. يمكن تغيير مدة الاستبقاء في وقت لاحق.

بعد قيامك بإجراء التحديدات، انقر فوق التالي وطلب منك تأكيد منطقتك ومدتها

25231181211796

بمجرد الموافقة على المتابعة، يمكنك الحصول على إعلام بالتنشيط.

25231181218708

ثم تستلم مفتاح وصول ومفتاح سري. يجب (انقر فوق "الحصول عليه!") لأنه الوقت الوحيد الذي تحصل فيه على مشاهدة أي من المفاتيح. يلزم توفر مفاتيح الوصول والمفاتيح السرية للوصول إلى الدلو وتنزيل سجلاتك.

أخيرا، سترى الشاشة الملخصة التي تعرض التكوين، والأهم، اسم الدلو الخاص بك.

25231181228180

يمكنك تشغيل التسجيل أو إيقاف تشغيله وفقا لإحتياجك.

ملاحظة: تستمر Cisco في إزالة السجلات استنادا إلى مدة الاستبقاء المحددة، حتى إذا تم إيقاف تشغيل التسجيل.

خيارات تكوين مادة النشر

فشل تحميل السجل

في حالة فشل تحميل السجلات من Cisco Umbrella إلى مستودع S3، هناك فترة سماح مدتها أربع ساعات تقوم خلالها الخدمة بإعادة المحاولة كل 20 دقيقة. بعد أربع ساعات، يتم فتح القضية مع فريق الدعم لدينا، الذي يبدأ التحقيق في سبب المشكلة ويتواصل بشكل استباقي معك لإعلامك بالمشكلة.

التحقق من السجلات التي تم تحميلها والتنسيق

يتم تحميل السجلات في فواصل زمنية مدتها عشر دقائق من قائمة انتظار سجل Umbrella إلى دلاء S3. بعد إكمال التكوين، يتم تحميل السجل الأول إلى مستودع S3 في غضون ساعتين، رغم أن العملية تكون عادة فورية أو قريبة من الفورية. ومع ذلك، يتطلب تحميل أي شيء وجود بيانات السجل التي تم إنشاؤها حديثا، لذلك إذا كنت تحاول ذلك في بيئة إختبار، فتأكد من تسجيل بيانات الشبكة في البحث عن النشاط.

للتحقق مما إذا كان كل شيء يعمل، يبدأ آخر وقت مزامنة في تحديثات لوحة معلومات Umbrella وسجلاتها بالظهور في مستودع S3.

داخل الدلو الخاص بك، تم وضع علامة على كل عميل أو مؤسسة بمعرف المؤسسة الخاص به، لذلك فإن بنية المجلد هي:

Amazon S3/<bucket-name>/<orgID>/<subfolder>

<bucket-name> هو اسم الدلو الخاص بك، و<orgID هو معرف المنظمة الخاص بك، و<subfolder>هي إما DNSLOG أو ProxyLog أو IPLOGS، حسب أنواع السجلات الموجودة داخل.

بالنسبة لعملاء MSP و MSSP، يطابق orgID الرقم الموجود في "إعدادات العميل" ضمن كل تفاصيل العميل في قسم معلمات النشر. يمكن للعملاء متعددي المؤسسات تجميع معرف المؤسسة عن طريق تسجيل الدخول إلى كل مؤسسة فرعية فردية وملاحظة معرف المؤسسة في عنوان URL الخاص بالمستعرض: (https://dashboard.umbrella.com/o/####/ ).

360002271623

حاليا، يكون إصدار تنسيق السجل لعملاء MSP و MSSP و Multi-org الإصدار 1.1. وتظهر السجلات بتنسيق GZIP ويتم تحميلها إلى دالات S3 في المجلد الفرعي المناسب بتنسيق التسمية هذا:

<subfolder>/<YYYY>-<MM>-<DD>/<YYYY>-<MM>-<DD>-<hh>-<mm>-<xxxx>.csv.gz

<subfolder>هو إما DNSLOGS، ProxyLog، أو IPLOGS، حسب أنواع السجلات الموجودة داخل. <xxxx>عبارة عن سلسلة عشوائية مكونة من أربعة أحرف أبجدية رقمية، مما يمنع الكتابة فوق أسماء الملفات المكررة.

على سبيل المثال:

dnslogs/2019-01-01/2019-01-01-00-00-e4e1.csv.gz

إذا لم تشاهد سجلات في الدلو خلال 10 دقائق، فيرجى الاتصال بالدعم موضحا الخطوات التي اتخذتها حتى الآن.

بمجرد ظهور السجلات، نوصي بمراجعة البيانات عن طريق إلغاء ضغط محتويات عمليات تحميل السجلات القليلة الأولى التي يتم استقبالها للتأكد من إمكانية عرض البيانات في محرر نصوص (أو حتى في Microsoft Excel، وهو الإعداد الافتراضي ل .csv). للاطلاع على المعلومات التي يمثل كل حقل في السجل، اقرأ هنا.

إذا فشل تحميل سجل من Cisco Umbrella إلى مستودع S3، فهناك فترة سماح مدتها أربع ساعات تقوم خلالها الخدمة بإعادة المحاولة كل 20 دقيقة. بعد أربع ساعات، يتم فتح قضية داخل فريق الدعم لدينا الذي يبدأ تحقيقا في سبب المشكلة ويتصل بك بشكل استباقي ليخبرك عن المشكلة.

تمكين تسجيل الدخول لكل عميل 

خارج المربع، يتم تمكين هذه الميزة لجميع العملاء ما لم يتم تحديد خلاف ذلك. يمكن إيقاف تشغيل الميزة للعملاء الأفراد، وهو أمر مفيد إذا كان لديك مستويات خدمة مختلفة للعملاء الذين لديهم الميزة. هذا ضمن كل إعدادات خاصة بكل عميل في وحدة التحكم. توضح لقطة الشاشة في القسم السابق التبديل لإيقاف تشغيلها.

ومن الممكن أيضا إنشاء مستخدمي IAM في Amazon وتعيين مستخدمي IAM هؤلاء إلى مجلدات فرعية خاصة بالكائن في الدلو. من خلال القيام بذلك، يمكنك السماح للمستخدم النهائي بالوصول إلى سجلاته، ولكن سجلاته فقط.

تنزيل السجلات، التعرف على التنسيق وتكامل Splunk / QRadar

لتنزيل السجلات للاحتفاظ بها أو إستهلاكها، هناك بعض النهج لتنزيل سجلات DNS من S3. لقد تم إنشاء مقالة توضح بعض النهج لهذه المشكلة هنا.

قد يكون لديك أيضا بعض الأسئلة حول تنسيق السجل وكيف يختلف قليلا عن السجلات التي يتم عرضها في لوحة معلومات Umbrella. لمزيد من المعلومات حول تنسيق السجل المصدر، اقرأ هذه المقالة.

وأخيرا، يتمثل أحد الاستخدامات الأساسية لتصدير سجلات DNS في التكامل مع أدوات SIEM. على الرغم من أن تكوين SIEM عند التعامل مع سجلات مثل هذه غالبا ما يتم نزوله إلى أحد المسؤولين هو تفضيلاته الشخصية، فلدينا بعض الإرشادات الخاصة ب SIEM الأكثر شيوعا.

لمزيد من المعلومات حول إعداد المكون الإضافي Splunk ل Amazon AWS S3 و Umbrella، اقرأ هنا.

لمزيد من المعلومات حول تكوين IBM QRadar لسحب السجلات من Amazon S3 وتلخيصها، اقرأ هنا.

ما حجم سجلات S3؟

يعتمد حجم سجلات S3 على عدد الأحداث التي تحدث، والتي تعتمد على حجم حركة مرور DNS.

يمكنك العثور على تنسيق السجل لتسجيل S3 هنا.

إدخال المثال هو 220 بايت، ولكن يختلف حجم كل بند سجل بناء على عدد من العناصر (طول اسم المجال، عدد الفئات، وما إلى ذلك). بافتراض أن كل سطر سجل هو 220 بايت، سيكون مليون طلب 220 ميجابايت.

للحصول على تقدير لعدد استعلامات DNS التي يتم رؤيتها كل يوم:

1. في لوحة معلومات Umbrella، انتقل إلى Reporting > Activity Search.
2. تحت عوامل التصفية، قم بتشغيل تقرير لآخر 24 ساعة ثم انقر فوق أيقونة تصدير CSV.
3. افتح ملف csv الذي تم تنزيله. عدد الصفوف (ناقص واحد للرأس) هو عدد استعلامات DNS في اليوم؛ اضرب ذلك ب 220 بايت للحصول على التقدير ليوم واحد.

من حيث التكلفة، على الرغم من أنها متفاوتة، نجد أنه حتى أكثر عملائنا ضخامة ينفقون بضعة دولارات فقط شهريا على الخدمة.  ترتبط إحدى التكاليف بوقت التخزين وترتبط تكلفة أخرى بتنزيل البيانات من S3 إلى بيئتك. راجع موقع Amazon للحصول على مزيد من التفاصيل.

كما هو الحال مع أي من السمات الخاصة بنا، نود أن نعرف ما تعتقده، لا سيما فيما يتعلق بعمليات تكامل SIEM أو أي أسئلة إضافية تكون البيئة التي تغطيها هذه الوثائق. إذا كان لديك أي ملاحظات، الرجاء إعلامنا بذلك!