المقدمة
يوضح هذا المستند كيفية تنزيل السجلات من إدارة سجل Umbrella في AWS S3.
نظرة عامة
بمجرد إعداد إدارة السجل في Amazon S3 واختبارها بشكل صحيح، قد ترغب في بدء تنزيل السجلات وتخزينها تلقائيا داخل البنية الأساسية للشبكة، إما للاحتفاظ أو الاستهلاك (أو كليهما).
ومن أجل القيام بذلك، أوجزنا نهجا باستخدام أدوات S3tools من http://s3tools.org. تستخدم أدوات s3s أداة سطر الأوامر s3cmd ل Linux أو OS/X. هناك أدوات أخرى يمكن أن تحقق وظيفة مماثلة لمستخدمي Windows:
- لأداة سطر الأوامر، يمكنك تنزيل ملف تنفيذي صغير لسطر الأوامر هنا.
- إذا كنت تفضل واجهة رسومية، فقم بسحب متصفح S3 (https://s3browser.com/)، رغم أننا لا نغطي كيفية إستخدامها لأن الواجهة الرسومية غير قابلة للبرمجة النصية لأتمتة العملية. تمنحك هذه المقالة خطوات لإعداد كل من أداتي سطر الأوامر. يمكنك إستخدام المعلومات في المرحلة 1 لتكوين تطبيق المستعرض s3Browser إذا كنت تفضل ذلك.
ابدأ بتنزيل أداة نظام التشغيل الذي تنوي إستخدامه. في الوقت الحالي، نقوم بتغطية الإصدار S3cmd لنظام التشغيل/X و Linux، على الرغم من أن الخطوات للوصول إلى الملف وتنزيل البيانات هي نفسها فعليا لنظام التشغيل Windows.
احصل على المثبت من s3tools هنا.
لا يطلب منك المحلل تثبيت البرنامج لتشغيل سطر الأوامر، لذلك ببساطة استخرج الحزمة التي قمت بتنزيلها.
المرحلة الأولى: تكوين بيانات اعتماد الأمان الخاصة بك في AWS
الخطوة 1
- قم بإضافة مفتاح وصول إلى حساب Amazon Web Services لتمكين الوصول عن بعد إلى الأداة المحلية والقدرة على تحميل الملفات وتنزيلها وتعديلها في S3. قم بتسجيل الدخول إلى AWS وانقر فوق اسم حسابك في الزاوية العلوية اليمنى. في القائمة المنسدلة، أختر مسوغات التأمين.
- يرشدك موجه إلى إستخدام أفضل ممارسات Amazon وإنشاء مستخدم AWS لإدارة الوصول والهوية. في الأساس، يضمن مستخدم IAM أن الحساب الذي يستخدمه S3cmd للوصول إلى دلو الخاص بك ليس الحساب الأساسي (على سبيل المثال، حسابك) لتكوين S3 بالكامل. من خلال إنشاء مستخدمين أفراد ل IAM للأشخاص الذين يمكنهم الوصول إلى حسابك، يمكنك منح كل مستخدم IAM مجموعة فريدة من بيانات اعتماد الأمان. يمكنك أيضا منح أذونات مختلفة لكل مستخدم IAM. إذا كان ضروريا، يمكنك تغيير أو إبطال أذون مستخدم IAM في أي وقت.
لمزيد من المعلومات حول مستخدمي IAM وأفضل ممارسة AWS، اقرأ هنا.
الخطوة 2
- انقر فوق بدء إستخدام مستخدمي IAM لإنشاء مستخدم IAM مع الوصول إلى مستودع S3. انتقل إلى شاشة حيث يمكنك إنشاء مستخدم IAM.
- انقر فوق إنشاء مستخدمين جدد وقم بتعبئة الحقول.
- بعد إنشاء حساب المستخدم، لديك فرصة واحدة فقط للحصول على معلومتين مهمتين تحتويان على بيانات اعتماد أمان مستخدم Amazon الخاصة بك. نقترح عليك تنزيل هذه الأجهزة بشدة باستخدام الزر الموجود في أسفل اليمين لنسخها إحتياطيا. لا تتوفر بعد هذه المرحلة من الإعداد. تأكد من كتابة ملاحظة لكل من معرف مفتاح الوصول ومفتاح الوصول السري، حيث إننا نحتاج إليهما في خطوة لاحقة.
ملاحظة: لا يمكن أن يحتوي حساب المستخدم على مسافات.
الخطوة 3
- بعد ذلك، تريد إضافة نهج لمستخدم IAM لديك بحيث يمكنهم الوصول إلى دلو S3. انقر فوق المستخدم الذي قمت بإنشائه للتو ثم قم بالتمرير لأسفل خلال خصائص المستخدمين حتى ترى الزر "إرفاق النهج".
- انقر فوق إرفاق النهج، ثم أدخل 's3' في عامل تصفية نوع النهج. يجب أن يعرض هذا نتيجتين "AmazonS3FullAccess" و"AmazonS3ReadOnlyAccess".
- حدد AmazonS3FullAccess ثم انقر فوق إرفاق سياسة.
المرحلة الثانية: تكوين أداة لتنزيل سجلات DNS من المستودع
s3cmd ل MacOS و Linux
- انتقل إلى المسار الذي قمت باستخراج S3cmd في المرحلة السابقة ومن الوحدة الطرفية، الكتابة:
./s3cmd --configure
يجب أن يؤدي ذلك إلى طلب منك تقديم بيانات اعتماد الأمان الخاصة بك:
أدخل قيم جديدة أو قبل الافتراضيات بين أقواس مع إدخال.
ارجع إلى دليل المستخدم للحصول على وصف تفصيلي لجميع الخيارات.
مفتاح الوصول والمفتاح السري هما المعرفات الخاصة بك ل Amazon S3. أتركهما فارغين لاستخدام متغيرات env.
مفتاح الوصول [مفتاح الوصول]:
المفتاح السري [مفتاحك السري]:
2. بعد ذلك، يتم سؤالك مجموعة من الأسئلة المتعلقة بكيفية رغبتك في تكوين إمكانية الوصول إلى الدلو الخاص بك. في هذه الحالة، نحن لا نقوم بإعداد كلمة مرور تشفير (GPG)، ولا نستخدم HTTPS أو خادم وكيل. إذا إختلفت شبكتك أو تفضيلاتك، قم بتعبئة الحقول المطلوبة:
المنطقة الافتراضية [الولايات المتحدة]:
يتم إستخدام كلمة مرور التشفير لحماية ملفاتك من القراءة من قبل أشخاص غير مصرح لهم أثناء النقل إلى S3
كلمة مرور التشفير:
المسار إلى برنامج GPG [بدون]:
عند إستخدام بروتوكول HTTPS الآمن، تتم حماية جميع الاتصالات بخوادم Amazon S3 من التنصت من قبل جهة خارجية. هذه الطريقة هي
أبطأ من HTTP العادي، ويمكن فقط أن يكون وكيل مع Python 2.7 أو أحدث
إستخدام بروتوكول HTTPS [لا]:
في بعض الشبكات، يجب أن يتم الوصول إلى الإنترنت عبر وكيل HTTP.
حاول تعيينها هنا إذا لم تتمكن من الاتصال ب S3 مباشرة
اسم خادم وكيل HTTP:
بعد إدخال أي إعدادات خاصة بالشبكة أو أي تشفير، لديك فرصة للمراجعة:
الإعدادات الجديدة:
مفتاح الوصول: مفتاحك
المفتاح السري: مفتاحك السري
المنطقة الافتراضية: الولايات المتحدة
كلمة مرور التشفير:
المسار إلى برنامج GPG: None
إستخدام بروتوكول HTTPS: خطأ
اسم خادم وكيل HTTP:
منفذ خادم وكيل HTTP: 0
أخيرا، يطلب منك إختبار وإذا نجح، احفظ الإعدادات:
هل تريد إختبار الوصول باستخدام بيانات الاعتماد المتوفرة؟ [ص/ن] ص
الرجاء الانتظار، محاولة سرد كافة الدلاء...
النجاح. يعمل مفتاح الوصول الخاص بك والمفتاح السري بشكل جيد 🙂
يتم الآن التحقق من أن التشفير يعمل...
غير مكون. لا يهم.
هل تريد حفظ الإعدادات؟ [Y/N]
الملف التنفيذي لسطر أوامر Windows (S3.exe)
بعد تنزيل الأداة (https://s3.codeplex.com/releases/view/47595)، انسخ .exe إلى مجلد العمل المفضل لديك ومن موجه الأوامر اكتب هذا، مستبدلا مفتاح الوصول والسر:
s3 auth [ ]
لمزيد من المعلومات حول صياغة المصادقة، اقرأ هنا.
المرحلة الثالثة: إختبار تنزيل الملفات من الدلو
الخطوة 1: اختبر التنزيل
s3cmd لنظام التشغيل/X و Linux
من الوحدة الطرفية، قم بتشغيل هذا الأمر حيث يكون "my-organization-name-log-bucket" هو اسم الدلو الخاص بك الذي تم تكوينه بالفعل في جزء "إدارة السجل" الخاص بلوحة معلومات Umbrella. في هذا المثال، يتم تشغيل هذا من المجلد الذي يحتوي على الملف التنفيذي S3cmd ويتم تسليم الملفات إلى نفس المسار، لكن يمكن تغيير هذه:
./s3cmd sync s3://my-organization-name-log-bucket ./
إذا كان هناك فرق بين الملفات الموجودة في الدلو والملفات الموجودة في المسار الوجهة على القرص، يجب أن تقوم المزامنة بتنزيل الملفات المفقودة أو المحدثة. يجب أن يكون الملف الأول الذي يتم إسترداده هو ملف README الذي يتم تحميله عادة:
./s3cmd مزامنة S3://my-organization-name-log-bucket ./
s3://my-organization-name-log-bucket/README_FROM_UMBRELLA.txt -> <fdopen> [1 من 1]
تم إنجاز 1800 من 1800 إلى 100٪ في الأصفار بمعدل نقل بيانات يبلغ 15. 00 كيلوبت/الثانية
تم. تم التنزيل 1800 بايت في 1.0 ثانية، 1800.00 بايت في الثانية
يتم أيضا تنزيل أي ملفات سجل موجودة. يتوقف الأمر عليك إذا كنت ترغب في تعيين مهمة cron لجدولة هذه الدالة على أساس منتظم، ولكن يجب أن تكون الآن قادرا على تنزيل أي ملفات سجل جديدة أو متغيرة تلقائيا في المستودع الخاص بك إلى مسار محلي للاحتفاظ طويل المدى.
الملف التنفيذي لسطر أوامر Windows (S3.exe)
من موجه الأوامر، قم بتشغيل هذا الأمر حيث يمثل "My-organization-name-log-bucket" اسم الدلو الذي تم تكوينه بالفعل في جزء "إدارة السجل" الخاص بلوحة معلومات Umbrella. في هذا المثال، يتم تنزيل جميع الملفات الموجودة في الدلو (والتي يتم تعريفها باستخدام حرف البدل الخاص بالعلامة النجمية) إلى المجلد \\\\servicups_backup\.
s3 get my-organization-name-log-bucket/* c:\dnslogbackups\
لمزيد من المعلومات حول الصياغة لهذا الأمر، اقرأ هنا.
الخطوة 2: أتمتة عملية التنزيل
بمجرد إختبار الصياغة والعمل كما هو متوقع، انسخ التعليمات إلى مهمة إعداد برنامج نصي أو مهمة مجدولة (في Windows) أو أستخدم أي أداة أتمتة مهام أخرى قد تكون تحت تصرفك. من الممكن أيضا إستخدام الأدوات لإزالة الملفات من الدلو بعد تنزيلها لتحرير مساحة في مثيل S3. نحن نشجعك على النظر إلى وثائق الأداة التي تستخدمها لمعرفة ما قد يعمل بشكل أفضل لنهج الاحتفاظ بالبيانات.