فهم شبكات NFVIs الظاهرية: OVS و DPDK و SR-IOV

المقدمة

يصف هذا المستند مخطط الشبكة الظاهرية الذي يقدمه نظام NFVIs الأساسي لنقل شبكات VNF في شبكات المؤسسة والخدمات.

المكونات المستخدمة

أسست المعلومة في هذا وثيقة على هذا جهاز وبرمجية مكون:

• ENCS5412 الذي يشغل NFVIs 4.7.1-FC4
• c8300 uCPE 1N20 التي تشغل نظام NFVIS 4.12.1-FC2

تم إنشاء المعلومات الواردة في هذا المستند من الأجهزة الموجودة في بيئة معملية خاصة. بدأت جميع الأجهزة المُستخدمة في هذا المستند بتكوين ممسوح (افتراضي). إذا كانت شبكتك قيد التشغيل، فتأكد من فهمك للتأثير المحتمل لأي أمر.

نظرة عامة على الشبكات في NFVIs

يتم إستخدام شبكة إدارة داخلية (int-mgmt-net) وجسر (int-mgmt-br) داخليا لمراقبة VNF، وتعيين عناوين IP الخاصة بالإدارة من الشبكة الفرعية 10.20.0.0/24.

النظام الأساسي ENCS54XX

شكل 1. محولات الأجهزة ووصلات NICs الداخلية لوصلة شبكة WAN/LAN

Catalyst 8200 uCPE

• يمكن الوصول إلى NFVIs بشكل افتراضي من خلال منفذ WAN أو منفذ GE0/2 LAN للإدارة.

• يتم تعيين شبكة WAN (WAN-net و WAN2-net) وجسر WAN (WAN-br و WAN2-br) لتمكين DHCP بشكل افتراضي. يقترن GE0-0 مع جسر WAN وجسر GE0-1 مع جسر WAN2 بشكل افتراضي.

• الإدارة عنوان 192.168.1.1 على المادة حفازة 8200 UCPE يمكن الوصول إليه من خلال GE0-2.

• يقترن GE0-2 مع جسر الشبكة المحلية (LAN).

• يتم إنشاء شبكة إدارة داخلية (int-mgmt-net) وجسر (int-mgmt-br) واستخدامهما داخليا لمراقبة النظام.

الشكل 2. الربط الداخلي والمحولات الافتراضية المخصصة لبطاقات واجهة الشبكة (NICs) طراز 8200

Catalyst 8300 uCPE 1N20

1. يمكن الوصول إلى نظام NFVIs بشكل افتراضي عبر منفذ WAN (إيثرنت جيجابت باللوحة الأمامية) عبر منفذ GE0-2 LAN للإدارة

2. يتم تعيين شبكة WAN (WAN-NET) وجسر WAN (WAN-BR) بشكل افتراضي لتمكين DHCP. GE0-0 هو بشكل افتراضي مرتبط بجسر WAN

3. يتم إنشاء شبكة WAN (WAN2-Net) وجسر WAN (WAN2-br) بشكل افتراضي ولكن لا يتم ربطه بأي منافذ فعلية

4. ترتبط GE0-2 ب LAN Bridge، ولا ترتبط جميع المنافذ الأخرى ب OS

5. يمكن الوصول إلى الإدارة IP 192.168.1.1 على C8300-uCPE عبر GE0-2

6 - تنشأ شبكة إدارة داخلية (int-mgmt-net) وجسر (int-mgmt-br) ويستخدم داخليا لمراقبة النظام.

الشكل 3. الربط الداخلي والمحولات الظاهرية المعينة إلى بطاقات واجهة الشبكة (NICs) طراز 8300

تقنيات المحاكاة الظاهرية للشبكات

محول vSwitch مفتوح (OOS)

محول vSwitch المفتوح (OVS) هو محول افتراضي متعدد الطبقات ذو مصدر مفتوح مصمم لتمكين التشغيل التلقائي للشبكة من خلال الملحقات البرمجية، مع توفير الدعم لواجهات وبروتوكولات الإدارة القياسية، مثل NetFlow و sFlow و IPFIX و RSPAN و CLI و LACP و 802.1ag. يستخدم هذا المحول على نطاق واسع في البيئات الافتراضية الكبيرة، لا سيما مع برامج مراقبة الأجهزة الافتراضية لإدارة حركة مرور البيانات عبر الشبكة بين الأجهزة الافتراضية (VM). ويسمح بإنشاء مخططات وسياسات شبكات متطورة تتم إدارتها مباشرة من خلال واجهة واجهة NFVIs، مما يوفر بيئة متعددة الاستخدامات للمحاكاة الافتراضية لوظائف الشبكة.

الشكل 4. تكوين OVS داخل نواة لينوكس

جسور OVS

وهو يستخدم جسور الشبكة الظاهرية وقواعد التدفقات لإعادة توجيه الحزم بين الأجهزة المضيفة. وهو يتصرف كمحول مادي، ولا يتم محاكاته إلا افتراضيا.

الشكل 5. مثال تنفيذ 2 VMs أو VNFs يربط إلى جسر WAN-BR

العجز في تحويل السياق

عندما تصل حزمة الشبكة إلى بطاقة واجهة الشبكة (NIC)، فإنها تعمل على تشغيل مقاطعة، وهي إشارة إلى المعالج تشير إلى أنه يحتاج إلى اهتمام فوري. تقوم وحدة المعالجة المركزية (CPU) بإيقاف مهامها الحالية مؤقتا لمعالجة المقاطعة، وهي عملية تعرف باسم معالجة المقاطعة. خلال هذه المرحلة، تقوم وحدة المعالجة المركزية (CPU)، تحت التحكم في نواة نظام التشغيل، بقراءة الحزمة من بطاقة واجهة الشبكة (NIC) في الذاكرة وتقرر الخطوات التالية استنادا إلى وجهة الحزمة والغرض منها. الهدف هو معالجة الحزمة أو توجيهها بسرعة إلى التطبيق المقصود منها، مما يقلل زمن الوصول إلى الحد الأقصى والإنتاجية إلى الحد الأقصى.

تحويل السياق هو العملية التي يتم من خلالها تحويل وحدة المعالجة المركزية (CPU) من تنفيذ المهام في بيئة (سياق) إلى أخرى. يكون هذا مناسبا بشكل خاص عند التنقل بين وضع المستخدم ووضع kernel:

• وضع المستخدم: هذا وضع معالجة مقيد حيث يتم تشغيل معظم التطبيقات. لا تتمتع التطبيقات الموجودة في وضع المستخدم بإمكانية الوصول المباشر إلى ذاكرة الأجهزة أو المراجع ويجب أن تتصل بنواة نظام التشغيل لإجراء هذه العمليات.

• وضع Kernel: يمنح هذا الوضع نظام التشغيل إمكانية الوصول الكامل إلى الأجهزة والذاكرة بالكامل. يمكن أن يقوم kernel بتنفيذ أي إرشادات لوحدة المعالجة المركزية (CPU)، فضلا عن الإشارة إلى أي عنوان ذاكرة. يتطلب وضع Kernel لتنفيذ مهام مثل إدارة الأجهزة والذاكرة وتنفيذ مكالمات النظام.

عندما يحتاج التطبيق إلى تنفيذ عملية تتطلب امتيازات على مستوى kernel (مثل قراءة حزمة شبكة)، يحدث محول سياق. انتقال وحدة المعالجة المركزية من وضع المستخدم إلى وضع kernel لتنفيذ العملية. وبمجرد اكتمالها، يقوم محول سياق آخر بإرجاع وحدة المعالجة المركزية إلى وضع المستخدم لمتابعة تنفيذ التطبيق. تعد عملية التحويل هذه أمرا بالغ الأهمية للحفاظ على إستقرار النظام وأمنه، ولكنها تقدم التكاليف الإضافية التي يمكن أن تؤثر على الأداء.

يعمل نظام الإدخال والإخراج المفتوح (OVS) بشكل رئيسي في مساحة مستخدم نظام التشغيل، الأمر الذي يمكن أن يشكل أختناقا مع زيادة سعة معالجة البيانات. وذلك نظرا لأنه يلزم توفر محولات سياق أكثر لكي تنتقل وحدة المعالجة المركزية إلى وضع kernel لمعالجة الحزم، الأمر الذي يؤدي إلى إبطاء الأداء. ويتميز هذا التحديد بشكل خاص في البيئات ذات معدلات الحزم العالية أو التي يكون فيها التوقيت الدقيق أمرا بالغ الأهمية. ولمعالجة أوجه القصور في الأداء هذه وتلبية متطلبات الشبكات الحديثة فائقة السرعة، تم تطوير تقنيات مثل DPDK (مجموعة أدوات تطوير مستوى البيانات) و SR-IOV (المحاكاة الافتراضية للإدخال/الإخراج أحادية الجذر).

مجموعة أدوات تطوير مستوى البيانات (DPDK)

DPDK هي مجموعة من المكتبات وبرامج التشغيل المصممة لتسريع أحمال عمل معالجة الحزم على نطاق واسع من بنى وحدة المعالجة المركزية. من خلال تجاوز مكدس شبكات kernel التقليدي (تجنب تبديل السياق)، يمكن ل DPDK زيادة معدل إنتاجية مستوى البيانات بشكل كبير وتقليل زمن الوصول. وهذا مفيد على وجه الخصوص لشبكات VNF ذات الإنتاجية العالية التي تتطلب اتصالا يتميز بزمن وصول أقل، مما يجعل من هذا النظام نظاما مثاليا لوظائف الشبكة الحساسة للأداء.

الشكل 6 - تحسين التحويل السياقي للخامات الخارجية التقليدية (الجانب الأيسر) و DPDK OVS (الجانب الأيمن)

بدأ دعم DPDK للخادمات العضوية الثابتة في نظام NFVIs 3.10.1 لنظام ENCS و 3.12.2 للأنظمة الأساسية الأخرى.

• سعة معالجة سلسلة الخدمة بالقرب من SRIOV، أفضل من سعة معالجة الأجهزة متعددة الإمكانات (OVS) التي لا تحتوي على DPDK.
• برنامج تشغيل Virtual مطلوب ل VNF.
• الأنظمة الأساسية المدعومة:
• ENCS 3. 10. 1 وما بعده.
• UCSE و UCS-C و CSP5K الإصدار 3. 12. 1 وما بعده.
• DPDK لقنوات المنافذ المدعومة منذ 4. 12. 1.
• التقاط الحزمة/حركة المرور : غير مدعوم في DPDK.
• فسحة بين دعامتين حركة مرور على PNIC : غير مدعوم في DPDK.
• بعد تمكين OVS-DPDK، لا يمكن تعطيله كميزة فردية. ولن تكون إعادة ضبط المصنع سوى وسيلة لتعطيل DPDK. 

نسخ البيانات

يتطلب أسلوب الشبكة التقليدي في أغلب الأحيان نسخ البيانات عدة مرات قبل الوصول إلى وجهتها في ذاكرة الجهاز الظاهري (VM). على سبيل المثال، يجب نسخ الحزمة من بطاقة واجهة الشبكة (NIC) إلى مساحة kernel، ثم إلى مساحة المستخدم للمعالجة بواسطة محول ظاهري (مثل OVs)، وأخيرا إلى ذاكرة VM. تواجه كل عملية نسخ تأخيرا وتزيد من إستخدام وحدة المعالجة المركزية (CPU) على الرغم من تحسينات الأداء التي تقدمها DPDK من خلال تجاوز مكدس شبكات kernel.

تتضمن هذه النفقات الإضافية نسخ الذاكرة ووقت المعالجة اللازم لمعالجة الحزم في مساحة المستخدم قبل أن يمكن إعادة توجيهها إلى الجهاز الظاهري. وتعالج بطاقات PCIe Passthrough و SR-IOV هذه الاختناقات من خلال السماح بمشاركة جهاز شبكة طبيعي (مثل بطاقة واجهة الشبكة (NIC)) مباشرة بين أجهزة افتراضية متعددة دون إشراك نظام التشغيل المضيف بنفس قدر طرق المحاكاة الافتراضية التقليدية.

مرور PCIe

تتضمن الاستراتيجية تجاوز برنامج مراقبة الأجهزة الافتراضية للسماح بوظائف الشبكة الظاهرية (VNF) بالوصول المباشر إلى بطاقة واجهة الشبكة (NIC)، مما يحقق الحد الأقصى من سعة المعالجة تقريبا. يعرف هذا الأسلوب بالمرور عبر PCI، والذي يسمح بتخصيص بطاقة واجهة شبكة (NIC) كاملة لنظام التشغيل الضيف دون تدخل مراقب الأجهزة الافتراضية. في هذا الإعداد، يعمل الجهاز الظاهري كما لو كان متصلا بشكل مباشر مع NIC. على سبيل المثال، مع توفر بطاقتي واجهة الشبكة (NIC)، يمكن تخصيص كل واحدة منها حصريا إلى شبكات محلية ظاهرية (VNF) مختلفة، مما يوفر لها الوصول المباشر.

ولكن هذه الطريقة لها عائق: في حال توفر بطاقتي واجهة شبكة (NIC) فقط واستخدامهما حصريا من قبل وحدتين VNFs منفصلتين، سيتم ترك أي شبكات VNF إضافية، مثل ثالث، دون إمكانية الوصول إلى بطاقة واجهة الشبكة (NIC) بسبب عدم توفر بطاقة واجهة شبكة (NIC) مخصصة لها. يتضمن الحل البديل إستخدام المحاكاة الافتراضية للإدخال/الإخراج أحادية الجذر (SR-IOV).

المحاكاة الافتراضية للإدخال/الإخراج أحادية الجذر (SR-IOV)

هو مواصفات تتيح لجهاز PCI مادي واحد، مثل بطاقة واجهة الشبكة (NIC)، أن يظهر كأجهزة افتراضية متعددة منفصلة. توفر هذه التقنية إمكانية الوصول المباشر للأجهزة الافتراضية إلى أجهزة الشبكة المادية، مما يقلل من التكاليف ويحسن من أداء الإدخال/الإخراج. ويعمل هذا المهايئ بتقسيم جهاز PCIe واحد إلى شرائح افتراضية متعددة، كل منها قابل للتخصيص إلى أجهزة VM أو VNFs مختلفة، مما يعمل على حل القيود الناجمة عن عدد محدود من بطاقات واجهة الشبكة (NICs) بشكل فعال. تتيح هذه الشرائح الظاهرية، المعروفة باسم الوظائف الظاهرية (VFs)، موارد NIC المشتركة بين شبكات VNF متعددة. الدالة المادية (PF) تشير إلى المكون الفعلي الذي يسهل قدرات SR-IOV.

ومن خلال زيادة فعالية تقنية SR-IOV، يمكن للنظام الافتراضي لإدارة الشبكة (NFVIs) تخصيص موارد بطاقة واجهة شبكة (NIC) مخصصة لشبكات VNF معينة، مما يضمن الحصول على أداء فائق وزمن وصول أقل من خلال تسهيل الوصول المباشر إلى الذاكرة (DMA) لحزم الشبكة مباشرة إلى ذاكرة VM المناسبة. ويعمل هذا النهج على تقليل مشاركة وحدة المعالجة المركزية (CPU) إلى الحد الأدنى بحيث تقتصر على معالجة الحزم، وبالتالي خفض إستخدام وحدة المعالجة المركزية (CPU). ويعد هذا مفيدا بشكل خاص للتطبيقات التي تتطلب نطاقا تردديا مضمونا أو التي تتطلب متطلبات أداء صارمة.

الشكل 7 - فصل موارد بطاقات PCIe من خلال وظائف المعدات الحاسوبية

الوظائف المادية (PFs)

فهي وظائف PCIe متكاملة المزايا وتشير إلى صندوق أجهزة مصمم لتنفيذ أغراض معينة يوفر وظيفة شبكة معينة؛ وهي وظائف متكاملة المزايا لبطاقات PCIe يمكن اكتشافها وإدارتها والتحكم فيها مثل أي جهاز PCIe آخر. تتضمن الوظائف المادية إمكانيات SR-IOV التي يمكن إستخدامها لتكوين جهاز PCIe والتحكم فيه.

الوظائف الظاهرية (VFs)

فهي وظائف مبسطة مع أقل قدر من موارد التهيئة (بخفة الوزن)، مع التركيز فقط على معالجة الإدخال/الإخراج كوظائف PCIe بسيطة. كل وظيفة افتراضية تنشأ من وظيفة مادية. تحدد أجهزة الجهاز العدد المحتمل للوظائف الظاهرية. يمكن لمنفذ إيثرنت واحد، وهو الجهاز الفعلي، أن يقابل العديد من الوظائف الظاهرية، والتي يمكن تخصيصها بعد ذلك للأجهزة الافتراضية المختلفة.

برامج تشغيل مدمجة لتضمين SR-IOV على الأجهزة التي تدعم إمكانات جدار الحماية من الإطارات (NFVI)

إستخدام الحالات الخاصة ب DPDK و SR-IOV

تفضيلات DPDK

وفي السيناريوهات التي تتدفق فيها حركة مرور الشبكة في المقام الأول من الشرق إلى الغرب (بمعنى أنها تظل داخل نفس الخادم)، تتفوق DPDK على SR-IOV في الأداء. والأساس المنطقي لهذا التوجه واضح ومباشر: عندما تتم إدارة حركة المرور داخليا داخل الخادم دون الحاجة إلى الوصول إلى بطاقة واجهة الشبكة (NIC)، لا توفر SR-IOV أي فائدة. وفي الواقع، يمكن أن تؤدي تقنية SR-IOV إلى حالات عدم الكفاءة من خلال تمديد مسار حركة المرور واستهلاك موارد بطاقة واجهة الشبكة (NIC) دون داع. لذلك، فإن الاستفادة من DPDK هي الخيار الأكثر فعالية بالنسبة لإدارة حركة مرور الخادم الداخلية.

الشكل 8 - تبادل حزم DPDK و SR-IOV في حركة المرور من الشرق إلى الغرب

تفضيل SR-IOV

وفي الحالات التي تتدفق فيها حركة مرور الشبكة من الشمال إلى الجنوب أو حتى من الشرق إلى الغرب ولكن تحديدا بين الخوادم، يثبت إستخدام SR-IOV أنه أكثر فائدة من DPDK. ويصدق هذا بشكل خاص على الاتصال من خادم إلى خادم. وبالنظر إلى أن حركة المرور هذه لا بد أن تجتاز بطاقة واجهة الشبكة، فإن إختيار بيرفس OVS المحسنة من قبل DPDK يمكن أن يؤدي دون داع إلى تعقيد إضافي وقيود محتملة على الأداء. وبالتالي، يبرز SR-IOV كخيار مفضل في هذه الظروف، مما يوفر مسارا مباشرا وفعالا للتعامل مع حركة المرور بين الخوادم.

الشكل 9 - تبادل حزم DPDK و SR-IOV في حركة المرور من الشمال إلى الجنوب

تلميح: تذكر أنه من الممكن تحسين أداء إعداد قائم على SR-IOV من خلال دمج SR-IOV مع DPDK ضمن وظيفة الشبكة الافتراضية (VNF)، مع إستبعاد السيناريو الذي يتم فيه إستخدام DPDK بالاقتران مع OVS كما هو موضح سابقا.

التكوين

تمكين DPDK

لتمكين DPDK من واجهة المستخدم الرسومية، يجب أن تقوم بالانتقال إلى تشكيل > جهاز ظاهري > شبكة > شبكات. بمجرد أن تكون في القائمة، انقر على المحول لتنشيط الميزة

شكل 10. يتوفر زر الشريحة على واجهة المستخدم الرسومية (GUI) لتنشيط DPDK

ل ال CLI، أنت ينبغي مكنت هو من الشامل نظام عملية إعداد في تشكيل أسلوب.

nfvis(config)# system settings dpdk enable

تحذير: لا يمكن تعطيل DPDK ما لم يتم إجراء إعادة ضبط المصنع من NFVIs.

إنشاء شبكة جديدة وربطها بجسر OVS جديد

انتقل إلى التكوين > الجهاز الظاهري > الشبكة > الشبكات. بمجرد وصولك إلى صفحة الشبكات، انقر فوق علامة الجمع العليا اليسرى (+) في جدول الشبكات،

شكل 11. طريقة عرض جدول الشبكات من واجهة المستخدم الرسومية (GUI) الخاصة بوحدات NFVIS

قم بتسمية الشبكة والاقتران بجسر جديد. يمكن أن تعتمد خيارات ربط الشبكة المحلية الظاهرية (VLAN) والواجهة على إحتياجات البنية الأساسية للشبكة.

الشكل 12. نموذج "إضافة شبكة" لإنشاء شبكات افتراضية في واجهة المستخدم الرسومية (GUI) في إطار بنية معلومات الإدارة (NFVI)

بعد النقر فوق الزر إرسال، يجب أن تكون قادرا على مراجعة الشبكة التي تم إنشاؤها حديثا والمضافة إلى جدول الشبكات. 

شكل 13. طريقة عرض جدول الشبكات من واجهة المستخدم الرسومية (GUI) الخاصة بوحدات NFVIS حيث يكون "رمز التحديث" في الزاوية العليا اليمنى (مبرز بالأحمر)

ملاحظة: إذا لم يتم ملاحظة الشبكة الجديدة في الجدول، فيرجى النقر فوق زر التحديث العلوي الأيسر أو تحديث الصفحة بأكملها.

إن أنجزت ضمن من ال CLI، كل شبكة وجسر يكون خلقت من تشكيل أسلوب، سير العمل هو نفسه بما أن ال gui صيغة.

1. قم بإنشاء الجسر الجديد.

nfvis(config)# bridges bridge inter-vnf-br2
nfvis(config-bridge-inter-vnf-br2)# commit

2. إنشاء شبكة جديدة وربطها بالجسر الذي تم إنشاؤه مسبقا

nfvis(config)# networks network inter-vnf-net2 bridge inter-vnf-br2 trunk true native-vlan 1
nfvis(config-network-inter-vnf-net2)# commit

اتصال VNFs

للبدء باستخدام مخطط شبكة أو نشر شبكة VFN واحدة، يجب عليك التنقل إلى التكوين > النشر. يمكنك سحب جهاز افتراضي (VM) أو حاوية من قائمة التحديد إلى منطقة تصميم المخطط لبدء إنشاء البنية الأساسية الافتراضية.

الشكل 14. كان مثال النشر هو C8000v-1 عبارة عن مرور Ge0-0 SR-IOV متصل وشبكة VNF مشتركة مخصصة OS، و C8000v-2 يحتوي على إتصالين OVS يربطانه ب C8000v-1 و c8000v-3، و C8000v-3 يحتوي على اتصال OS بين VNF واحد يسمح بالاتصال ب c8000v-2 بالإضافة إلى واجهة خروج من خلال جسر منفذ Ge0-2 LAN.

حيث يمكن إنشاء نفس المخطط من الصورة من CLI:

تهيئة c8000v-1:

nfvis(config)# vm_lifecycle tenants tenant admin deployments deployment c8000v-1 vm_group c8000v-1 image c8000v-universalk9_16G_serial.17.09.04a.tar.gz flavor C8000V-small
nfvis(config-vm_group-c8kv_group)# interfaces interface 0 network GE0-0-SRIOV-1
nfvis(config-interface-0)# exit
nfvis(config-vm_group-c8kv_group)# interfaces interface 1 network inter-vnf-net
nfvis(config-interface-1)# exit
nfvis(config-vm_group-c8kv_group)# port_forwarding port ssh protocol TCP vnf_port 22 external_port_range 2228 2228
nfvis(config-external_port_range-2228/2228)# commit

تهيئة c8000v-2:

nfvis(config)# vm_lifecycle tenants tenant admin deployments deployment c8000v-2 vm_group c8000v-2 image c8000v-universalk9_16G_serial.17.09.04a.tar.gz flavor C8000V-small
nfvis(config-vm_group-c8kv_group)# interfaces interface 0 network inter-vnf-net
nfvis(config-interface-0)# exit
nfvis(config-vm_group-c8kv_group)# interfaces interface 1 network inter-vnf-net2
nfvis(config-interface-1)# exit
nfvis(config-vm_group-c8kv_group)# port_forwarding port ssh protocol TCP vnf_port 22 external_port_range 2229 2229
nfvis(config-external_port_range-2229/2229)# commit

تهيئة c8000v-3:

nfvis(config)# vm_lifecycle tenants tenant admin deployments deployment c8000v-3 vm_group c8000v-3 image c8000v-universalk9_16G_serial.17.09.04a.tar.gz flavor C8000V-small
nfvis(config-vm_group-c8kv_group)# interfaces interface 0 network inter-vnf-net2
nfvis(config-interface-0)# exit
nfvis(config-vm_group-c8kv_group)# interfaces interface 1 lan-net
nfvis(config-interface-1)# exit
nfvis(config-vm_group-c8kv_group)# port_forwarding port ssh protocol TCP vnf_port 22 external_port_range 2230 2230
nfvis(config-external_port_range-2230/2230)# commit

المقالات والوثائق ذات الصلة

الغطس العميق باستخدام تقنية NFV للمؤسسات والمختبر التطبيقي

تثبيت NFVIs للمؤسسة باستخدام USB