Коммутаторы : Программное обеспечение Cisco BPX/IGX/IPX WAN

Сценарий последовательного обновления узлов программного обеспечения коммутатора глобальной сети

5 апреля 2016 - Машинный перевод
Другие версии: PDF-версия:pdf | Английский (22 августа 2015) | Отзыв


Содержание


Введение

В данном документе описывается рекомендуемый 34-х-шаговый процесс для успешного обновления программного обеспечения коммутаторов серий IPX, IGX 8400 или BPX 8600. Это обновление предназначено для сетей, которые используют выпуск программного обеспечения коммутатора WAN, поддерживающий функцию последовательного обновления узлов. В данном документе содержится список минимально необходимых шагов, а затем каждый шаг рассмотрен более подробно. План, описанный в этом документе, использовался для успешного обновления сетей Cisco IPX/IGX/BPX.

Этот документ предназначен для использования в качестве пособия при обновлении программного обеспечения коммутатора, но это не может подменять собой надлежащее планирование с участием специалиста по продажам, системного инженера или менеджера по работе с клиентами Cisco.

caution Внимание.  : Важно, что вы выполняете действия в Планировщике обновлений ПО коммутатора WAN прежде, чем выполнить шаги ниже. Выполнение перечисленных шагов без предварительного обращения к Планировщику обновления (Upgrade Planner) приведет к проблемам с сетью.

Предварительные условия

Требования

Для этого документа отсутствуют особые требования.

Условные обозначения

Дополнительные сведения об условных обозначениях в документах см. в Условные обозначения технических терминов Cisco.

Используемые компоненты

Настоящий документ не имеет жесткой привязки к каким-либо конкретным версиям программного обеспечения и оборудования.

Сведения, представленные в этом документе, были получены от устройств в специфической лабораторной среде. Все устройства, используемые в этом документе, были запущены с чистой конфигурацией (конфигурацией по умолчанию). При работе с реальной сетью необходимо полностью осознавать возможные результаты использования всех команд.

Общие сведения

Процедура обновления ПО для продуктов IPX/IGX/BPX, хотя и требует предварительного планирования, не приводит к длительному простою сети.

Метод, позволяющий получить обновления, не влияющие на службу, остался таким же, каким он был в самых ранних версиях этого продукта. До выпуска 8.4 архитектура программного обеспечения IPX/IGX/BPX требовала, чтобы на всех узлах сети выполнялся одинаковый основной выпуск программного обеспечения коммутатора. Для соответствия этому требованию это было необходимо для узлов upgrade all в то же время.

По мере возрастания размеров сетей увеличивается объем трафика управления, формирующегося во время обновления. В результате эта процедура была разработана для обеспечения мягкого обновления в любом размере сети. Эта техника обновления является рекомендуемой, когда производится обновление одной версии ПО, поддерживающей функцию последовательного обновления узлов, до другой версии, также поддерживающей эту функцию.

Функция Node-by-Node позволяет адаптировать многие шаги только к модернизированным коммутаторам IPX/IGX/BPX. Это средство позволяет улучшить управление во время обновления программного обеспечения коммутатора.

Обновляемые сетевые узлы называются в этом документе целевыми узлами. Целевые узлы, как предполагается, являются подмножеством совокупности узлов общей сети. Целесообразное количество целевых узлов в 100 узловых сетях было бы 10. Для версии ПО коммутатора 8.4, функция Последовательного обновления узлов, возможно, должна быть включена с помощью команды cnffunc.

Этот документ предназначен для помощи пользователям, выполняющим обновления IPX/IGX/BPX в версии среды 8.4.X и более поздних. В этом документе не предполагается глубокое знание читателем этих коммутаторов, но предполагается понимание основных их конфигураций.

Обратите внимание, что, начиная с программного обеспечения выпуска 9.2, платформа IPX не поддерживается. Коммутаторы IPX, возможно, должны быть заменены до обновления к 9.2.

План высокого уровня

Ниже приведена последовательность действий по обновлению версии. Независимо от размера сети необходимо выполнить все перечисленные шаги.

Этап 1: Планирование

Задача Описание
1 Выберите новую версию программного обеспечения коммутатора или продукта Cisco WAN Manager (CWM) (прежнее название StrataView Plus (SV+)).
2 Оцените известные программные аномалии в выбранных версиях.
3 Просмотр комментарии к релизу для обновления действий, определенных для данной версии.
4 Проверьте версии технического обеспечения и микропрограммы карт и проверьте их поддержку новым программным обеспечением.
5 Написание сценариев, являющееся опциональной задачей для помощи в изменении параметров, требуется в некоторых разделах Этапа 3.

Этап 2: Подготовка сети

Примечание: Этот этап необходимо закончить за неделю до обновления программного обеспечения

Задача Описание
6 Проверка состояния сети.
7 Запустить резервные контрольные платы.
8 Мониторинг сети необходим вплоть до времени обновления.
9 Обновление станций CWM (SV+).
10 Проверьте возможность подключения управления сетью к сетевым узлам.

Этап 3: обновление

На протяжении этого периода следует проводить тщательный мониторинг управления доступом к сети с помощью карты топологии CWM (SV+) и команд dspcds и dspalms.

Задача Описание
11 Начало фиксации процесса инициализации.
12 Если доступно, сохраните конфигурацию сети в CWM (SV+).
13 Остановка сбора статистических данных.
14 Очистите ошибки плат, журналы ошибок ПО и отключите самопроверки процессора.
15 Отключение автоматов статистической выборки.
16 Загрузите новую версию в станции CWM (SV+).
17 Измените параметры cnfdlparm.
18 Остановите все атомические задания.
19 Загрузите новую версию на требуемые узлы сети.
20 Подтверждение перепрограммирования платы процессора.
21 Задайте параметры при подготовке к обновлению сети.
22 Устраните причины всех СЕРЬЕЗНЫХ и, по возможности, всех ВТОРОСТЕПЕННЫХ сигналов тревоги.
23 Завершение работы станций CWM (SV+) - с изменением конфигурации при необходимости.
24 При необходимости воспользуйтесь методами решения, указанными в описаниях задач 2 и 3.
25 Если сеть стабильно работает в течение 30 минут, обновите программное обеспечение коммутатора.
26 Подождите установления рабочего состояния сети и выполните абонентские тесты для проверки сети.
27 Разблокируйте ожидающие процессоры. Повторите Задачи 25 - 27 для каждого из обновляемых узлов.
28 Установите эксплуатационные параметры.
29 Перезапустите рабочие станции CWM (SV+).
30 Проверка состояния сети.
31 Перезапуск сбора статистики.
32 Перезапустите все автоматические работы.
33 Сохраните конфигурацию сети в CWM (SV+).
34 Окончание фиксации процесса инициализации.

Сведения о задании

Этап 1: Планирование

Задача 1 Выберите новую ревизию программного обеспечения коммутатора CWM (SV+).

Выбор подходящего программного обеспечения коммутатора и, следовательно, диспетчера глобальной сети Cisco (SV+) будет зависеть от ряда факторов, включая текущую версию программного обеспечения, требования к оборудованию и т. д. Обратитесь в техническую поддержку Cisco для получения дополнительной информации.

Чтобы выбрать соответствующий выпуск CWM (SV+), просмотрите комментарии к релизу для соответствующей версии в документации по выпускам Cisco WAN Manager в службе CCO.

Примечание: CWM нужно от одного до двух часов для начала сбора и отображения статистики после обновления или повторной инициации приложения.

Задача 2 Оцените известные программные аномалии в выбранных версиях.

Некоторые особенности программного обеспечения могут потребовать дополнительной обработки для обеспечения слаженности обновления. Это может означать:

Задача 3 Просмотр комментарии к релизу для обновления действий, определенных для данной версии.

Как и в задаче 2, результатом этой задачи может стать:

Задача 4 Проверьте версии технического обеспечения и микропрограммы карт и проверьте их поддержку новым программным обеспечением.

На IPX/IGX/BPX версию платы можно получить с помощью команды dspcds. Чтобы определить необходимость изменений, можно использовать эти сведения, а также таблицу совместимости ПО, микропрограмм и оборудования для коммутаторов, которая содержится в сведениях о версиях ПО для коммутаторов. Вы можете найти данные комментарии к релизу на страницах документа "Решения Cisco по коммутации WAN".

Для коммутаторов с картами резервного процессора (NPC, NPM, или BCC), проверяют, что совпадают версия микропрограммы, размер BRAM и размер ОЗУ для обеих карт.

команда dspcds

Команда dspcds выводит следующие данные для каждого слота:

3 FRM DTV FRI-V35 BF Standby

Значением каждого элемента выходных данных является:

Выходные данные: 3 FRM DTV FRI-V35 BF Резерв
Значение: <слот #> &lt;тип карты> <front card revision> <тип задней карты> <back card rev> <card state>

В разделе <front card revision> показан вывод "DTV" (см. ранее). Способ интерпретации этого описан ниже.

Выходные данные: D T V
Значение: Модель карты Проверка оборудования карты Версия микропрограммного обеспечения

Первая буква определяет модель платы (в данном случае "D"). Описывает набор функций для платы и быть изменено только представителем Cisco или ее партнеров.

Вторая буква обозначает аппаратную модификацию платы (в данном случае - Т). Это можно изменить, только отправив плату обратно на завод.

Третья буква указывает версию микропрограммы (в данном случае V). Это разновидность модели, с внесенными незначительными усовершенствованиями и исправленными ошибками. Его можно изменить, загрузив новый код с рабочей станции CWM (SV+) и затем записав его на карту.

Указатель образа конкретной микропрограммы, как он появляется на CCO, представлен в форме A.B.C, где:

  • А задает тип карты

  • B - обозначение модели, по которому можно во многом судить о возможностях платы., Например, C модели UVM (версия. A) имеет ПО DCA, в то время как модель D UVM (газуют. A) содержит микропрограммы DDA. Модель C — это первая модель UVM, поддерживаемая компрессией G.729 (среди других новых характеристик). Модель D поддерживает то же, что и модель C, а также Сжатие пустого кода и другие возможности.

  • C обозначает уровень версии микропрограммы, который обычно указывает уровень исправления ошибок. Микропрограмма UVM последней серии, используемая в данном примере, - выпуск E или DDE UVM модель D серия E.

Для проверки уровня выпуска платы, которая установлена в BPX или IGX, можно подать команду dspcds. Как показано ниже, используемый узлами метод предоставления сведений о версии отличается от метода нотации, который применяется в именах файлов CCO. Фактически узлы предоставляют дополнительную порцию информации о совместимости оборудования. Запись, которую использует коммутационное программное обеспечение, относится к форме TYPE B.D.C, где:

  • В TYPE представлено полное имя типа карты (например, UVM)

  • Буква B обозначает указатель модели

  • D обозначает уровень версии оборудования

  • C обозначает уровень версии микропрограммы

Задача 5. Составление сценариев, помогающих изменять параметры на некоторых стадиях этапа 3 (необязательный шаг).

Написание и проверка сценария сделает:

  • Сделайте процесс изменения параметров простым для запуска

  • Выделите любые команды, которые изменились в новом выпуске ПО.

Для некоторых продуктов необходимо задать параметры в процессе приготовления к модернизации сети. Пакеты программ, которые успешно использовались для обновлений:

  • Procomm leavingcisco.com: Традиционно используемый Руководителями проекта StrataCom. Написаны сценарии, в которых можно просмотреть списки команд в EXCEL. Выполните эти сценарии и внесите данные об успешном/неуспешном выполнении в электронную таблицу.

  • Перекрестные помехи: используемый группой аудита сети.

Этап 2: Подготовка сети

Задача 6 Проверка состояния сети

См. Приложение А

Задание 7 Запустить резервные контрольные платы.

См. приложение B

Задача 8 Мониторинг сети необходим вплоть до времени обновления.

Задача 6 должна высветить любые существуюшие сетевые вопросы, но будет благоразумно отлеживать новые ошибки программного обеспечения и ошибки сетевых плат вплоть до времени обновления. Повторяющиеся ошибки отчёта к технической поддержке Cisco.

См. Приложение А для подробной информации о проверке ошибок программного обеспечения и ошибок карт.

Задача 9 Обновление станций CWM (SV+).

Версии CWM (SV+) могут управлять сетями, которые работают на программном обеспечении, отстающем от версии CWM (SV+) не больше чем на две версии.

Задание 10 Проверьте возможность подключения управления сетью к сетевым узлам.

Убедитесь, что каждый коммутатор сети можно подключить, используя стандартный (inband) или нестандартный (out of Band) доступ. Используя TELNET, подключитесь к каждому IPX/IGX/BPX в сети. Если в сети используется как внутриполосной, так и внеполосной доступ, то каждый метод необходимо проверить отдельно.

Этап 3: обновление

Задача 11 Начало фиксации процесса инициализации.

Инициализация новых сервисов прервана до завершения процесса обновления.

Задание 12 Сохранение конфигурации сети.

Если функция Configuration - Save and Restore была приобретена, сохраните снимок сетевой конфигурации на рабочей станции CWM (SV+).

Дополнительные сведения по этой процедуре можно найти в справочнике по командам для используемой версии ПО.

Задача 13 Остановите сбор статистики и завершите работу приложения Statistics Collection Manager.

См. приложение D.

Задание 14 Удаления ошибок карты и журналы ПО, и затем отключают процессор сам тесты.

На всех узлах, чтобы быть обновленными удалениями ошибок карты и журналами ПО с помощью следующих команд:

  • clrcderrs *

  • clrswlog

  • clrswlog s

Процессор сам тест отключен путем ввода команды cnftstparm, и затем выбора типа процессора, который относится к узлу, который реконфигурируется.

Задача 15 Отключение автоматов статистической выборки.

Теперь отдел разработки рекомендует выключать автоматы статистической выборки во время этапа loadrev обновления. Ранее, статистические данные были отключены во время фазы runrev.

Для обновления эти конечные автоматы можно отключить на всех узлах при помощи команд off1 или off2.

Следующие параметры должны быть отключены.

  • Выборка состояний соединений

  • Line Stat Sampling

  • Port Stat Sampling

Примечание: Отключение этих функций эффективно отключит dspchstats, dsptrkutl, команды statistics dspportstats. Независимо от того, требуются ли эти команды для устранения неисправностей, можно снова включить блок состояний для последовательных узлов после загрузки нового программного обеспечения (узел находится в состоянии Upgraded). Перед выполнением секции обновления runrev необходимо отключить повторно включенные конечные автоматы. Можно повторно включить конечные автоматы с помощью команд on1 или on2.

Задание 16 Загрузите новую редакцию программного обеспечения на станции CWM (SV+).

Загрузите новую версию программного обеспечения в CWM (SV +) станции. Убедитесь, что все образы загружены успешно. Проверьте образ версии на каждой станции CWM (SV+), применяя команду validate_image <имя_файла.img>. Обратите внимание, что имя файла для коммутаторов IPX/IGX/BPX будет другим

  • К номеру образа IPX добавляется симол N.

  • Номер образа IGX добавлен с G.

  • К номер образа BPX добавляется символ "B".

Задание 17 Измените параметры cnfdlparm.

Данная задача поможет ускорить фазу распространения обновления программного обеспечения (задача 19). Настройте время ожидания сеанса и запрос максимального количества переходов следующим образом, используя команду cnfdlparm. Если узлы, которые будут обновлены, кластеризованы в той же области топологии сети, цель (не-CWM), узлам можно было уменьшить Ограничение на количество переходов запроса до 4. Для определения количества переходов между узлами выполните команду drtop.

Нас интересует время ожидания сеанса и поля перехода команды cnfdlparm. Если узлы, подлежащие обновлению, находятся в той же области, можно понизить ограничение на количество переходов запроса. Чтобы определить предельное число переходов для запроса, используйте команду drtop.

  • Все узлы сети: Окончание времени сеанса 30000

  • Узлы CWM (SV+): Максимальное число переходов для запроса 1

  • Узлы назначения (не-CWM): Ограничение на количество переходов запроса 8

Задание 18 Остановите все атомические задания.

Удалите или отключите все автоматические задачи, настроенные на целевых узлах IPX/IGX/BPX.

Дополнительную информацию по автоматическим задачам можно получить в справочнике по командам соответствующем версии используемого программного обеспечения.

Задача 19 Загрузите новую версию на требуемые узлы сети.

Это выполнено путем выполнения loadrev <new_revision> команда <node_name> на каждом из целевых узлов.

Загрузка программного обеспечения завершена, когда команда dsprevs отображает все избыточные узлы, как выполняющие первичную проверку и вторичную обновленную проверку. Вспомогательная версия должна совпадать с версией, указанной в команде loadrev. Дополнительные сведения о состоянии процессорной платы во время обновления программного обеспечения коммутатора см. в разделе "Состояния контрольной платы Active и Standby при обновлении ПО коммутатора WAN".

Узлы без резервирования покажут вторую версию как "Loaded", а не как "Upgraded".

Сбои подключили с программированием электронно-стираемого программируемого постоянного запоминающого устройства карты процессора (EEPROM) результаты в сигналах отказа флэш-носителя в сочетании с программными ошибками. При получении такого сигнала попробуйте снова запустить процесс loadrev. Используйте команду loadrev для возвращения узла выпуску текущего программного обеспечения, работающему в сети. Синтаксис команды:

loadrev <current_running_revision> <node_name>

Введите команду, а затем заново приступайте к заданию 19. Следующие функции будут требовать замены текущей активной платы. В этом случае, как прежде, выполните команду loadrev для восстановления узла к текущему рабочему выпуску ПО. После того, как команда loadrev выполнена, проверьте, что узел стабилен путем запуска команд dspcd и dsprevs. Команда dspcd должна отобразиться Активный и Резервные карты процессора. Команда dsprevs должна отобразить только текущий рабочий выпуск ПО для узла. После того, как узел стабилен, введите команду switchcc. Резерв (был Активный процессор) карта процессора может теперь быть заменен.

См. Приложение С.

Задача 20 Подтверждение перепрограммирования платы процессора.

Примечание: Этот шаг должен быть выполнен после того, как все резервные процессоры целевого узла обновлены. См. задачу 19.

Подтвердите правильность карты процессора, напаянной на все целевые узлы путем выполнения следующего задания:

  1. Выполните команду chkflash

  2. Получив результат в командной строке, проверьте журнал регистрации ошибок программного обеспечения на предмет ошибок, зарегистрированных при выполнении команды "chkflash" (проверьте отметку времени ошибки).

  3. Независимо от того, удалось ли выполнить команду chkflash, будут зарегистрированы программные ошибки 872, 873 или 874, однако также могут возникнуть и другие ошибки.

  4. Обо всех ошибках нужно сообщить технической поддержке Cisco. Не продолжайте процесс обновления. Возможно, проверка программного обеспечения на узле или узлах, которые регистрируют ошибки, повреждена.

Задание 21 Задайте параметры при подготовке к обновлению сети.

Информацию об изменении параметров можно найти в приложении Д.

Включите требуемые нестандартные изменения, указанные в описаниях задач 2 и 3.

Задача 22 Устраните причины всех СЕРЬЕЗНЫХ и, по возможности, всех ВТОРОСТЕПЕННЫХ сигналов тревоги.

Идеально, сеть должна быть сигналом тревоги, свободным во время обновления программного обеспечения (Задача 25). Если это невозможно, необходимо по крайней мере определить и записать причины всех серьезных сигналов тревоги, после чего произвести соответствующее изменение настроек системы с целью устранения сигнала тревоги. Проверьте модели загрузки целевого узла, задав команды chklm и dsplm, как показано в приложении A.

Примечание: Соответствующее изменение настроек не должно включать внесение изменений конфигурации узлов IGX/BPX/IPX через CLI или CWM (SV+), так как одна процессорная карта находится в обновленном состоянии.

Любые второстепенные сигналы тревоги следует принимать во внимание, чтобы после обновления можно было провести сравнение.

Примечание: Обновление программного обеспечения коммутатора не должно происходить, пока в сети есть недоступные узлы.

Задача 23 Завершение работы станций CWM (SV+) - с изменением конфигурации при необходимости.

Для полного обновления сети необходимо завершить работу всех рабочих станций CWM (SV+). Это достигнуто путем выбора Stop Core option от CWM (SV +) главное меню. Данная процедура может не потребоваться для выполнения частичного обновления сети.

В это время должны быть проведены все изменения конфигурации, которые требуются для работы CWM (SV+) с новой версией программного обеспечения.

Задание 24 При необходимости воспользуйтесь методами решения, указанными в описаниях задач 2 и 3.

Любые обходные приемы, необходимые для мягкого обновления, должны будут быть определены в задачах 2 и 3.

Задача 25 Обновить ПО коммутатора, если сеть остается стабильной в течение 30 минут.

Если никакие изменения топологии не произошли в сети сроком на 30 минут начиная с успешного завершения Задачи 19, и шаги 20 - 24 были успешно завершены, выполняются

runrev <new_revision> <node_name>

команда от одного из целевых узлов. Это будет выполняться в новом выпуске на сетевом узле.

Чтобы проверить стабильность нужного узла, введите следующие команды в указанном порядке:

Команда Необходимые действия
dspprf Проверьте, что ПРОСТАИВАЮЩИЙ RT больше, чем 40. Если это не, обратиться в техническую поддержку Cisco.
dsprevs Убедитесь, что загружается правильная версия программного обеспечения.
dspcd Убедитесь, что платы процессора находятся в активном состоянии и заперты.
dspalms Убедитесь, что на целевом узле нет СЕРЬЕЗНЫХ сигналов тревоги.

Примечание: Так как процесс обновления включит сеть временно источники синхроимпульсов коммутации, меры должны быть приняты при запуске команды runrev на самом высоком нумерованном узле сети. Координируйте обновление самых низких и самых высоких нумерованных узлов с Инженером Представителей отдела продаж CISCO, Системным инженером или Менеджером по работе с корпоративными заказчиками.

Задача 26 Дайте сети стабилизироваться и проведите сетевые тесты.

Примечание: Дополнительные сведения об интервале runrev для опытных пользователей см. в Приложении G.

Позвольте процессорам целевого узла завершать все задачи по обновлению управления. Время, которое на это потребуется, зависит от числа узлов в сети. Позвольте по крайней мере 10 минут на узел. В течение этого периода вход на узлы через интерфейс командной строки (CLI) должен быть сведен к минимуму.

Через 10 минут войдите в целевой узел и проверьте исправность, используя следующие команды.

Примените команды в указанном порядке.

Команда Необходимые действия
dspprf Проверьте, что ПРОСТАИВАЮЩИЙ RT больше, чем 40. Если это не, обратиться в техническую поддержку Cisco.
dsprevs Убедитесь, что загружается правильная версия программного обеспечения.
dspalms Убедитесь, что на целевом узле нет СЕРЬЕЗНЫХ сигналов тревоги.
dspcd Убедитесь, что резервный процессор пребывает в состоянии блокировки и что ни одна из плат не находится в неисправном состоянии.
dspswlog Проверьте наличие новых программных ошибок.
dspswlog s Проверьте наличие новых программных ошибок.
dspcderrs Проверьте, не появились ли новые ошибки платы.
dsptrks Проверьте статус всех транков.
dspnds Убедитесь в отсутствии недоступных узлов.
dspnode Проверьте состояние стоек фидеров (если возможно).
dspsloterrs Проверьте, нет ли новых неполадок слотов.

Примечание: Разные конечные автоматы были отключены в задаче 2, поэтому такие команды как dspportstats и dspchstats не будут работать.

Этот период является самым подходящим временем для проверки правильности функционирования нового программного обеспечения.

Опросите все внешние системы управления, которые используются для управления любыми маршрутизаторами, которые связаны с сетью IPX/IGX/BPX. Этот опрос проводится для того, чтобы убедиться в доступности всех устройств.

По возможности опросите конечных пользователей, чтобы убедиться в работоспособности всех сетевых соединений.

Примечание: В маловероятном случае, что решение принято для возвращения назад к пересмотру предшествующего программного обеспечения, с технической поддержкой Cisco нужно связаться до коммутации к старому пересмотру. Важная информация о причинах неправильного функционирования нового программного обеспечения после перехода на старую версию будет потеряна.

Задача 27 Разблокируйте ожидающие процессоры.

Повторите задачу 25, задачу 26 и задачу 27 для каждого из обновляемых узлов. Достаточное время между обновлениями отдельных узлов позволяет проверить их стабильность и провести эксплуатационные испытания. См. приложение F.

Задание 28 Установите эксплуатационные параметры.

Все параметры, измененные в задаче 12, задаче 17 и задаче 21, необходимо вернуть к их исходным значениям, как было описано в задаче 6.

Примечание: Фактические команды использовали изменяться, параметры, возможно, изменились. Кроме того, для правильной работы сети при запуске новой версии программного обеспечения может потребоваться изменить другие параметры. См. комментарии к релизу для получения технических рекомендаций и новых значений по умолчанию.

Задача 29 Перезапустите станции CWM (SV+).

В главном меню CWM (SV+) выберите пункт Start Core.

Задача 30 Проверка состояния сети

См. Приложение А

Задача 31 Перезапуск сбора статистики.

Перезапустите диспетчер сбора статистики (SCM) выбором соответствующего параметра в главном меню CWM (SV+).

Выберите всю нужную статистику (см. замечания к задаче 13). Выполните следующие действия:

  1. В раскрывающемся меню "config" выберите пункт "stats enable".

  2. Проверьте все группы статистики и перенесите необходимые типы статистики в выбранный раздел.

  3. Отправьте команду stats enable на все узлы с помощью следующей процедуры:

    • Выберите в раскрывающемся меню "config" пункт "node selection".

    • Убедитесь, что выбраны все узлы, отключите переключатель Send Stats Enable и нажмите кнопку OK.

    • Контролируйте окна исходящих запросов и входящих ответов в главном окне SCM. Это позволяет убедиться, что сигнал SNMP отправлен всем узлам и получено соответствующее подтверждение.

  4. Введите команду "-config".

  5. Введите команду -node.

  6. Убедившись, что выбраны все узлы, выключите переключатель start statistics collection, а затем нажмите "ОК".

Задача 32 Перезапустите все автоматические работы.

Следует повторно активировать все автоматические задания, настроенные на узлах назначения IPX/IGX/BPX. Это также применимо к любым заданиям cron на станциях CWM (SV+).

Дополнительную информацию по работам можно получить в справочнике по командам соответствующему версии используемого программного обеспечения.

Задача 33 Сохранение конфигурации сети.

См. задание 12.

Задача 34 Окончание фиксации процесса инициализации.

Приложение А, задача 6: Проверка состояния сети

Выполните следующие действия.

  1. Контролируйте параметры с помощью следующих команд. Настройки всех однотипных узлов сети должны совпадать. Зафиксируйте любые отклонения от значений по умолчанию.

    • cnfnodeparm

    • cnfcmparm

    • cnfdlparm

    • cnffstparm

    • cnfdiagparm

    • cnftstparm

    • cnfprfparm

    • on1

    • on2

    • on3

    • cnfsysparm (необходимо выполнить проверку только одного узла, так как настройки применяются ко всей сети)

    • cnffunc

    • dspmnupdt

    • cnftlparm (8.4 и далее)

    • cnfsnmp

    • cnfcmb (IGX/IPX только, параметры настройки являются широкой сетью),

    Следует оценить различия параметров между узлами одного типа и вариации параметров по умолчанию, чтобы они не повлияли на обновление ПО. Обратитесь в техническую поддержку Cisco, если требуется совет.

  2. Проверьте сеть на наличие недавних программных ошибок (активная и резервная платы контроллера), простоя CPU, ошибок плат, несоответствий модели загрузки, ошибок транка и сигналов тревоги. Для выполнения этих задач используйте следующие команды:

    • dspswlog

    • dspswlog s

    • dspcderrs or the dspcderrs <slot #>

    • dsptrkerrs

    • dspalms, dspslotalms, dspbuses, dspsloterrs (только для BPX)

    • dspprf или dspprfhist

    Используйте эти команды для проверки количества свободного времени, имеющегося у CPU узла. Эти команды каждые 20 секунд представляют количество процессорного времени, занимаемого каждым процессом. В этом случае igx16 узла является простаивающим в течение приблизительно 88% времени. Ниже показаны типичные выводимые данные:

    igx16   TN   StrataCom   IGX 16    8.2.56   Oct. 13 1997 17:47 GMT
            
    Active    0   262079990   -20   262059990   -40   262039990 Current
            
    Proc   RT  HSds LSds      RT  HSds LSds        RT  HSds LSds 
    IDLE   88   43    0       89   46    0         88   65    0 
    RSRC    0   12    0       0   13    0          0   15    0 
    CBUS    0   76    0       0   75    0          0   78    0 
    NETW    0   53    0       0   48    0          0   58    0 
    TRNS    2  199    0       2  187    0          2  216    0 
    FAIL    4    8    0       3    4    0          4    2    0 
    SNMP    0    0    0       0    0    0          0    1    0 
    PROT    0    0    0       0    2    0          0    1    0 
    TXIO    0    0    0       0    0    0          0    0    0 
    ILMI    0    0    0       0    0    0          0    0    0 
    SUMM    2    4    0       3    1    0          2    2    
    
    • chklm или dsplm : Эти команды сравнивают разделы базы данных текущего узла со всеми другими узлами в сети. Выполните команду chklm последовательно на каждом узле сети. По завершении вернитесь к первому узлу и выполните команду dsplm. Ниже приводится пример выходных данных:

      igx16   TN   StrataCom   IGX 16   8.2.56   Oct. 13 1997 17:52 GMT 
      
      Nd T L C LC 
      32 P P P P  

      Данный пример взят от сети, которая содержит два узла:

      NodeName J/Num
      
      igx16     /16
      igx32     /32
      

      Выходные данные команды dsplm, выполненной на igx16, показывают результаты сравнения определенных разделов баз данных igx16 и igx32. В этом случае P в выходных данных обозначает передачу, которая указывает на то, что все в порядке. Любые сбои обозначены F в экране с выходными данными команды dsplm.

      Примечание: В выпусках программного обеспечения после 8.4 команда dsplm даст неправильные результаты, если топология сети недавно изменилась.

Выполните следующие действия.

  1. Определите следующее:

    • Последние ошибки программного обеспечения: О любых узлах, которые непрерывно регистрируют ошибки или имеют зарегистрированные новые ошибки, нужно сообщить технической поддержке Cisco.

    • Ошибки платы: Карты, которые регистрируют сам / сбои при фоновом тесте или имеют историю аппаратных ошибок, должны быть исследованы технической поддержкой Cisco.

    • Узлы, время простоя CPU которых составляет менее 40% (20% в случае PCC): Обычно не обнаружено в сети BPX/IGX/IPX. Эти узлы необходимо тщательно проверить. Если время простоя последовательно низко, необходимо связаться с технической поддержкой Cisco.

    • Сбои модели нагрузки: О них нужно сообщить технической поддержке Cisco. Помните, что версии программного обеспечения 8.4 и выше используют загрузку по магистрали и могут показывать сбои модели загрузки сразу после изменения топологии сети.

    • Для любой магистрали, в которой регистрируются ошибки, необходимо выполнить следующие действия: Должны быть либо исправлены, либо настроены для запрета передачи управляющего трафика на период обновления.

    • Все сигналы тревоги должны быть учтены. Настоящая цель этой проверки – убедиться, что до начала обновления отключены все сигналы тревоги, например сбоя шины, которые потребуют специального вмешательства.

  2. Перед запуском обновления убедитесь, что выполнены все необходимые исправления.

  3. Расположение всех автоматических задач должно быть известно, т. к. эти задачи должны быть удалены при обновлении.

Задача приложения B 7: Тест управляющей платы в режиме ожидания

Выполнение этого задания займет около 60 минут на каждый узел, в зависимости от размера сети.

  1. Вход в систему как Сервис к каждому IPX/IGX/BPX в сети в свою очередь и проверке, какой процессор Активен и которая находится в Резерве путем выдачи команды dspcd.

  2. Проверьте избыточность CC в каждом IPX/IGX/BPX. Выполните команду cnfnodeparm и проверьте значение в поле CC Redundancy Cnfged - оно должно быть равно Y. "Y" в поле "CC Redundancy Cnfged" указывает, что избыточность CC включена. Если избыточность CC не включена, то ее следует включить.

  3. Чтобы перезапустить ожидающий процессор, необходимо выполнить команду resetcd <card_number> h

    Примечание: Если активная плата сбрасывается при ошибке, узел будет перестроен.

  4. После возврата NPC/NPM/BCC в режим ожидания посмотрите недавние ошибки в журнале программного обеспечения, выдав команды dspswlog и dspswlog s. Сбой программирования флэш-памяти вызовет и сигнал тревоги и коммутатор карты контроллера. Сообщите о таких вхождениях технической поддержке Cisco.

  5. Когда карта сброса перешла в режим ожидания:

    • Выполните команду dspqs, чтобы проверить, существует ли какое-либо ожидание обновлений.

    • Если нет никакого ожидания обновлений, не выполняет команду switchcc, которая переключится к резервному процессору.

    • Switchcc разъединит текущий сеанс.

  6. Выполните вход в IPX/IGX/BPX и проверьте работоспособность сети. Резервная карта пройдет через следующие состояния: Загрузчик, Обновление, Резерв. Обновление Резервной карты может занять целых 3 часа для завершения для каждого узла, таким образом, время должно планироваться соответственно.

  7. После возврата NPC/NPM/BCC в режим ожидания посмотрите недавние ошибки в журнале программного обеспечения, выдав команды dspswlog и dspswlog s. Ошибка флэш-программирования вызовет тревогу и переключение платы контроллера. Сообщите о таких вхождениях технической поддержке Cisco.

  8. Эту процедуру следует повторить для каждого обновляемого узла в сети, по одному узлу за один раз. Прежде чем переходить к следующему узлу, убедитесь, что резервная карта каждого узла вышла из режима обновления. При подключении шлюзового узла временно теряется связь между CWM (SV+) и сетью.

    Примечание: В случае BPXs рекомендуется, чтобы активная карта в начале обновления (команда first loadrev) была в слоте 8.

Задача C приложения 19: Перейти к загрузке новой редакции в сеть

Существует два случая для рассмотрения при выполнении Задачи 19. Оба случая описываются ниже, и оба относятся к следующей топологии:

/image/gif/paws/10843/wan_switch_software_upgrade_node.gif

Пример 1

Если имеется рабочая станция CWM (SV+) (обозначенная префиксом SV+ на рисунке топологии, приведенном выше), подключенная к одному узлу сети каждого типа, задача 19 легко выполнима.

Чтобы загрузить новую версию программного обеспечения на один из узлов каждого типа в вышеупомянутой сети при условии, что все коммутаторы имеют конфигурации по умолчанию и в рабочие станции CWM (SV+) загружена правильная версия программного обеспечения, необходимо на любом узле выполнить следующие команды:

  • loadrev <new_revision>BPX1

  • loadrev <new_revision>IGX2

  • loadrev <new_revision> IPX

Случай 2

Ссылаясь на топологию выше, если SV+2 и SV+3 не существуют, и новые редакции программного обеспечения для всех типов коммутаторов постоянно находятся только на SV+1, выполнение Задачи 10 требует небольшого количества изменений конфигурации на некоторых коммутаторах.

Загрузка начинается после выполнения тех же команд, что и в первом случае, однако это позволит выполнить только загрузку программного обеспечения в IPX. Чтобы загрузить новое программное обеспечение в IGX2 и BPX1, необходима следующее изменение конфигурации:

  1. Введите команду cnffunc на обоих узлах, чтобы включить функцию download from remote strataview.

  2. Используйте команду drtop для проверки количества переходов между целевыми узлами. Сеть IGX2 отделена несколькими узлами от IPX, узла, к которому подключена станция CWM (SV+). Чтобы согласовать увеличившееся расстояние с IGX2, с помощью команды cnfdlparm установите для параметра запроса максимального количества переходов значение фактического количества переходов (в данном случае 2).

  3. По завершении загрузки программного обеспечения восстановите исходные значения всех измененных параметров.

В случае 1, как и в случае 2, загрузка программного обеспечения завершается, когда:

  • Выходные данные по команде dsprevs показывают, что для узла выполняется первичная проверка.

  • Обновленная вспомогательная версия, соответствующая версии, использованной в команде loadrev.

Примечание: Узлы без избыточности (узлы с одним процессором) покажут дополнительную проверку, как Загружаемую и НЕ Обновленные. Например, предположите, что BPX1 в вышеуказанной топологии имеет только одну карту процессора. Вывод команды dsprevs после завершения загрузки программного обеспечения будет следующим (где 8.4.09 — новый выпуск программного обеспечения, а 8.1.71 — текущая версия):

BPX1    TN       StrataCom      BPX 15    8.1.71       Oct. 13 1997 17:20 GMT 

                  ------ Primary ------       ----- Secondary ----- 


NodeName          Status     Revision         Status     Revision 

IGX2              Running    8.1.71           Upgraded   8.4.09 
BPX1              Running    8.1.71           Loaded     8.4.09 
IPX               Running    8.1.71           Upgraded   8.4.09 
BPX2              Running    8.1.71 
IGX1              Running    8.1.71 
Failures connected with the programming of the card's electrically erasable programmable 
read-only memory (EEPROM) will result in Flash failure alarms in conjunction with 
software errors. In the event of such an alarm, try the loadrev process again. 
Any further failures will require the card to be replaced. 

Когда загрузка программы завершена (см. выше), проверьте программу, выполнив следующие задания:

  1. Выполните команду "chkflash" на узлах с новой версией программного обеспечения.

  2. Когда возвраты приглашения Command, проверьте записи журнала ошибок ПО и метки времени для любых ошибок, зарегистрированных в результате команды chkflash. Для этого введите команду dspswlog.

Об ошибках нужно сообщить технической поддержке Cisco. Не продолжайте процесс обновления, так как возможно, что версия программного обеспечения на этом узле или узлах, занесших ошибки в журнал, повреждена.

Задача приложения D 13: Процедура отключения сбора статистики CWM (SV+) TFTP

Данную задачу необходимо выполнить только на узлах, для которых планируется выполнить обновление. Если 10 из 100 узлов будет обновлен, сбор статистических данных требуют, только отключены на этих 10 целевых узлах.

  1. Определение состояния сбора статистики.

    Проверьте статус функции сбора статистики на сетевых узлах с помощью команды dspstatparms. Пример выходных данных является показом ниже со Сбором статистических данных: статус полужирным текст.

    igx16      TN       StrataCom        IGX 16     8.1.71        Date/Time Not Set 
    
    Statistics Configuration Parameters
    
    TFTP Retry Count:             3     TFTP Read Grant Delay (sec):      1
    TFTP ACK time-out (sec):     10     Enable Date:     00/00/00 00:00:00
    Bucket Interval:              0     Enabled from: not enabled
    File Interval:                0     Rt Interval:     00/00/00 00:00 GMT
    Peak Enable Flag:       DISABLED    Nt Second Offset:                 0
    Object Count:                 0          STATS COLLECTION: DISABLED
    Object Subtype Counts:    0 0 0 0        STANDBY UPDATES: ENABLED
    Total File Memory Used:       0 
    Number of File Allocated:     0 
    Current File Size:          531
    Stat Memory Allocated:        0 
    Auto Memory Allocated:        0 
    Auto Mem Rgn Size:       153600 
    
    Last Command: dspstatparm

    Как показано выше, поле stats collection на правой стороне экрана показывает текущее состояние. В последующих версиях программного обеспечения данное поле называется "Interval stats" (Статистика интервалов) и содержит сведения о реальном числе собираемых статистических параметров.

    Если сбор статистики уже включен, выполните оставшиеся шаги.

  2. Отключить сбор статистики.

    1. На главной рабочей станции статистики откройте окно "StrataView Statistics Manager". Если SCM не работает на этом компьютере, его необходимо запустить из главного меню CWM (SV+).

    2. В главном окне SCM выберите последовательно элементы config и Node selection. Все целевые узлы должны отображаться в списке "Selected Nodes" в правой части экрана. Если они не появились, щелкните правую стрелку, которая находится рядом с каждым из целевых узлов.

    3. Под Избранным Полем Action снизьте кнопку с зависимой фиксацией Stop Statistics Collection и затем закройте коробку путем нажатия кнопки OK.

    4. В главном окне модуля SCM в поле "Текущий статус" должно быть указано значение "Остановлен".

    5. Записывайте всю выбранную статистику, чтобы ее можно было повторно включить после обновления.

    6. Выберите config, Stats Enable, а затем укажите статистические группы по очереди.

  3. Под каждой статистической группой есть окно Включить/выключить статистику. Окно содержит кнопку "Statistics Type", при нажатии на которую отображается список всех категорий для определенной группы. Например, следующие категории существуют в группе Connections (Соединения):

    • Речь

    • Данные

    • Frame Relay

    • Fast PAD

    • ASI

    • AXIS Frame Relay

    • Подключение по каналу ATM

    • Соединение с помощью эмуляции

  4. Необходимо выбрать все категории и всю выбранную статистику переместить в окно Unselected. Проверив все категории, закройте окно «Включить/Отключить» для этой группы и перейдите к следующей группе.

  5. После проверки всех групп следует снять флажки для всех типов статистики. Закройте все окна включения/отключения, а затем в главном окне SCM выберите Config (Настройка) и Node Selection" Выбор узла). Будут выбраны узлы, где необходимо заново включить статистику.

  6. Сообщение Stats Enable следует отправить каждому целевому узлу. Сообщение Stats Enable может быть одновременно отправлено не более чем 10 узлам. Для этого необходимо выполнить следующее:

    1. Нажмите на правую стрелку рядом со словом Все и снимите отметку со всех узлов.

    2. Выделите в списке до 10 целевых узлов и переместите их в поле Selected, щелкнув стрелку вправо рядом со словом Selected.

    3. В поле Select Action (Выбор действия) установите флажок Send Stats Enable (Разрешить отправку статистики) и нажмите кнопку Apply (Применить).

    4. Следите за окном Outgoing Requests / Incoming Responses в главном окне SCM, что данные SNMP передаются на все узлы, и в ответ приходит подтверждение.

    5. Повторите это для следующих десяти узлов в списке.

    6. Когда все узлы будут обработаны, нажмите кнопку OK, чтобы закрыть окно.

  7. Подтвердите, что сбор статистики на узлах отключен, введя команду "dspstatparms" на каждый узел сети. Эта команда должна Набор show Stats: ОТКЛЮЧЕННЫЙ. Если это не тот случай, то сообщение Stats Enable нужно послать на включенные узлы по отдельности, как вы делали ранее. Если сбор статистических данных все еще показывают, как ВКЛЮЧЕНО, обратиться в техническую поддержку Cisco.

Задача приложения E 21: установите параметры

Ниже перечислены изменения, которые рекомендуется выполнить во время подготовки к обновлению программного обеспечения коммутатора. Все другие параметры должны быть в настройках по умолчанию для текущего операционного программного обеспечения. Исключение к этому было бы параметрами, которые, будучи определенным как являющийся отличающимся от настроек по умолчанию во время проверки работоспособности сети, как впоследствии оценивалось, не оказали влияние на обновление программного обеспечения коммутатора.

Примечание: Расположение следующих параметров в команде может зависеть от версии ПО.

IPX и IGX

Команда: cnfnodeparm

Параметр Значение для обновления
Обновление начальной задержки 10000
Обновление задержки на каждом узле 60000
Тестирование задержки обрыва соединения 60000
Время ожидания сети 10000
Число обычных периодов ожидания 50
Интервал между сбоями связи 30000
Коэффициент сбоев связи 6
Таймер резервного обновления 15
Обновления готовности на каждый проход 20
Таймер идентификатора шлюза 90
Таймер размещения GLCON 90
Задержка из-за сбоя связи 240

Команда: cnfdlparm

Параметр Значение для обновления
Session Timeout 30000
Запросить максимальное количество прыжков (применимо только к "loadrev") 4

Команда: cnffunc

Параметр Значение для обновления
Регистрация событий соединений в локальном журнале событий отключенный
Регистрация событий подключений в журнале событий CWM (SV+) отключенный

Команда: off1 / on1

Параметр Значение для обновления
Standby Terminal включенный
Линейная диаграмма отключенный
Modem Polling отключенный
Выборка состояний соединений отключенный

Команда: off2 / on2

Параметр Значение для обновления
Статистический пример (образец линейной статистики) отключенный
Статистическое оповещение отключенный
Средство проверки готовности задания отключенный
Монитор источников питания отключенный
Выборка портов FRP (выборка состояний портов) отключенный
Устойчивые обновления отключенный
Устойчивые обновления устройства тревожной сигнализации отключенный
Счетчики реального времени отключенный
Update Standby Stats отключенный
Идентификатор соединения отключенный

Команда: cnffstparm

Время измерения задержки RTD 255

Команда: cnftstparm

Отключить самопроверку и проверку в фоновом режиме для всех типов плат

BPX

Команда: cnfnodeparm

Параметр Значение для обновления
Обновление начальной задержки 10000
Обновление задержки на каждом узле 60000
Тестирование задержки обрыва соединения 60000
Время ожидания сети 10000
Число обычных периодов ожидания 50
Интервал между сбоями связи 30000
Коэффициент сбоев связи 6
Таймер резервного обновления 15
Таймер идентификатора шлюза 90
Таймер размещения GLCON 90
Задержка из-за сбоя связи 240

Команда: cnfdlparm

Параметр Значение для обновления
Session Timeout 30000
Запросить максимальное количество прыжков (применимо только к "loadrev") 4

Команда: cnffunc

Параметр Значение для обновления
Регистрация событий соединений в локальном журнале событий отключенный
Регистрация событий подключений в журнале событий CWM (SV+) отключенный

Команда: off1 / on1

Параметр Значение для обновления
Standby Terminal включенный
Линейная диаграмма отключенный
Выборка состояний соединений отключенный

Команда: off2 / on2

Параметр Значение для обновления
Статистический пример (образец линейной статистики) отключенный
Статистическое оповещение отключенный
Средство проверки готовности задания отключенный
Card Statistical Alms отключенный
Card Stat Sampling отключенный
Выборка портов ASI (Выборка состояний портов) отключенный
Устойчивые обновления отключенный
Устойчивые обновления устройства тревожной сигнализации отключенный
Счетчики реального времени отключенный
Update Standby Stats отключенный
Идентификатор соединения отключенный

Команда: cnftstparm

Отключить самопроверку и проверку в фоновом режиме для всех типов плат

Задача приложения F 27: Разблокируйте ожидающие процессоры

Эта процедура гарантирует, что сбой флэш-памяти в активном процессоре вызовет исключительно переключение платы процессора и не приведет к перестройке узла.

  1. Зарегистрируйтесь на каждом целевом узле и выполните следующую команду:

    loadrev x.x.x <имя_узла> (x.x.x — фиктивное имя версии)

    Узел объявит пересмотр x. x . x столь же недоступный как x. x . x является несуществующим выпуском. Для подтверждения введите команду "dsprevs".

  2. Отключите избыточность карты процессора путем установки параметра Настроенной избыточности CC на N. Для этого введите команду cnfnodeparm. Это приведет к началу процесса обновления резервного NPC/NPM/BCC.

    Примечание: Дождитесь перехода платы в состояние ожидания.

  3. Включите повторно избыточность платы процессора установив параметр CC Redundancy Cnfged в значение Y. Для этого введите команду cnfnodeparm.

  4. Активируйте процесс программирования ППЗУ следующей командой:

    loadrev <новая версия> <имя узла>

  5. Выполните команду dspdnld и проверьте, что Флэш начинает стирать.

Приложение G: Дополнительные сведения об интервале runrev

Примечание: Сбой для надлежащего мониторинга сети мог привести к выходу сети из строя.

Используйте интервал runrev, упомянутый в разделе основного документа выше по процедуре обновления. В больших сетях задача runrev могла занять много времени для завершения; поэтому, если действительно необходимый, уменьшите интервал runrev по умолчанию. Ниже некоторые рекомендации для регулировки этого интервала. Эти рекомендации должны использоваться осторожно, и сеть должна быть близко проверена.

Безопасный интервал между каждой задачей runrev зависит от того, является ли большая сеть национальной или международной и степень группообразования.

Одиночный поток каждая задача runrev, начинающаяся с 10-5 минут на runrev на самых больших узлах (самый большой узел определен самым большим количеством соединений на узле). Если выполнения обновления без признаков, вызывающий тревогу, интервал между задачами runrev может постепенно уменьшаться до всего интервалов одной минуты.

Контролируйте Загрузку ЦПУ, журнал, и dspprfhist команд использования обновлений, dsplog и dspqs. Монитор для признаков, вызывающий тревогу, таких как недостижимые сигналы тревоги к избыточному обмену сообщениями в сети. Если Время простоя, как показывают, слишком низко (меньше чем 10%) с dspprfhist, затем приостанавливает процесс обновления и исследует низкое Время простоя. Когда вы приостанавливаете обновление, то продолжаете обновление с большим интервалом между runrev, если Время простоя возвращается к обычным значениям.

Интервал меньше чем одна минута между runrev мешает контролировать dspprfhist, dspqs и dsplog. Например, каждый интервал dspprfhist составляет 20 секунд, и необходимо контролировать по крайней мере два интервала для наблюдения за тенденцией к понижению. Поэтому не выполняйте runrev с интервалом меньше чем одна минута.

Показ команды dsptech предоставляет краткий обзор для мониторинга коммутатора.

Как сообщили в процедуре обновления, завершите Cisco WAN Manager во время процесса обновления. Если вы не делаете этого, удостоверьтесь, что контролировали шлюзовый узел более строго.

Связанные обсуждения сообщества поддержки Cisco

В рамках сообщества поддержки Cisco можно задавать и отвечать на вопросы, обмениваться рекомендациями и совместно работать со своими коллегами.


Дополнительные сведения


Document ID: 10843