Contents

Introduction

背景信息

简称

Mop的工作流

UAS簇的单个故障案例1.恢复

状态检查

疏忽连接到Confd服务器，当您设法连接到UAS

从错误状态恢复UAS

案例2。全部三UAS (AutoVNF)在错误状态

用UAScheck.py脚本检查UAS健康

检查VMs的状态在OpenStack级别上的

检查Zookeeper视图

排除AutoVNF故障-进程和任务

多个UAS的修正在错误状态

Introduction

本文描述要求的步骤恢复超自动化服务(UAS)或AutoVNF在设置的ULTRAM的簇故障主机StarOS虚拟网络作用(VNFs)。

背景信息

ULTRAM是设计为了简化VNFs的配置的一个被预先包装的和被验证的虚拟化的便携信息包核心解决方案。

ULTRAM解决方案包括mentoned虚拟机类型：

- 自动IT

- 自动配置

- UAS或AutoVNF

- 网元管理(EM)

- 弹性服务控制器(ESC)

- 控制功能(CF)

- 会话功能(SF)

ULTRAM高级体系结构和介入的组件在此镜像表示：

UltraM体系结构

本文供熟悉Cisco ULTRAM平台的Cisco人员使用。

Note:超M 5.1.x版本考虑为了定义在本文的程序。

简称

VNF

虚拟网络功能

CF

控制功能

SF

服务功能

ESC

有弹性服务控制器

MOP

程序方法

OSD

对象存储磁盘

HDD

硬盘驱动器

SSD

固体驱动

精力

虚拟基础设施管理器

VM

虚拟机

EM

网元管理

UAS

超自动化服务

UUID

通用唯一标识符

Mop的工作流

UAS簇的单个故障案例1.恢复

状态检查

1. ULTRAM管理器执行ULTRAM节点的健康检查。 连接对报告/var/log/cisco/ultram-health/目录和grep UAS报告的。

- [stack@pod1-ospd ultram-health]$ more ultram_health_uas.report

---------------------------------------------------------------------------------------------------------

VNF ID           | UAS Node | Status   | Error Info, if any

---------------------------------------------------------------------------------------------------------

172.21.201.122   | autovnf  | XXX      | AutoVNF Cluster FAILED : Node: 172.16.180.12, Status: error, Role: NA

172.21.201.122   | vnf-em   | :-)      |

172.21.201.122   | esc      | :-)      |

---------------------------------------------------------------------------------------------------------

2. UAS簇的期望的状态将是如表示，其中所有三UAS运行。

[stack@pod1-ospd ~]# ssh ubuntu@10.1.1.1

password:

ubuntu@autovnf1-uas:~$ ncs_cli -u admin -C

autovnf1-uas-0#show uas

uas version 1.0.1-1

uas state ha-active

uas ha-vip 172.16.181.101

INSTANCE IP STATE ROLE

------------------------------------

172.16.180.3 alive CONFD-MASTER

172.16.180.7 alive CONFD-SLAVE

172.16.180.12 alive NA

疏忽连接到Confd服务器，当您设法连接到UAS

1. 有时，您不能连接到confd服务器。

ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ confd_cli -u admin -C

Failed to connect to server

2. 检查UASconfd进程的状况。

ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ sudo initctl status uas-confd

uas-confd stop/waiting

3. 如果confd服务器不运行，请重新启动服务。

ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ sudo initctl start uas-confd

uas-confd start/running, process 7970

ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ confd_cli -u admin -C

Welcome to the ConfD CLI

admin connected from 172.16.180.9 using ssh on autovnf1-uas-0

从错误状态恢复UAS

1. 在一AutoVNF的情况下故障在簇中的， UAS簇在错误状态显示一UAS。

[stack@pod1-ospd ~]# ssh ubuntu@10.1.1.1

password:

ubuntu@autovnf1-uas:~$ ncs_cli -u admin -C

autovnf1-uas-0#show uas

uas version 1.0.1-1

uas state ha-active

uas ha-vip 172.16.181.101

INSTANCE IP STATE ROLE

------------------------------------

172.16.180.3 alive CONFD-MASTER

172.16.180.7 alive CONFD-SLAVE

172.16.180.12 alive error

2. 从在OSPD服务器的/home/stack复制corerc文件(您的VNF rc文件)到AutoDeploy并且来源它。

3. 用使用UAScheck.py脚本检查您的UAS/AutoVNF的状态。autovnf1is AutoVNF名字。

ubuntu@auto-deploy-iso-590-uas-0:~$ /opt/cisco/usp/apps/auto-it/scripts/uas-check.py auto-vnf autovnf1

2017-11-17 14:52:20,186 - INFO: Check of AutoVNF cluster started

2017-11-17 14:52:22,172 - INFO: Found 2 AutoVNF instance(s), 3 expected

2017-11-17 14:52:22,172 - INFO: Instance 'autovnf1-uas-2' is missing

2017-11-17 14:52:22,172 - INFO: Check completed, AutoVNF cluster has recoverable errors

4. 恢复UAS与使用UAScheck.py脚本并且添加--修正关键字。

ubuntu@auto-deploy-iso-590-uas-0:~$ /opt/cisco/usp/apps/auto-it/scripts/uas-check.py auto-vnf autovnf1 --fix

2017-11-17 14:52:27,493 - INFO: Check of AutoVNF cluster started

2017-11-17 14:52:29,215 - INFO: Found 2 AutoVNF instance(s), 3 expected

2017-11-17 14:52:29,215 - INFO: Instance 'autovnf1-uas-2' is missing

2017-11-17 14:52:29,215 - INFO: Check completed, AutoVNF cluster has recoverable errors

2017-11-17 14:52:29,386 - INFO: Creating instance 'autovnf1-uas-2' and attaching volume 'autovnf1-uas-vol-2'

2017-11-17 14:52:47,600 - INFO: Created instance 'autovnf1-uas-2'

5. 您看到新建立的UAS作为簇的运行和部分。

autovnf1-uas-0#show uas

uas version 1.0.1-1

uas state ha-active

uas ha-vip 172.16.181.101

INSTANCE IP STATE ROLE

------------------------------------

172.16.180.3 alive CONFD-MASTER

172.16.180.7 alive CONFD-SLAVE

172.16.180.13 alive NA

案例2。全部三UAS (AutoVNF)在错误状态

1. ULTRAM管理器执行ULTRAM节点的健康检查。

[stack@pod1-ospd ultram-health]$ more ultram_health_uas.report

---------------------------------------------------------------------------------------------------------

VNF ID           | UAS Node | Status   | Error Info, if any

---------------------------------------------------------------------------------------------------------

172.21.201.122   | autovnf  | XXX      | AutoVNF Cluster FAILED : Node: 172.16.180.12, Status: error, Role: NA,Node: 172.16.180.9, Status: error, Role: NA,Node: 172.16.180.10, Status: error, Role: NA

172.21.201.122   | vnf-em   | :-)      |

172.21.201.122   | esc      | :-)      |

---------------------------------------------------------------------------------------------------------

2. 如被观察在输出中， ULTRAM管理器报告有AutoVNF的一个故障，并且表示，簇的所有三UAS在错误状态。

用UAScheck.py脚本检查UAS健康

1. 自动配置和检查的洛金，如果能访问AutoVNF UAS和得到状态。

ubuntu@auto-deploy-iso-590-uas-0:~$ /opt/cisco/usp/apps/auto-it/scripts$ ./uas-check.py auto-vnf autovnf1 --os-tenant-name core

2017-12-05 11:41:09,834 - INFO: Check of AutoVNF cluster started

2017-12-05 11:41:11,342 - INFO: Found 3 ACTIVE AutoVNF instances

2017-12-05 11:41:11,343 - INFO: Check completed, AutoVNF cluster is fine

2. 从请自动配置，安全壳SSH对AutoVNF节点并且加入confd模式。检查状态与显示uas。

ubuntu@auto-deploy-iso-590-uas-0:~$ ssh ubuntu@172.16.180.9

password:

autovnf1-uas-1#show uas

uas version 1.0.1-1

uas state ha-active

uas ha-vip 172.16.181.101

INSTANCE IP    STATE  ROLE

----------------------------

172.16.180.9   error  NA

172.16.180.10  error  NA

172.16.180.12  error  NA

3. 推荐检查在所有三UAS节点的状态。

检查VMs的状态在OpenStack级别上的

检查AutoVNF VMs的状态在新星列表的。如果必须，请进行新星开始为了开始切断VM。

[stack@pod1-ospd ultram-health]$ nova list | grep autovnf

| 83870eed-b4e9-47b3-976d-cc3eddecf866 | autovnf1-uas-0                                                 | ACTIVE | -          | Running     | orchestr=172.16.180.12; mgmt=172.16.181.6

| 201d9ce5-538c-42f7-a46c-fc8cdef1eabf | autovnf1-uas-1                                                 | ACTIVE | -          | Running     | orchestr=172.16.180.10; mgmt=172.16.181.5

| 6c6d25cd-21b6-42b9-87ff-286220faa2ff | autovnf1-uas-2                                                 | ACTIVE | -          | Running     | orchestr=172.16.180.9; mgmt=172.16.181.13

检查Zookeeper视图

1. 检查zookeeper的状态为了验证模式作为领导。

ubuntu@autovnf1-uas-0:/var/log/upstart$ /opt/cisco/usp/packages/zookeeper/current/bin/zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /opt/cisco/usp/packages/zookeeper/current/bin/../conf/zoo.cfg

Mode: leader

2. Zookeeper应该通常是UP。

排除AutoVNF故障-进程和任务

1. 识别节点的错误状态的原因。为了使运行的AutoVNF，有一定是正在运行的如显示的一组流程：

AutoVNF

uws-ae

uas-confd

cluster_manager

uas_manager

ubuntu@autovnf1-uas-0:~$ sudo initctl list  | grep uas

uas-confd stop/waiting ====> this is not good, the uas-confd process is not running

uas_manager start/running, process 2143

root@autovnf1-uas-1:/home/ubuntu# sudo initctl list

....

uas-confd start/running, process 1780

....

autovnf start/running, process 1908

....

....

uws-ae start/running, process 1909

....

....

cluster_manager start/running, process 1827

....

.....

uas_manager start/running, process 1697

......

......

2. 验证这些Python进程运行：

uas_manager.py

cluster_manager.py

usp_autovnf.py

root@autovnf1-uas-1:/home/ubuntu# ps -aef | grep pyth

root      1819  1697  0 Jun13 ?        00:00:50 python /opt/cisco/usp/uas/manager/uas_manager.py

root      1858  1827  0 Jun13 ?        00:09:21 python /opt/cisco/usp/uas/manager/cluster_manager.py

root      1908     1  0 Jun13 ?        00:01:00 python /opt/cisco/usp/uas/autovnf/usp_autovnf.py

root     25662 24750  0 13:16 pts/7    00:00:00 grep --color=auto pyth

3. 如果其中任一个期望的进程不是开始/运行状态，请重新启动进程并且检查状态。如果它在错误状态仍然显示然后遵从在下个部分提及的程序为了调整此问题。

多个UAS的修正在错误状态

1.新星--在您进行对下UAS前， VM>的硬重新启动<name从OSPD的，为此VM恢复产生一些时间。执行它在所有UAS VMs。

或

2.Log对其中每一辆UAS和使用sudo重新启动。 等待恢复然后进行对其他UAS VMs。

对于处理日志，请检查：

/var/log/upstart/autovnf.log

show logs xxx | display xml

这将调整问题并且从错误状态恢复UAS。

1. 验证同样与使用ultram_health_check报告。

[stack@pod1-ospd ultram-health]$ more ultram_health_uas.report

---------------------------------------------------------------------------------------------------------

VNF ID           | UAS Node | Status   | Error Info, if any

---------------------------------------------------------------------------------------------------------

172.21.201.122   | autovnf  | :-)      |

172.21.201.122   | vnf-em   | :-)      |

172.21.201.122   | esc      | :-)      |

---------------------------------------------------------------------------------------------------------