eStreamer 이해 및 Ncore 통합 문제 해결

다운로드 옵션

PDF (1.5 MB)
다양한 디바이스에서 Adobe Reader로 보기
ePub (1.4 MB)
iPhone, iPad, Android, Sony Reader 또는 Windows Phone의 다양한 앱에서 보기
Mobi (Kindle) (1.1 MB)
Kindle 디바이스에서 보기 또는 다양한 디바이스의 Kindle 앱에서 보기

업데이트:2020년 6월 12일

문서 ID:215631

편견 없는 언어

본 제품에 대한 문서 세트는 편견 없는 언어를 사용하기 위해 노력합니다. 본 설명서 세트의 목적상, 편견 없는 언어는 나이, 장애, 성별, 인종 정체성, 민족 정체성, 성적 지향성, 사회 경제적 지위 및 교차성에 기초한 차별을 의미하지 않는 언어로 정의됩니다. 제품 소프트웨어의 사용자 인터페이스에서 하드코딩된 언어, RFP 설명서에 기초한 언어 또는 참조된 서드파티 제품에서 사용하는 언어로 인해 설명서에 예외가 있을 수 있습니다. 시스코에서 어떤 방식으로 포용적인 언어를 사용하고 있는지 자세히 알아보세요.

이 번역에 관하여

Cisco는 전 세계 사용자에게 다양한 언어로 지원 콘텐츠를 제공하기 위해 기계 번역 기술과 수작업 번역을 병행하여 이 문서를 번역했습니다. 아무리 품질이 높은 기계 번역이라도 전문 번역가의 번역 결과물만큼 정확하지는 않습니다. Cisco Systems, Inc.는 이 같은 번역에 대해 어떠한 책임도 지지 않으며 항상 원본 영문 문서(링크 제공됨)를 참조할 것을 권장합니다.

소개

이 문서에서는 Cisco Event Streamer(eStreamer라고도 함) Ncore CLI 클라이언트에 대해 설명합니다.특히, 이 작업은 설명하며 문제 해결 정보를 제공합니다.또한 Cisco TAC(Technical Assistance Center)에서 자주 제기되는 이슈와 FAQ(자주 묻는 질문)도 다룹니다.

기고자: David Torres Rivas, Mikis Zafeiroudis, Cisco TAC 엔지니어

개요

eCore는 FMC(eStreamer server)에서 가능한 모든 이벤트를 요청하고, 이진 콘텐츠를 구문 분석하고, 이벤트를 다양한 형식으로 출력하여 다른 SIEM(Security Information and Event Management) 도구를 지원하는 다목적 클라이언트입니다.

eStreamer 연결 설정

클라이언트(Ncore)는 SSL 핸드셰이크가 수행되는 FMC TCP 포트 8302에 대한 연결을 시작합니다.

1: 11:34:02.901091 192.168.27.100.46538 > 10.48.26.49.8302: S 1607291631:1607291631(0) win 29200 <mss 1460,sackOK,timestamp 2350959 0,nop,wscale 10>
2: 11:34:02.902220 10.48.26.49.8302 > 192.168.27.100.46538: S 2529774236:2529774236(0) ack 1607291632 win 28960 <mss 1380,sackOK,timestamp 940036669 2350959,nop,wscale 7>
3: 11:34:02.902739 192.168.27.100.46538 > 10.48.26.49.8302: . ack 2529774237 win 29 <nop,nop,timestamp 2350959 940036669>

FMC는 연결을 수락하고, 동일한 포트에서 SSL 핸드셰이크를 수행하고, 클라이언트 CN(Common Name)을 확인합니다.

Mar  2 11:45:06 FMC SF-IMS[22601]: [22601] Event Streamer:ConnectionHandler [INFO] Accepted IPv4 connection from 10.48.26.47:46538/tcp
Mar  2 11:45:06 FMC SF-IMS[22601]: [22601] Event Streamer:ConnectionHandler [INFO] Added 10.48.26.47 to host table
Mar  2 11:45:06 FMC SF-IMS[22601]: [22601] Event Streamer:ConnectionHandler [INFO] Added 10.48.26.47(23935) to host table
Mar  2 11:45:06 FMC SF-IMS[23935]: [23935] EventStreamer child(10.48.26.47):ConnectionHandler [INFO] Resolved CN 10.48.26.47 to 10.48.26.47
Mar  2 11:45:06 FMC SF-IMS[23935]: [23935] EventStreamer child(10.48.26.47):ConnectionHandler [INFO] Matched Certificate CN:10.48.26.47 to 10.48.26.47 (IPv4)
Mar  2 11:45:06 FMC SF-IMS[23935]: [23935] EventStreamer child(10.48.26.47):sfestreamer [INFO] Got EVENT_STREAM_REQUEST length 8
Mar  2 11:45:06 FMC SF-IMS[23935]: [23935] EventStreamer child(10.48.26.47):sfestreamer [INFO] Publishing service INFO total data size 48
Mar  2 11:45:06 FMC SF-IMS[23935]: [23935] EventStreamer child(10.48.26.47):sfestreamer [INFO] Publishing service id:5001 - length size 8
Mar  2 11:45:06 FMC SF-IMS[23935]: [23935] EventStreamer child(10.48.26.47):sfestreamer [INFO] Publishing service id:5000 - length size 8
Mar  2 11:45:06 FMC SF-IMS[23935]: [23935] EventStreamer child(10.48.26.47):sfestreamer [INFO] Publishing service id:6667 - length size 8

그런 다음 eStreamer 클라이언트가 구성 및 책갈피 파일을 확인하여 요청할 이벤트와 시작 시간을 결정합니다.

2020-03-02 07:18:11,500 Connection   INFO     Connecting to 10.48.26.49:8302
2020-03-02 07:18:11,500 Connection   INFO     Using TLS v1.2
2020-03-02 07:18:11,500 Monitor      INFO     Starting Monitor.
2020-03-02 07:18:11,500 Monitor      INFO     Starting. 0 handled; average rate 0 ev/sec;
2020-03-02 07:18:11,501 Writer       INFO     Starting process.
2020-03-02 07:18:11,506 Transformer  INFO     Starting process.
2020-03-02 07:18:11,985 Bookmark     INFO     Bookmark file /root/eStreamer-eNcore/10.48.26.49-8302_bookmark.dat does not exist.
2020-03-02 07:18:11,986 Settings     INFO     Timestamp: Start = 2 (Bookmark = 0)
2020-03-02 07:18:11,986 Receiver     INFO     EventStreamRequestMessage: 00010002000000080000000048900061
2020-03-02 07:18:11,986 SubscriberParser INFO     Starting process.
2020-03-02 07:18:11,996 Bookmark     INFO     Bookmark file /root/eStreamer-eNcore/10.48.26.49-8302_bookmark.dat does not exist.
2020-03-02 07:18:11,996 Settings     INFO     Timestamp: Start = 2 (Bookmark = 0)
2020-03-02 07:18:11,997 Receiver     INFO     StreamingRequestMessage: 000108010000003800001a0b0000003848900061000000000009000c000400150009001f000b003d000e00470004005b000700650006006f0002008300000000

EventStreamRequest는 FMC에서 상호 연결될 수 있습니다.

Mar  2 12:29:16 FMC SF-IMS[6671]: [6671] EventStreamer child(10.48.26.47):sfestreamer [INFO] EventStream Request (0x48900061): Since 0 w/ NS Events w/ NS 6.0 Events 
w/ Packets w/ Extra IDS Event data w/ Metadata v4 w/ RUA 5.2 Events w/ Impact Alerts w/ 5.3 Impact Alerts w/ Impact Flags w/ RNA 5.3 Events w/ RNA 6.0 Flow w/ Policy 5.4 Events 
w/ FireAMP 6.0 Events w/ Filelog 6.0 Events w/ Send archive timestamp  w/ Send Detail Request

EventStreamRequest는 요청 플래그에 설명된 요청 플래그의 16진수 표현이며 클라이언트가 필요한 데이터를 요청했는지 확인하기 위해 이진으로 변환해야 합니다.예:

참고:일부 플래그 비트는 확장 요청이 시작된 경우 제공된 정보를 변경할 수 있습니다.

요청 비트를 기반으로 FMC는 데이터를 eStreamer 클라이언트로 푸시합니다.

누가 eStreamer 연결 및 데이터 전송을 시작합니까?

eStreamer 클라이언트입니다.특히, 클라이언트는 TCP 연결(3방향 핸드셰이크)을 설정한 다음 클라이언트(상호) 인증과 SSL 협상이 이루어집니다.마지막으로, 설정된 터널을 통해 FMC는 전송할 데이터가 있을 때마다 데이터를 전송합니다.

root@kali:~/eStreamer-eNcore# ./encore.sh foreground
2020-06-03 20:50:53,365 Monitor      INFO     Running. 100 handled; average rate 0.42 ev/sec;
2020-06-03 20:52:53,488 Monitor      INFO     Running. 100 handled; average rate 0.28 ev/sec;
2020-06-03 20:54:53,601 Monitor      INFO     Running. 100 handled; average rate 0.21 ev/sec;
2020-06-03 20:56:53,725 Monitor      INFO     Running. 100 handled; average rate 0.17 ev/sec;

요약:

클라이언트는 데이터를 요청하기 위해 SSL 터널을 시작합니다(pull).
터널이 설정되면 터널이 UP에 유지되고 FMC는 관리되는 디바이스에서 데이터를 가져올 때마다 데이터(예: 연결 이벤트)를 푸시합니다.

이 예에서 IP 10.62.148.41은 eStreamer 클라이언트(Ncore)이고 IP 10.62.148.75은 FMC입니다.

구성

Ncore CLI 클라이언트에 대한 자세한 내용은 eStreamer Ncore CLI Operations Guide v3.5를 참조하십시오.

eStreamer 애플리케이션에 대한 세부 사항과 FMC 컨피그레이션 단계는 Event Streamer Integration Guide에서 다룹니다.

estreamer.conf 파일 조정

이 섹션에서는 솔루션이 제대로 작동하기 위해 estreamer.conf에서 수정할 수 있거나 수정해야 할 사항에 대해 설명합니다.estreamer.conf 파일은 path/eStreamer-Ncore 디렉토리 내에 있습니다.다음은 파일 내용의 예입니다.

root@kali:~/eStreamer-eNcore# cat estreamer.conf
{
    "connectTimeout": 10,
    "enabled": true,
    "handler": {
        "output@comment": "If you disable all outputters it behaves as a sink",
        "outputters": [
            {
                "adapter": "json",
                "enabled": true,
                "stream": {
                    "options": {
                        "maxLogs": 10000,
                        "rotate": true
                    },
                    "uri": "relfile:///data/json/encore.{0}.json"
                }
            }
        ],
        "records": {
            "connections": true,
            "core": true,
            "excl@comment": [
                "These records will be excluded regardless of above (overrides 'include')",
                "e.g. to exclude flow and IPS events use [ 71, 400 ]"
            ],
            "exclude": [],
            "inc@comment": "These records will be included regardless of above",
            "include": [],
            "intrusion": true,
            "metadata": true,
            "packets": true,
            "rna": true,
            "rua": true
        }
    },
    "logging": {
        "filepath": "estreamer.log",
        "format": "%(asctime)s %(name)-12s %(levelname)-8s %(message)s",
        "lev@comment": "Levels include FATAL, ERROR, WARNING, INFO, DEBUG, VERBOSE and TRACE",
        "level": "INFO",
        "stdOut": true
    },
    "monitor": {
        "bookmark": false,
        "handled": true,
        "period": 120,
        "subscribed": true,
        "velocity": false
    },
    "responseTimeout": 2,
    "star@comment": "0 for genesis, 1 for now, 2 for bookmark",
    "start": 2,
    "subscription": {
        "records": {
            "@comment": [
                "Just because we subscribe doesn't mean the server is sending. Nor does it mean",
                "we are writing the records either. See handler.records[]"
            ],
            "archiveTimestamps": true,
            "eventExtraData": true,
            "extended": true,
            "impactEventAlerts": true,
            "intrusion": true,
            "metadata": true,
            "packetData": true
        },
        "servers": [
            {
                "host": "10.62.148.75",
                "pkcs12Filepath": "client.pkcs12",
                "port": 8302,
                "tls@comment": "Valid values are 1.0 and 1.2",
                "tlsVersion": 1.2
            }
        ]
    },
    "workerProcesses": 4

서브스크립션 섹션

FMC(Event Streamer Request to the server)를 수정하려면 eStreamer.conf 서브스크립션 섹션을 수정합니다.예를 들어 확장 요청을 false로 설정하면 FMC에서 EventStream Request가 변경됩니다.

"subscription": {
        "records": {
            "@comment": [
                "Just because we subscribe doesn't mean the server is sending. Nor does it mean",
                "we are writing the records either. See handler.records[]"
            ],
            "archiveTimestamps": true,
            "connection": true,
            "eventExtraData": true,
            "extended": false,
            "impactEventAlerts": true,
            "intrusion": true,
            "metadata": true,
            "packetData": true
        },

확장 요청 = false:

Jun 3 13:48:24 firepower SF-IMS[16084]: [16084] EventStreamer child(10.48.26.47):sfestreamer [INFO] 
EventStream Request (0x08900061): Since 4294967295 w/ NS Events w/ Packets w/ Extra IDS Event data w/ 
Metadata v4 w/ Impact Alerts w/ Impact Flags w/ Send archive timestamp

확장 요청 = true:

Jun 3 13:50:52 firepower SF-IMS[17167]: [17167] EventStreamer child(10.48.26.47):sfestreamer [INFO] 
EventStream Request (0x48900061): Since 1590497346 w/ NS Events w/ NS 6.0 Events w/ Packets w/ Extra IDS Event data w/ Metadata
 v4 w/ RUA 5.2 Events w/ Impact Alerts w/ 5.3 Impact Alerts w/ Impact Flags w/ RNA 5.3 Events w/ RNA 6.0 Flow w/ Policy 5.4 Events
v w/ FireAMP 6.0 Events w/ Filelog 6.0 Events w/ Send archive timestamp w/ Send Detail Request

로깅 섹션

Ncore CLI에서 디버그를 활성화하려면 estreamer.conf 파일을 편집하고 로그 레벨을 변경합니다.

 "logging": {
        "filepath": "estreamer.log", 
        "format": "%(asctime)s %(name)-12s %(levelname)-8s %(message)s", 
        "lev@comment": "Levels include FATAL, ERROR, WARNING, INFO, DEBUG, VERBOSE and TRACE", 
        "level": "DEBUG", 
        "stdOut": true
    },

모니터 섹션

처리된 초당 이벤트 수 및 현재 북마크를 보려면 estreamer.conf에서 모니터 섹션을 편집합니다.

  "monitor": {
    "bookmark": true,        #If true, adds date/timestamp (see above)
    "handled": true,          #Number of records processed
    "period": 120,            #How often (in seconds) monitor writes to the log
    "subscribed": true,       #Number of records received
    "velocity": false         #A measure of whether eNcore is keeping up (>=1 is good)
  },

기타 관련 최상위 키:

"connectTimeout": 10,     <- The number of seconds to wait for a response when establishing a connection to the FMC.

"workerProcesses": 4,     <- The number of processes that eNcore spawns.

이 값은 2-12에서 설정할 수 있습니다. 더 많은 프로세스가 성능을 향상하기 위해 사용되지만 각 프로세스에 오버헤드 비용이 발생합니다.그 결과 호스트 시스템의 처리 기능과 "프로세스 수"를 적절히 조합하여 최적의 성능을 얻을 수 있습니다.사용 가능한 최상의 지침은 다음과 같습니다.

2코어:"작업자 프로세스":4
4개 이상의 코어:"작업자 프로세스":12

문제 해결

일반적인 eStreamer 문제 해결 절차는 이 문서 FireSIGHT System과 SIEM(eStreamer Client) 간 문제 해결 을 참조하십시오.

테스트를 위해 Ncore를 포그라운드 프로세스로 활성화하고 FMC와의 통신을 확인할 수 있습니다.

root@kali:~/eStreamer-eNcore# ./encore.sh foreground
2020-06-04 11:48:00,048 Controller   INFO     eNcore version: 3.5.4
2020-06-04 11:48:00,049 Controller   INFO     Python version: 2.7.13 (default, Jan 19 2017, 14:48:08) \n[GCC 6.3.0 20170118]
2020-06-04 11:48:00,051 Controller   INFO     Platform version: Linux-4.13.0-kali1-amd64-x86_64-with-Kali-kali-rolling-kali-rolling
2020-06-04 11:48:00,052 Controller   INFO     Starting client (pid=12374).
2020-06-04 11:48:00,052 Controller   INFO     Sha256: 77ac7e72d0b96e0a4b9c1c4f9a16c2de0b2b5ccf2929dd2857cf94ed96b295e3
2020-06-04 11:48:00,052 Controller   INFO     Processes: 4
2020-06-04 11:48:00,053 Controller   INFO     Settings:
 …
2020-06-04 11:48:00,053 Diagnostics  INFO     Check certificate
2020-06-04 11:48:00,054 Diagnostics  INFO     Creating connection
2020-06-04 11:48:00,054 Connection   INFO     Connecting to 10.62.148.75:8302
2020-06-04 11:48:00,054 Connection   INFO     Using TLS v1.2
2020-06-04 11:48:00,136 Diagnostics  INFO     Creating request message
2020-06-04 11:48:00,137 Diagnostics  INFO     Request message=0001000200000008ffffffff48900061
2020-06-04 11:48:00,137 Diagnostics  INFO     Sending request message
2020-06-04 11:48:00,137 Diagnostics  INFO     Receiving response message
2020-06-04 11:48:00,229 Diagnostics  INFO     Response message=KGRwMApTJ2xlbmd0aCcKcDEKSTQ4CnNTJ3ZlcnNpb24nCnAyCkkxCnNTJ2RhdGEnCnAzClMnXHgwMFx4MDBceDEzXHg4OVx4MDBceDAwXHgwMFx4MDhceDAwXHgwMFx4MDBceDAwXHgwMFx4MDBceDAwXHgwMFx4MDBceDAwXHgxM1x4ODhceDAwXHgwMFx4MDBceDA4XHgwMFx4MDBceDAwXHgwMFx4MDBceDAwXHgwMFx4MDBceDAwXHgwMFx4MWFceDBiXHgwMFx4MDBceDAwXHgwOFx4MDBceDAwXHgwMFx4MDBceDAwXHgwMFx4MDBceDAwJwpwNApzUydtZXNzYWdlVHlwZScKcDUKSTIwNTEKcy4=
2020-06-04 11:48:00,229 Diagnostics  INFO     Streaming info response
2020-06-04 11:48:00,230 Diagnostics  INFO     Connection successful
2020-06-04 11:48:00,230 Monitor      INFO     Starting Monitor.
2020-06-04 11:48:00,236 Decorator    INFO     Starting process.
2020-06-04 11:48:00,236 Transformer  INFO     Starting process.
2020-06-04 11:48:00,237 Connection   INFO     Connecting to 10.62.148.75:8302
2020-06-04 11:48:00,237 Connection   INFO     Using TLS v1.2
2020-06-04 11:48:00,238 Writer       INFO     Starting process.
2020-06-04 11:48:00,639 Bookmark     INFO     Opening bookmark file /root/eStreamer-eNcore/10.62.148.75-8302_bookmark.dat.
2020-06-04 11:48:00,640 Settings     INFO     Timestamp: Start = 2 (Bookmark = 1591210934)
2020-06-04 11:48:00,640 Receiver     INFO     EventStreamRequestMessage: 00010002000000085ed7f3b648900061
2020-06-04 11:48:00,640 SubscriberParser INFO     Starting process.
2020-06-04 11:48:00,640 Bookmark     INFO     Opening bookmark file /root/eStreamer-eNcore/10.62.148.75-8302_bookmark.dat.
2020-06-04 11:48:00,646 Bookmark     INFO     Opening bookmark file /root/eStreamer-eNcore/10.62.148.75-8302_bookmark.dat.
2020-06-04 11:48:00,646 Settings     INFO     Timestamp: Start = 2 (Bookmark = 1591210934)
2020-06-04 11:48:00,647 Receiver     INFO     StreamingRequestMessage: 000108010000003800001a0b00000038489000615ed7f3b60009000c000400150009001f000b003d000e00470004005b000700650006006f0002008300000000
2020-06-04 11:48:00,653 Monitor      INFO     Running. 0 handled; average rate 1.2 ev/sec;

동시에 FMC에서는 Ncore Streamer 클라이언트가 연결을 설정할 때 이러한 로그와 같은 로그를 볼 수 있습니다.FMC 백엔드 표준 시간대는 항상 UTC입니다.

root@FMC2000-2:~# tail -f /var/log/messages
Jun  4 09:48:00 FMC2000-2 SF-IMS[4135]: [4135] Event Streamer:ConnectionHandler [INFO] Accepted IPv4 connection from 10.62.148.41:36528/tcp
Jun  4 09:48:00 FMC2000-2 SF-IMS[4135]: [4135] Event Streamer:ConnectionHandler [INFO] Added 10.62.148.41(8512) to host table
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):SFUtil [INFO] Found IPv4 address 10.62.148.41 for ksec-sfvm-win7-3.cisco.com
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] Resolved CN ksec-sfvm-win7-3.cisco.com to 10.62.148.41
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] Matched Certificate CN:ksec-sfvm-win7-3.cisco.com to 10.62.148.41 (IPv4)
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):sfestreamer [INFO] Got EVENT_STREAM_REQUEST length 8
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):sfestreamer [INFO] Publishing service INFO total data size 48
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):sfestreamer [INFO] Publishing service id:5001 - length size 8
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):sfestreamer [INFO] Publishing service id:5000 - length size 8
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):sfestreamer [INFO] Publishing service id:6667 - length size 8
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):sfestreamer [INFO] Got UEC_STREAM_REQUEST length 56
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] requested service [6667] timestamp [1591210934]
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] Got Event type 12, version 9
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] Got Event type 21, version 4
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] Got Event type 31, version 9
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] Got Event type 61, version 11
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] Got Event type 71, version 14
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] Got Event type 91, version 4
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] Got Event type 101, version 7
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] Got Event type 111, version 6
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] Got Event type 131, version 2
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):sfestreamer [INFO] EventStream Request (0x48900061): Since 1591210934 w/ NS Events 
w/ NS 6.0 Events w/ Packets w/ Extra IDS Event data w/ Metadata v4 w/ RUA 5.2 Events w/ Impact Alerts w/ 5.3 Impact Alerts w/ Impact Flags w/ RNA 5.3 Events w/ RNA 6.0 
Flow w/ Policy 5.4 Events w/ FireAMP 6.0 Events w/ Filelog 6.0 Events w/ Send archive timestamp w/ Send Detail Request
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):ConnectionHandler [INFO] creating iterator for service [6667] prefix [unified2.] timestamp [1591210934]
Jun  4 09:48:00 FMC2000-2 SF-IMS[8512]: [8512] EventStreamer child(ksec-sfvm-win7-3.cisco.com):Unified2Iterator [INFO] Opened /var/sf/archive/netmap_2/unified2.1591210800
Jun  4 09:48:02 FMC2000-2 SF-IMS[4135]: [4135] Event Streamer:ConnectionHandler [INFO] Child with pid 8510 exited with status 5120
Jun  4 09:48:02 FMC2000-2 SF-IMS[4135]: [4135] Event Streamer:ConnectionHandler [INFO] Removed host entry for pid: 8510
Jun  4 09:48:04 FMC2000-2 SF-IMS[22296]: [25092] CloudAgent:url_license [INFO] Peer with active URLFiltering: 310f4c00-a415-11ea-bf5b-a2d6028849fe
Jun  4 09:48:04 FMC2000-2 SF-IMS[22296]: [25092] CloudAgent:url_license [INFO] Peer with active URLFiltering: d637b6f0-a414-11ea-ad97-cc17b6ea4c03
Jun  4 09:48:04 FMC2000-2 SF-IMS[22296]: [25092] CloudAgent:url_license [INFO] Peer with active URLFiltering: 873709b8-78b6-11ea-ae87-b82f93835447
Jun  4 09:48:04 FMC2000-2 SF-IMS[22296]: [25092] CloudAgent:url_license [INFO] Peer with active URLFiltering: c7c0217c-78b6-11ea-a719-b7f0a277eb86

Cisco TAC(Technical Assistance Center)에 문의하기 전에 수집할 항목

Cisco TAC에 문의하기 전에 이러한 항목을 수집하는 것이 좋습니다.

eStreamer Ncore 버전
Python 버전
호스트 OS 버전
FMC에 대한 이벤트가 보이나요?이벤트 + FMC eStreamer 구성의 스크린샷 공유
Ncore CLI에서 디버그 활성화('로깅 섹션'에 설명)
FMC에서 문제 해결 파일 생성
Ncore에서 다음 파일을 제공합니다.
estreamer.conf
estreamer.log

일반적인 문제

TCP 포트 8302에 연결 없음

eStreamer 클라이언트에서 FMC 포트 8302로 텔넷하고 연결이 설정되었는지 확인합니다.

또한 Ncore 테스트 옵션을 사용하여 연결을 테스트할 수 있습니다.

root@kali:~/eStreamer-eNcore# ./encore.sh test
2020-05-28T16:02:56.931919 Diagnostics  INFO    Checking that configFilepath (estreamer.conf) exists
2020-05-28 16:02:56,935 Diagnostics  INFO     Check certificate
2020-05-28 16:02:56,936 Diagnostics  INFO     Creating connection
2020-05-28 16:02:56,936 Connection   INFO     Connecting to 10.62.148.75:8302
2020-05-28 16:02:56,936 Connection   INFO     Using TLS v1.2
2020-05-28 16:02:56,946 Diagnostics  INFO     Creating request message
2020-05-28 16:02:56,946 Diagnostics  INFO     Request message=0001000200000008ffffffff48900061
2020-05-28 16:02:56,946 Diagnostics  INFO     Sending request message
2020-05-28 16:02:56,946 Diagnostics  INFO     Receiving response message
2020-05-28 16:02:56,957 Diagnostics  INFO     Response message=KGRwMApTJ2xlbmd0aCcKcDEKSTQ4CnNTJ3ZlcnNpb24nCnAyCkkxCnNTJ2RhdGEnCnAzClMnXHgwMFx4MDBceDEzXHg4OVx4MDBceDAwXHgwMFx4MDhceDAwXHgwMFx4MDBceDAwXHgwMFx4MDBceDAwXHgwMFx4MDBceDAwXHgxM1x4ODhceDAwXHgwMFx4MDBceDA4XHgwMFx4MDBceDAwXHgwMFx4MDBceDAwXHgwMFx4MDBceDAwXHgwMFx4MWFceDBiXHgwMFx4MDBceDAwXHgwOFx4MDBceDAwXHgwMFx4MDBceDAwXHgwMFx4MDBceDAwJwpwNApzUydtZXNzYWdlVHlwZScKcDUKSTIwNTEKcy4=
2020-05-28 16:02:56,957 Diagnostics  INFO     Streaming info response
2020-05-28 16:02:56,957 Diagnostics  INFO     Connection successful

이는 Wireshark에서 볼 수 있는 성공적인 연결 시도입니다(10.62.148.41은 Ncore IP이고 10.62.148.75은 FMC임).

인증서 CN이 원격 호스트와 일치하지 않음

eStreamer 클라이언트가 NAT 뒤에 있는 경우 업스트림 IP 주소와 함께 인증서가 생성되어야 하거나 다음과 같은 오류가 표시됩니다.

Mar  2 11:30:01 FMC SF-IMS[16921]: [16921] Event Streamer:ConnectionHandler [INFO] Accepted IPv4 connection from 10.48.26.47:46529/tcp
Mar  2 11:30:01 FMC SF-IMS[16921]: [16921] Event Streamer:ConnectionHandler [INFO] Added 10.48.26.47 to host table
Mar  2 11:30:01 FMC SF-IMS[16921]: [16921] Event Streamer:ConnectionHandler [INFO] Added 10.48.26.47(17659) to host table
Mar  2 11:30:01 FMC SF-IMS[17659]: [17659] EventStreamer child(192.168.27.100):ConnectionHandler [INFO] Resolved CN 192.168.27.100 to 192.168.27.100
Mar  2 11:30:01 FMC SF-IMS[17659]: [17659] EventStreamer child(192.168.27.100):ConnectionHandler [ERROR] Certificate Common Name 192.168.27.100 does not match remote host: 10.48.26.47. It was issued to a different client.
Mar  2 11:30:02 FMC SF-IMS[16921]: [16921] Event Streamer:ConnectionHandler [INFO] Child with pid 17659 exited with status 0
Mar  2 11:30:02 FMC SF-IMS[16921]: [16921] Event Streamer:ConnectionHandler [INFO] Removed host entry for pid: 17659

eStreamer 클라이언트에 대한 FMC DNS 확인이 잘못되었습니다.

FMC에 eStreamer 클라이언트에 대한 잘못된 DNS 항목이 있는 경우 이벤트가 클라이언트에 도달하지 않습니다.이 문제가 FMC에서 캡처되는지 여부를 확인하려면이 예에서 FMC는 스트림 클라이언트 호스트 ksec-sfvm-win7-3.cisco.com에서 TCP SYN 패킷을 받습니다.

root@FMC2000-2:/var/sf/archive/netmap_2# tcpdump -i eth0 port 8302
HS_PACKET_BUFFER_SIZE is set to 4.
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes
18:32:45.453401 IP ksec-sfvm-win7-3.cisco.com.36428 > FMC2000-2.8302: Flags [S], seq 2427598184, win 29200, options [mss 1460,sackOK,TS val 3681355935 ecr 0,nop,wscale 7], length 0
18:32:45.453425 IP FMC2000-2.8302 > ksec-sfvm-win7-3.cisco.com.36428: Flags [S.], seq 1996800475, ack 2427598185, win 28960, options [mss 1460,sackOK,TS val 2264897265 ecr 3681355935,nop,wscale 7], length 0
18:32:45.453539 IP ksec-sfvm-win7-3.cisco.com.36428 > FMC2000-2.8302: Flags [.], ack 1, win 229, options [nop,nop,TS val 3681355935 ecr 2264897265], length 0

-n 플래그를 사용하여 확인된 IP를 볼 수 있습니다.

root@FMC2000-2:/var/sf/archive/netmap_2# tcpdump -i eth0 port 8302 -n
HS_PACKET_BUFFER_SIZE is set to 4.
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes
18:34:58.015971 IP 10.62.148.41.36434 > 10.62.148.75.8302: Flags [S], seq 713101140, win 29200, options [mss 1460,sackOK,TS val 3681488496 ecr 0,nop,wscale 7], length 0

또는 FMC CLI에서 nslookup 명령 툴을 사용할 수 있습니다.

root@FMC2000-2:/var/sf/archive/netmap_2# nslookup ksec-sfvm-win7-3.cisco.com
Server:         1.2.3.4
Address:        1.2.3.4#53

Name: ksec-sfvm-win7-3.cisco.com Address: 10.62.148.41

SSL 인증서 오류로 인한 eStreamer 통신 문제

eStreamer 클라이언트가 올바른 FMC SSL 인증서를 사용하는지 확인합니다.FMC /var/log/message 파일에서 인증서가 잘못된 경우 다음 이벤트가 표시됩니다.

Jun 11 14:15:33 FMC SF-IMS[14211]: [14211] Event Streamer:ConnectionHandler [INFO] estreamer.c:2149:AcceptConnections(): Accepted IPv4 connection from 192.0.2.100:42143/tcp
Jun 11 14:15:33 FMC SF-IMS[14211]: [14211] Event Streamer:ConnectionHandler [INFO] estreamer.c:389:allowConnection(): Added 192.0.2.100 to host table
Jun 11 14:15:33 FMC SF-IMS[14211]: [14211] Event Streamer:ConnectionHandler [INFO] estreamer.c:334:rememberPid(): Added 192.0.2.100(13687) to host table
Jun 11 14:15:33 FMC SF-IMS[14211]: [14211] Event Streamer:ConnectionHandler [DEBUG] estreamer.c:1347:AcceptConnection(): Created new estreamer child with src 192.0.2.100 : pid 13615
Jun 11 14:15:34 FMC SF-IMS[13687]: [13615] Event Streamer:ConnectionHandler [ERROR] estreamer.c:1116:AcceptConnection(): SSL_accept failed, SSL_get_error reports SSL_ERROR_SYSCALL

FMC에서 eStreamer 클라이언트를 삭제하고 재구성할 수 있습니다.이렇게 하면 SSL 인증서가 재생성됩니다.eStreamer 클라이언트로 새 인증서를 가져옵니다.

ASA SFR 모듈 통합을 위해 eStreamer에 잘못 구성된 IP 주소

eStreamer 클라이언트에서는 SFR 모듈 IP를 사용해야 합니다.ASA에서 명령 show sfr module details를 실행하여 모듈 IP를 확인합니다.

CEF(ArcSight Common Event Format)

Arcsight Common Event Format Standard는 Ncore CLI에서 전송해야 하는 키-값 쌍을 정의합니다.Arcisco에서 수신한 데이터에 일관성이 없는 경우, 예:누락된 필드 또는 순서가 틀리거나 일부 데이터가 Arcsight 클라이언트에서 올바르게 구문 분석되지 않은 경우 설정을 통해 로그 파일에 기록하도록 구성을 수정하는 것이 좋습니다.따라서 문제가 어디에 있는지 파악하는 데 도움이 됩니다.

    "handler": {
        "output@comment": "If you disable all outputters it behaves as a sink",
        "outputters": [
            {
                "adapter": "cef",
                "enabled": true,
                "stream": {
                    "uri": "relfile:///data/data.{0}.cef"
                }
            }
        ],

RAW CEF 이벤트는 각 필드가 "|" 파이프로 구분된 줄로 기록됩니다.

<13>May 26 09:31:39 kali2 CEF:0|Cisco|Firepower|6.0|RNA:1003:1|CONNECTION STATISTICS|3|act=Allow app=STUN bytesOut=820 cs1=test cs1Label=fwPolicy 
cs2=Default Action cs2Label=fwRule cs3=INSIDE cs3Label=ingressZone cs4=OUTSIDE cs4Label=egressZone cs5Label=secIntelCategory deviceExternalId=1 
deviceInboundInterface=inside deviceOutboundInterface=outside dpt=9000 dst=216.151.129.103 dvchost=10.48.26.45 dvcpid=2 end=1590497212000 externalId=50850
 proto=17 reason=N/A requestClientApplicatio

eStreamer 클라이언트가 모든 로그를 표시하지 않음

이는 종종 eStreamer 클라이언트 오버서브스크립션(FMC에서 너무 많은 이벤트가 전송됨) 때문입니다. eStreamer 클라이언트 쪽에서 이 명령을 실행하고 Recv-Q 카운터가 높은지 확인합니다.이 소켓에 연결된 사용자 프로그램에서 복사하지 않은 바이트 수입니다.이 예에서는 클라이언트 측에서 보류 중인 143143바이트가 있습니다.

root@kali:~# netstat -an | egrep "8302|Recv-Q"
Proto Recv-Q Send-Q Local Address           Foreign Address         State
tcp   143143  0 10.62.148.41:36732      10.62.148.75:8302       ESTABLISHED

eStreamer 클라이언트에서 받은 초당 이벤트를 확인합니다.이는 초당 이벤트 수를 나타냅니다.

root@kali:~/eStreamer-eNcore# cat estreamer.log | grep "ev/sec"

eStreamer 클라이언트에서 요청한 데이터 양 또는 FMC에서 보낸 이벤트 유형을 줄이십시오.또는 eStreamer 클라이언트 측에 할당된 리소스의 양을 늘릴 수도 있습니다.

FAQ(자주 묻는 질문)

Ncore-cli 패키지는 어디에서 얻을 수 있습니까?

FMC 소프트웨어 다운로드 페이지, Firepower System Tools and APIs - Ncore for CEF 확인
또는 https://github.com/CiscoSecurity/fp-05-firepower-cef-connector-arcsight/tree/master/assets에서 최신 Ncore 파일을 가져올 수도 있습니다.

진행 중인 FMC 전체 백업이 있는 경우 eStreamer는 이벤트를 생성하지 않습니다.이게 정상인가요?

예, 예상되는 동작입니다.FMC 컨피그레이션 가이드 백업 시기:

시스템이 백업 데이터를 수집하는 동안 데이터 상관관계(FMC에만 해당)가 일시적으로 일시 중지될 수 있으며, 백업과 관련된 구성을 변경할 수 없습니다.

eStreamer 클라이언트(예: Qradar)와의 FMC 통합에 필요한 특별 라이센스가 있습니까?

아니요

eStreamer 이벤트는 어디에서 제공됩니까?

FMC특히, FMC는 FTD(Managed Device)에서 이벤트를 가져와 eNcore, ArcSight, Splunk, QRadar, LogRhel 등의 eStreamer 클라이언트로 전달합니다.

Splunk와 Ncore 사이에는 호환성 매트릭스가 있습니까?

호환성 정보는 Splunk 문서를 확인하십시오.예를 들어, 어떤 Splunk 버전이 Ncore 버전 3.6.8과 호환되는지 확인하려면 https://splunkbase.splunk.com/app/3662/을 참조하십시오.

eStreamer eNcore가 여러 FMC의 데이터를 사용할 수 있습니까?

이 문서를 작성할 때 아니요. 개선 요청 CSCvq14351을 확인하십시오.

FMC HA(High Availability) 설정을 위해 eStreamer를 구성하는 권장 옵션은 무엇입니까?

eStreamer용 활성 FMC 유닛만 구성하는 것이 좋습니다.eStreamer에 대해 두 FMC 유닛을 모두 구성하면 대기 FMC가 eStreamer 요청에 응답하므로 SIEM에서 중복 이벤트를 수신합니다.관련 개선 요청:CSCvi95944

FMC 업그레이드는 새 eStreamer 인증서를 수동으로 생성해야 합니까?

아니요

보안 인텔리전스 이벤트가 eStreamer 클라이언트로 전송됩니까?보안 인텔리전스 이벤트를 별도의 범주로 선택하여 eStreamer 클라이언트로 보낼 수 있습니까?

SI(Security Intelligence) 이벤트는 별도의 범주가 아니라 연결 이벤트 범주에 포함됩니다.이로 인해 스트림으로 전송되는 별도의 SI 이벤트가 없습니다.관련 개선 요청:CSCva39052

eStreamer 이벤트를 eStreamer 클라이언트로 보낸 센서/관리되는 디바이스를 FMC에서 지정할 수 있습니까?

현재 하나의 FMC 도메인만 있는 경우 이는 불가능합니다.관련 개선 요청 CSCvt31270. 또는 FMC에서 서로 다른 두 도메인을 구성합니다.첫 번째 도메인에서 eStreamer를 활성화할 모든 관리되는 디바이스를 추가하고 eStreamer 클라이언트를 구성합니다.두 번째 도메인의 경우 나머지 디바이스를 추가하고 eStreamer를 구성하지 않습니다.

Firepower의 eStreamer 버전은 무엇입니까?SIEM 구성(예: LogRhel)을 위해 이 정보가 필요합니다.

FMC UI에서 Firepower (FMC) 버전을 확인하려면 Help(도움말)(오른쪽 상단 모서리) > About(정보) > Software version(소프트웨어 버전)으로 이동합니다.

FMC가 도메인으로 구성된 경우 FMC eStreamer 데이터에서 도메인 정보를 확인하는 방법

eStreamer Integration Guide에서 여러 레코드 유형의 헤더 섹션에 있는 Record Type(레코드 유형) 옆에 있는 Netmap ID 번호를 확인합니다.Netmap ID 번호는 Netmap Domain Metadata(Record Type 350) 및 Managed Device Record Metadata(Record Type 123)를 사용하여 도메인 또는 디바이스 이름으로 각각 변환할 수 있습니다.

클라이언트 애플리케이션은 eStreamer Integration Guide에 제공된 정보에 따라 이진 데이터와 메타데이터를 해석해야 합니다.

알려진 문제

버그 검색 도구를 열고 스트리밍 및 Encore 문제(예: