Настройка коллектора Vector в качестве приема логов через syslog от Cisco и отправка их в Loki.#
т.к. встронный syslog сервер в Vector, Grafana Alloy принимают сообщения в формате RFC 5424, а оборудование Cisco шлет в syslog логи немного в своем формате, а использовать в промежутке прослойку из rsyslog/syslog-ng не хочется, то можно использовать в Vector socket source с regex_parser.
Принимать логи будем по tcp на порт 1514.
Часть docker-compose файла касаемо Vector:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
| vector:
image: ${SOURCE_REGISTRY}/timberio/vector:${VECTOR_VERSION}
container_name: vector
restart: unless-stopped
volumes:
- ./vector/vector.toml:/etc/vector/vector.toml:ro
- vector-data:/var/lib/vector
command: ["--config", "/etc/vector/vector.toml"]
ports:
- "1514:1514/tcp"
networks:
- monitoring
depends_on:
loki:
condition: service_healthy
healthcheck:
test: ["CMD", "vector", "validate"]
interval: 30s
timeout: 10s
retries: 3
start_period: 15s
deploy:
resources:
limits:
memory: 512M
reservations:
memory: 128M
logging:
driver: json-file
options:
max-size: "10m"
max-file: "3"
labels:
- "app=monitoring"
- "component=vector"
|
Запускается с таким конфигом, который парсит сырое сообщение, и отправляет его в Loki, ставя labels - routers это или switch, и уровень Severity лога:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
| # vector.toml
[sources.cisco_syslog]
type = "socket"
address = "0.0.0.0:1514"
mode = "tcp"
decoding.codec = "bytes"
framing.method = "newline_delimited"
[transforms.parse_cisco]
type = "remap"
inputs = ["cisco_syslog"]
source = '''
# Vector socket source кладёт сырое сообщение в .message
# Парсим: <188>632: fw01: Feb 4 18:14:51: %PLATFORM-4-ELEMENT_WARNING: message
# или: <190>415: Feb 4 17:40:48: %LINK-5-CHANGED: message
# или: <189>2068: core-1: .Feb 11 22:01:21: %OSPF-5-ADJCHG: message (с точкой перед датой, когда нет связи с NTP сервером)
# или: <190>200: core-1: *Jan 2 03:40:13: %SYS-6-LOGGINGHOST_STARTSTOP: message (со звёздочкой, когда время не синхронизировано)
msg = string!(.message)
# Пропускаем пустые строки
if msg == "" {
abort
}
# Regex с опциональным PRI (<123>) в начале и опциональной точкой или звёздочкой перед датой
parsed, err = parse_regex(msg, r'^(?:<\d+>)?(?P<seq>\d+): (?:(?P<cisco_host>[\w-]+): )?[.*]?(?P<cisco_ts>[A-Z][a-z]{2}\s+\d+\s+[\d:]+): %(?P<facility>[A-Z0-9_]+)-(?P<severity>\d)-(?P<mnemonic>[A-Z0-9_]+): (?P<log_message>.*)$')
if err != null {
# Если не распарсилось — оставляем как есть для отладки
.parse_error = true
.raw = msg
# Fallback значения для лейблов Loki
.facility = "unknown"
.severity_num = "0"
.level = "unknown"
.mnemonic = "unknown"
.cisco_host = to_string!(.host)
} else {
.seq = parsed.seq
.cisco_ts = parsed.cisco_ts
.facility = parsed.facility
.severity_num = parsed.severity
.mnemonic = parsed.mnemonic
.message = parsed.log_message
# cisco_host может быть null если в логе нет имени хоста
if parsed.cisco_host != null {
.cisco_host = parsed.cisco_host
} else {
.cisco_host = to_string!(.host)
}
# Severity в читаемый уровень через массив
severity_levels = ["emergency", "alert", "critical", "error", "warning", "notice", "info", "debug"]
sev_idx = to_int!(parsed.severity)
.level = if sev_idx >= 0 && sev_idx <= 7 { get!(severity_levels, [sev_idx]) } else { "unknown" }
}
# Определяем тип устройства по hostname
routers = ["fw01-ppr", "c4221-itb", "c4321-xdsoft", "c4321-f11"]
.device_type = if includes(routers, .cisco_host) { "router" } else { "switch" }
'''
[sinks.loki]
type = "loki"
inputs = ["parse_cisco"]
endpoint = "http://loki:3100"
[sinks.loki.labels]
job = "cisco_syslog"
facility = "{{ facility }}"
severity = "{{ severity_num }}"
level = "{{ level }}"
mnemonic = "{{ mnemonic }}"
host = "{{ cisco_host }}"
device_type = "{{ device_type }}"
[sinks.loki.encoding]
codec = "text"
## Для отладки — вывод в консоль
#[sinks.debug]
#type = "console"
#inputs = ["parse_cisco"]
#encoding.codec = "json"
|