Ochrona sieci operatorów
internetowych
Dobre praktyki
A
ukasz Bromirski
[e-mail]
Wrocław, 21 paz
dziernika 2006
Cisco Public 1
© 2006 Cisco Systems, Inc. All rights reserved.
Agenda
" Ochrona sieci operatora
...i słów parę o ochronie samych urządzeń
" Ochrona klientów i ich usług
" ParÄ™ innych, luz
nych uwag dotyczÄ…cych metodyki
ochrony sieci
" Q&A
Cisco Public 2
© 2006 Cisco Systems, Inc. All rights reserved.
Disclaimer
Sesja zawiera jedynie wybrane elementy dobrych
praktyk.
Nie stanowi kompendium, a jedynie zestaw luz
no
powiązanych zagadnień dających się poruszyć w
ciÄ…gu 45 minut.
Cisco Public 3
© 2006 Cisco Systems, Inc. All rights reserved.
Ochrona sieci operatora
Cisco Public 4
© 2006 Cisco Systems, Inc. All rights reserved.
Jak nie projektować sieci operatora...
internet internet
szkielet
" Routery zabezpieczane indywidualnie
" Każdy router dostępny i pośredniczący w wymianie
ruchu od klienta do Internetu
Cisco Public 5
© 2006 Cisco Systems, Inc. All rights reserved.
t
s
e
n
n
l
e
m
t
p
Jak projektować sieć dla operatora?
internet internet
szkielet
" Podstawowa sprawa to separacja ruchowa:
ruch nasz
ruch naszych klientów
Cisco Public 6
© 2006 Cisco Systems, Inc. All rights reserved.
s
t
n
e
n
m
l
e
t
p
Wszystko zaczyna siÄ™ od pakietu...
" W momencie w którymś
pakiet zostanie
stworzony i wysłany do
Internet
Internetu, ktoÅ›, gdzieÅ›,
musi zrobić jedną z
dwóch rzeczy:
Dostarczyć pakiet
Odrzucić pakiet
Cisco Public 7
© 2006 Cisco Systems, Inc. All rights reserved.
P
I
t
e
i
k
a
P
ACL  infrastrukturalne
" Dlaczego Twoje routery powinny zajmować się
całym ruchem?
" Stwórz listę protokołów które pozwalają Twojej
sieci pracować i wykorzystaj separację ruchową
Na przykład: peeringi eBGP/iBGP, GRE, IPsec, OSPF, etc.
Wydzielenie osobnych przestrzeni adresowych IP dla
swojej infrastruktury i sieci klienckich (w tym adresów do
obsługi NAT) zdecydowanie pomaga
Pomaga również sumaryzacja podsieci  krótsze reguły
ruchowe
Cisco Public 8
© 2006 Cisco Systems, Inc. All rights reserved.
ACL  infrastrukturalne w akcji...
SRC: 127.0.0.1 SRC: Valid
DST: Any DST: Rx (Any R)
ACL  in ACL  in
PR1 PR2
R3
R1
R2
R5
R4
CR1
CR2
ACL  in ACL  in
SRC: eBGP Peer SRC: Valid
DST: CR1 eBGP DST: zewnętrzny do
AS (klienckie IP)
Cisco Public 9
© 2006 Cisco Systems, Inc. All rights reserved.
ACL  infrastrukturalne
Przykład
! Nasze własne IP od innych sieci? Nie ma mowy:
access list 101 deny ip our_CIDR_block any
! 0.0.0.0 czy 127/8 jako sieci z
ródłowe?! Nie ma mowy:
access list 101 deny ip host 0.0.0.0 any
access list 101 deny ip 127.0.0.0 0.255.255.255 any
! RFC1918  chyba żartujesz:
access list 101 deny ip 10.0.0.0 0.255.255.255 any
access list 101 deny ip 172.16.0.0 0.0.15.255 any
access list 101 deny ip 192.168.0.0 0.0.255.255 any
! eBGP z konkretnego IP z zewnÄ…trz:
access list 101 permit tcp host peerA host peerB eq 179
access list 101 permit tcp host peerA eq 179 host peerB
! Pozostała infrastruktura  brak dostępu z zewnątrz:
access list 101 deny ip any core_CIDR_block
! Pozostały ruch  przechodzący kliencki
access list 101 permit ip any any
Cisco Public 10
© 2006 Cisco Systems, Inc. All rights reserved.
Ochrona protokołów routingu
" Współdzielony klucz w pakietach routingu
Czystym tekstem  chroni tylko przed błędami w
konfiguracji
Message Digest 5 (MD5) zapobiega potencjalnym atakom
w warstwie protokołu routingu
" Wiele kluczy per proces
" BGP, IS-IS, OSPF, RIPv2 i EIGRP obsługują
" Często nie używane
 Nie mieliśmy żadnych ataków
 To obciąża zasoby
Cisco Public 11
© 2006 Cisco Systems, Inc. All rights reserved.
Filtrowanie prefiksów
Klient
Filtr prefiksów
" Prefiksy otrzymywane od
operatorów i wysyłane do
Filtr prefiksów
operatorów (i klientów)
należy kontrolować
ISP
...dodatkowy bonus to
prawidłowe działanie
mechanizmów typu uRPF
Filtr prefiksów
Filtr prefiksów
Klient
Cisco Public 12
© 2006 Cisco Systems, Inc. All rights reserved.
Gdzie filtrować prefiksy?
Filtry prefiksów rozgłaszanych
do internetu i otrzymywanych
z internetu
AS 500
AS 400
W
E
E
X
D
Filtrowanie
AS 300
prefiksów do
klienta
C
Klient sam
filtruje prefiksy
na wejściu i
B
wyjściu N
A
M
AS 100 AS 200
Klient
Cisco Public 13
© 2006 Cisco Systems, Inc. All rights reserved.
Ochrona urządzeń
sieciowych operatora
Cisco Public 14
© 2006 Cisco Systems, Inc. All rights reserved.
Mechanizmy bezpieczeństwa na routerach
" Wiele organizacji publikuje własne zalecenia
dotyczÄ…ce najlepszych praktyk
" ...skorzystaj:
http://www.first.org/resources/guides/
http://www.sans.org/resources/policies/
http://www.ietf.org/html.charters/opsec-charter.html
" Dokumenty te opisujÄ…  hardening platformy, nie
kompleksowe podejście do zapewnienia sieci
bezpieczeństwa
Cisco Public 15
© 2006 Cisco Systems, Inc. All rights reserved.
Tradycyjne metody
Hardening routerów
" Wyłączenie nieużywanych " Polityka QoS na interfejsach
usług skierowanych w stronę
brzegu sieci (klientów i sieci
no service tcp-small-servers
zewnętrznych)
no cdp run
" Wykorzystaj systemy AAA
" ACL do VTY
(Authentication,
Authorization i Accounting)
" ACL na dostęp do SNMP
" Wyłączenie nieużywanych
" Widoki SNMP
mechanizmów sieciowych,
" Wyłączyć dostęp RW
włączonych domyślnie na
...lub używać SNMPv3
interfejsach sieciowych
urzÄ…dzenia
" Wygasanie sesji, które
umarły
service tcp-keepalives-in
Cisco Public 16
© 2006 Cisco Systems, Inc. All rights reserved.
Tradycyjne metody
Hardening routerów
" Testy na adresie z
ródłowym " Inne mechanizmy
(RFC2827/BCP38, specyficzne dla platformy:
RFC3704/BCP84)
CoPP
ip verify unicast source
Przydział czasu obsługi
reachable-via {any|rx}
przez CPU ruchu i innych
cable source-verify [dhcp]
procesów
ip verify source [port-security]
Selective Packet Discard
" Wyłącz source-routing
no ip source-route
" Filtrowanie prefiksów na
peerach eBGP
" BGP dampening (!)
" MD5 na sesjach BGP i IGP
Cisco Public 17
© 2006 Cisco Systems, Inc. All rights reserved.
Control plane vs data plane
Sieci zewnętrzne
Ataki, śmieci
" Na platformach programowych konieczny podział
na część realizującą funkcje routera i część
zapewniającą forwarding pakietów
" W Cisco IOS  mechanizm CoPP
Cisco Public 18
© 2006 Cisco Systems, Inc. All rights reserved.
Ochrona
Ochrona
CPU routera
p
m
n
s
,
t
e
n
l
e
t
Ochrona control plane
Control Plane
Ruch SNMP, Protooły Ruch SSL, SSH
ICMP IPv6 &
Telnet routingu etc.
Wyjście
z CP
Wejście
do CP
Policing CP Tryb pracy  cichej
(mechanizmy QoS) (zapobieganie zwiadowi)
Pakiety do
CPU
Bufor Bufor pakietów
pakietów wychodzących
Mechanizmy wejściowe Lookup w
interfejus CEF/FIB
Cisco Public 19
© 2006 Cisco Systems, Inc. All rights reserved.
ACL
NAT
URPF
Ochrona klientów i usług
Cisco Public 20
© 2006 Cisco Systems, Inc. All rights reserved.
Interfejs w stronÄ™ klienta
" Absolutnie koniecznie:
uRPF (!)
" Inne pomysły do rozważenia:
wycięcie ruchu do/z TCP/UDP 135-139
wycięcie ruchu do/z TCP 445 (SMB over TCP)
adresacja P2P /30 lub wręcz /31
mechanizm QoS  rate limiting per protokół, lub ilość
nawiÄ…zywanych sesji na sekundÄ™
oznaczanie pakietów w IP DSCP dla konkretnych klas usług
Cisco Public 21
© 2006 Cisco Systems, Inc. All rights reserved.
Unicast RPF
Tryb strict
Tablica routingu:
0.0.0.0 via serial 0/0.103
5.5.5.0/24 via fe6/14
6.6.6.0/24 via Null0
serial0/0.103 FE6/11
serial0/0.103 FE6/11
serial0/0.103 FE6/11
Unicast
Unicast
Nagłówek Nagłówek
Dane Nagłówek Dane Nagłówek
Dane Dane
RPF
RPF
IN
IN OUT
OUT
IP DST: 5.5.5.5
IP SRC: 192.168.0.1
Adres z
ródłowy musi pasować do
zawartości tablicy routingu (i innych
tablic, w zależności od architektury
urzÄ…dzenia, np. CEF/adj)
Cisco Public 22
© 2006 Cisco Systems, Inc. All rights reserved.
Unicast RPF
Tryb strict
Tablica routingu:
0.0.0.0 via serial 0/0.103
5.5.5.0/24 via fe6/14
6.6.6.0/24 via Null0
serial0/0.103
serial0/0.103
serial0/0.103
Unicast
Unicast
Nagłówek
Dane Nagłówek
Dane
RPF
RPF
IN
IN
IP DST: 5.5.5.5
IP SRC: 6.6.6.24
Adres z
ródłowy musi pasować do
zawartości tablicy routingu (i innych
tablic, w zależności od architektury
urzÄ…dzenia, np. CEF/adj)
/dev/null
Cisco Public 23
© 2006 Cisco Systems, Inc. All rights reserved.
Unicast RPF
Tryb loose
Tablica routingu:
0.0.0.0 via serial 0/0.103
5.5.5.0/24 via fe6/14
6.6.6.0/24 via Null0
serial0/0.103
serial0/0.103
serial0/0.103
Unicast
Unicast
Nagłówek
Dane Nagłówek
Dane
RPF
RPF
IN
IN
IP DST: 6.6.6.9
IP SRC: 8.8.8.24
Adres z
ródłowy musi pasować do
dowolnego wpisu w tablicy routingu
różnego od wpisu kierującego pakiet na
interfejs Null0
/dev/null
Cisco Public 24
© 2006 Cisco Systems, Inc. All rights reserved.
Konfiguracja uRPF
" W zależności od systemu operacyjnego (i często
konkretnego filtra pakietów) konfiguracja uRPF:
FreeBSD, tryb  strict/loose :
deny log ip from any to any not [verrevpath|versrcpath] in via em0
Cisco, tryb  strict/loose :
ip verify unicast source reachable via [rx|any] [allow default]
Linux, tryb  strict/loose :
echo [1|2] > /proc/sys/net/ipv4/conf/(all|ethX)/rp_filter
JunOS, tryb  strict/loose :
[edit interface ge 0/0/0 unit 0 family inet]
rpf check { mode loose; }
uRPF dla FreeBSD niezależny od filtra pakietów:
http://lukasz.bromirski.net/projekty/patches.html
Cisco Public 25
© 2006 Cisco Systems, Inc. All rights reserved.
Interfejs w stronÄ™ klienta
Przykład konfiguracji  Cisco IOS
interface fastethernet 0/0.10
desc Klient usługi 1024/1024
encapsulation dot1q
ip address 10.10.10.1 255.255.255.252
ip verify unicast source reachable via rx
ip access list Kill_Bad_Traffic
rate limit input access group name R TCP
768000 64000 64000 conform action transmit exceed action drop
rate limit input access group name R UDP
128000 64000 64000 conform action transmit exceed action drop
rate limit input access group name R ICMP
64000 32000 2048 conform action transmit exceed action drop
rate limit input access group name R OTHER
2048 2048 2048 conform action transmit exceed action drop
Cisco Public 26
© 2006 Cisco Systems, Inc. All rights reserved.
BGP Blackholing
WewnÄ…trz  jako mechanizm ochrony
Peer A
IXP-W
A
Peer B
IXP-E
Upstream
Upstream
D
A
A
Upstream
Upstream
B
A
A C
Upstream
Upstream
Upstream
Upstream
B
B
B
B
E
Cel
Cel
Prefiksy
atakowane
rozgłoszone
via IBGP
NOC
G
F POP
Cisco Public 27
© 2006 Cisco Systems, Inc. All rights reserved.
BGP Blackholing
WewnÄ…trz  jako mechanizm monitoringu
Peer A
IXP-W
A
Peer B
IXP-E
Upstream
Upstream
Sink Hole
D
A
A
Network
Upstream
Upstream
B
A
A C
Upstream
Upstream
Upstream
Upstream
B
B
B
B
E
Cel
Cel
Narzędzia
analizy
ruchu
NOC
G
F POP
Cisco Public 28
© 2006 Cisco Systems, Inc. All rights reserved.
Co można monitorować?
" Skany  ciemnej przestrzeni adresowej IP
(nieprzydzielone i przydzielone ale nieużywane)
Kto i dlaczego skanuje sieć zwykle robaki...
" Skany przestrzeni nieużywanej lokalnie
Robaki, zainfekowne maszyny, prace badawcze...
" Praca honeypot-alike
Jak dokładnie wygląda atak, z czego się składa, czy
widzimy ruch C&C do botów?
Cisco Public 29
© 2006 Cisco Systems, Inc. All rights reserved.
Monitoring - NetFlow
Próbki NetFlow
Ruch
Nasza sieć
UDP NetFlow
Eksportowane pakiety
" Około 1500 bajtów
" Zwykle zawierajÄ… od 20 do 50
próbek
" Oczywiście ilość zależy od
ilości ruchu Kolektor
Narzędzia GUI
NFC, cflowd, flow-tools, Arbor
Arbor, FlowScan
Cisco Public 32
© 2006 Cisco Systems, Inc. All rights reserved.
Co znajduje się w próbce NetFlow?
Przykład pakietu w wersji 5
" Ilość pakietów " y
ródłowy adres IP
" Ilość bajtów " Docelowy adres IP
" Start sysUpTime " y
ródłowy port TCP/UDP
" End sysUpTime " Docelowy port TCP/UDP
" Wejściowy ifIndex
" Adres next-hop
" Wyjściowy ifIndex
" y
ródłowy numer AS
" Docelowy numer AS
" Pole ToS
" Maska prefiksu z
ródłowego
" Flagi TCP
" Maska prefiksu docelowego
" Protokół
Cisco Public 33
© 2006 Cisco Systems, Inc. All rights reserved.
Zastosowania dla protokołu NetFlow
Dla operatora Duże firmy
" Ustalenia dotyczące peeringu " Monitoring ilościowy i
jakościowy ruchu do Internetu
" Raportowanie SLA dla
użytkowników VPN/MPLS " Podział kosztów dostępu
pomiędzy różne działy przez IT
" Billing na podstawie
generowanego ruchu " Zdecydowanie bardziej
skalowalny niż RMON/SNMP
" Wykrywanie zagrożeń  ataków
DDoS/robaków " Wykrywanie zagrożeń  ataków
DDoS/robaków
" Inżynieria ruchu
" Rozwiązywanie problemów
" Rozwiązywanie problemów
Cisco Public 34
© 2006 Cisco Systems, Inc. All rights reserved.
Monitoring - NetFlow
Cisco Public 35
© 2006 Cisco Systems, Inc. All rights reserved.
Monitoring  NetFlow w CS-MARS
Cisco Public 36
© 2006 Cisco Systems, Inc. All rights reserved.
ParÄ™ luz
nych uwag
Cisco Public 37
© 2006 Cisco Systems, Inc. All rights reserved.
Procedury, procedury, procedury...
Przygotowanie
Przygotowanie sieci
Stworzenie narzędzi
Identyfikacja
Post Mortem
Przetestowanie ich
Co zostało zrobione? Skąd wiemy o ataku?
Przygotowanie procedur
Czy możemy zrobić coś Jakich narzędzi użyć
Przetrenowanie zespołu
by temu zapobiec? do powstrzymania
Praktyka
Jak ograniczyć skalę ataku?
 Poznaj swoją sieć!
problemów? Jakie mamy procedury
komunikacji?
Reakcja
Jakie mamy opcje?
Klasyfikacja
Która z opcji jest biorąc
Z jakim rodzajem ataku
pod uwagÄ™ aktualnÄ…
Traceback
mamy do czynienia?
sytuacjÄ™ optymalna?
SkÄ…d pochodzi atak?
Na które miejsca sieci
wpływa i na ile jest to
krytyczne?
Cisco Public 38
© 2006 Cisco Systems, Inc. All rights reserved.
Q&A
Cisco Public 39
© 2006 Cisco Systems, Inc. All rights reserved.
Cisco Public 40
© 2006 Cisco Systems, Inc. All rights reserved.