Анализ сетевого трафика на сервере при помощи tshark
Рассказываем об особенностях работы с инструментом tshark: установка, настройка и кейсы использования.
В практике системного администрирования довольно часто приходится сталкиваться со сложными ситуациями, в которых не помогают ни инструменты сбора статистики (например, netstat), ни стандартные утилиты на основе протокола ICMP (ping, traceroute и другие).
В таких случаях часто используются специализированные диагностические утилиты, дающие возможность «слушать» сетевой трафик и анализировать его на уровне единиц передачи отдельных протоколов. Они называются анализаторами трафика, а на профессиональном жаргоне — снифферами. С их помощью можно, во-первых, локализовывать сетевые проблемы и более точно их диагностировать, а во-вторых, обнаруживать паразитный трафик и выявлять в сети зловредное ПО.
Особенно полезными оказываются анализаторы трафика в случаях, когда сетевое ПО плохо документировано или использует собственные закрытые протоколы.
Одним из самых распространенных и популярных анализаторов трафика сегодня является Wireshark, распространяемый под лицензией GNU GPL. Существуют версии Wireshark для различных операционных систем: Linux, Windows, MacOS, FreeBSD, Solaris. У Wireshark есть графический интерфейс, а в этом тексте мы будем использовать tshark — тот же инструмент, только для командной строки.
Tshark использует для захвата библиотеку libpcap, реализующую API pcap (packet capture). Эту библиотеку использует и стандартная утилита tcpdump. Файлы, созданные в tcpdump, можно передавать tshark для последующего анализа.
Несомненным преимуществом tshark по сравнению с tcpdump является более ясный и человекопонятный формат вывода. Кроме того, tshark поддерживает огромное количество сетевых протоколов (более 300, что охватывает практически все когда-либо изобретенные виды сетей).
Начало работы
Tshark включена в дистрибутивы большинства современных Linux-систем и устанавливается при помощи стандартного менеджера пакетов:
$ sudo apt-get install tsharkЗавершив установку, запустим программу:
$ sudo tsharkНа консоль будет выводиться список пакетов, захватываемых в режиме реального времени:
Capturing on eth0
0.000000 88:e0:f3:b6:47:c0 -> Broadcast ARP Who has 31.186.98.120? Tell 31.186.98.1
0.322046 5a:58:74:bf:a9:9c -> Broadcast ARP Who has 31.186.98.77? Tell 31.186.98.226
0.351801 31.186.98.235 -> 188.93.16.50 SSH Encrypted response packet len=224
0.352414 188.93.16.50 -> 31.186.98.235 TCP cap > ssh [ACK] Seq=1 Ack=225 Win=331 Len=0 TSV=194287231 TSER=416767897
0.600054 88:e0:f3:b6:47:c0 -> Broadcast ARP Who has 31.186.98.120? Tell 31.186.98.1
0.622913 Cisco_0d:0d:96 -> PVST+ STP Conf. Root = 32768/398/00:21:1c:0d:0d:80 Cost = 0 Port = 0×8016
0.800377 88:e0:f3:b6:47:c0 -> Broadcast ARP Who has 31.186.98.107? Tell 31.186.98.1
1.320775 31.186.98.235 -> 188.93.16.50 SSH Encrypted response packet len=528
1.321507 188.93.16.50 -> 31.186.98.235 TCP cap > ssh [ACK] Seq=1 Ack=753 Win=331 Len=0 TSV=194287474 TSER=416768866
1.322109 5a:58:74:bf:a9:9c -> Broadcast ARP Who has 31.186.98.77? Tell 31.186.98.226
1.400654 88:e0:f3:b6:47:c0 -> Broadcast ARP Who has 31.186.98.107? Tell 31.186.98.1
1.589797 Cisco_0d:0d:96 -> PVST+ STP Conf. Root = 32768/401/00:21:1c:0d:0d:80 Cost = 0 Port = 0×8016
2.100769 88:e0:f3:b6:47:c0 -> Broadcast ARP Who has 31.186.98.107? Tell 31.186.98.1
2.322163 5a:58:74:bf:a9:9c -> Broadcast ARP Who has 31.186.98.77? Tell 31.186.98.226
2.322764 31.186.98.235 -> 188.93.16.50 SSH Encrypted response packet len=720
2.323594 188.93.16.50 -> 31.186.98.235 TCP cap > ssh [ACK] Seq=1 Ack=1473 Win=331 Len=0 TSV=194287724 TSER=416769868
2.520048 88:e0:f3:b6:47:c0 -> Broadcast ARP Who has 31.186.98.64? Tell 31.186.98.1
2.635370 Cisco_0d:0d:96 -> PVST+ STP Conf. Root = 32768/398/00:21:1c:0d:0d:80 Cost = 0 Port = 0×8016
3.200299 88:e0:f3:b6:47:c0 -> Broadcast ARP Who has 31.186.98.64? Tell 31.186.98.1
3.451774 31.186.98.235 -> 188.93.16.50 SSH Encrypted response packet len=528Как видно из приведенного вывода, tshark показывает информацию обо всех пакетах подряд, в том числе и о тех, которые в данный момент нам совершенно не нужны. С помощью специальных опций можно сделать так, чтобы на консоль выводилась только та информация, которая нам действительно требуется.
Фильтры
Выбор интерфейса для захвата
Опция -i позволяет захватывать трафик только для конкретного интерфейса. Просмотреть список доступных сетевых интерфейсов можно с помощью команды:
$ sudo tshark -D
1. eth0
2. any
3. lo (Loopback)
4. nflog
5. nfqueue
6. usbmon1После опции -i указывается любой из доступных интерфейсов:
$ sudo tshark -i eth0С помощью дополнительных аргументов можно получать более специализированную информацию. Например, с помощью аргумента host можно осуществить захват пакетов для конкретного IP-адреса:
sudo tshark -i eth0 host 192.168.1.100В вывод будут включены как входящие, так и исходящие пакеты. Чтобы просмотреть информацию только о входящих пакетах или только об исходящих пакетах, используются аргументы dst и src соответственно:
$ sudo tshark -i eth0 src host 192.168.1.100 Команда выведет на консоль список пакетов, исходящих с адреса 192.168.1.100
$ sudo tshark -i eth0 dst host 192.168.1.100 На консоль будет выведен список пакетов, поступающих на адрес 192.168.1.100.
Аналогичным образом можно захватывать трафик для целой подсети — для этого используется аргумент net:
$ sudo tshark -i eth0 src net 192.168.1.0/24Можно также указать порт, на котором будут захватываться пакеты:
$ sudo tshark -i eth0 host 192.168.1.1 and port 80Tshark позволяет захватывать пакеты в течение определенного промежутка времени:
$ sudo tshark -i eth0 -a duration:10 -w traffic.pcapВ приведенном примере была также использована опция -w. После неё указывается путь к файлу, в который будут записаны полученные данные.
Фильтры захвата
Эти фильтры используются при захвате трафика «на лету». Они перекомпилируются в набор правил для pcap, в соответствии с которыми осуществляется фильтрация пакетов. На консоль выводится лишь та информация, которая соответствует установленным с помощью фильтров критериям.
В общем виде синтаксис команды tshark с фильтрами можно представить так:
sudo tshark -i <интерфейс> -f <фильтр>В tshark для фильтров захвата используется такой же синтаксис, как и в tcpdump. В рамках этой статьи мы подробно рассматривать все существующие фильтры не будем и ограничимся отсылкой к официальному мануалу).
Фильтры чтения
Tshark может сохранять информацию о захваченных пакетах в файлах. Чтобы извлечь из этих файлов нужную информацию, используются фильтры чтения, называемые так же правилами (опция -R). Они могут быть использованы и при захвате пакетов «на лету». Обработка информации осуществляется не pcap, а средствами самого tshark.
Эти фильтры дают гораздо более широкие возможности для отбора и конкретизации информации.
Следует, однако, учитывать, что при анализе большого количества информации «на лету» они могут не справиться с возлагаемыми на них задачами: не успевают осуществлять фильтрацию и сбрасывают пакеты.
В общем виде синтаксис правил можно представить так:
$ sudo tshark -R "правило" -r "путь к файлу"Рассмотрим особенности формирования правил на конкретных примерах.
$ sudo tshark -R "ip.addr == 192.168.0.1" -r /tmp/capture.capЭта команда указывает, что из файла /tmp/capture.cap нужно извлечь информацию об исходящих и входящих пакетах для IP-адреса 192.168.0.1.
Следующее правило будет указывать, что из этого файла нужно извлечь информацию о входяших и исходящих пакетов для всех IP- адресов, кроме 192.168.0.1:
$ sudo tshark -R "!(ip.addr == 192.168.0.1)" -r /tmp/capture.cap Аналогичным образом можно задавать правила и для других протоколов и портов (фильтры eth.addr, udp.port, tcp.port):
$ sudo tshark -R "eth.addr == 00:08:15:00:08:15" -r /tmp/capture.cap
$ sudo tshark -R "udp.port == 80" -r /tmp/capture.cap
$ sudo tshark -R "tcp.port == 80" -r /tmp/capture.capПравила можно также объединять при помощи логических операторов and, or и not:
$ sudo tshark -R "not arp and not (udp.port == 53)" -r /tmp/capture.capПриведенная команда указывает, что нужно извлечь список всех захваченных пакетов, кроме ARP и DNS (53 порт).
Дополнительные настройки
Cбор статистики
C помощью опции -z можно собирать и выводить на консоль различную статическую информацию о пакетах.
$ sudo tshark -z "proto,colinfo,tcp.srcport,tcp.srcport" -r /tmp/capture.capКоманда выше указывает, что из файла /tmp/capture.cap нужно извлечь информацию о порте-источнике всех пакетов.
Рассмотрим еще один пример:
$ sudo tshark -R "http.response and http.content_type contains image" \
-z "proto,colinfo,http.content_length,http.content_length" \
-z "proto,colinfo,http.content_type,http.content_type" \ -r /tmp/capture.capЭта команда извлечет из файла /tmp/capture.cap информацию обо всех пакетах, в которых были изображения, и выведет на консоль содержимое полей content_type и content_length:
439 12.717117 66.249.89.127 -> 192.168.1.108 HTTP HTTP/1.1 200 OK (GIF89a) http.content_type == "image/gif" http.content_length == 35
452 12.828186 66.114.48.56 -> 192.168.1.108 HTTP HTTP/1.1 200 OK (GIF89a) http.content_type == "image/gif" http.content_length == 477
479 13.046184 66.114.48.56 -> 192.168.1.108 HTTP HTTP/1.1 200 OK (GIF89a) http.content_type == "image/gif" http.content_length == 105
499 13.075361 203.190.124.6 -> 192.168.1.108 HTTP HTTP/1.1 200 OK (GIF89a) http.content_type == "image/gif" http.content_length == 35
506 13.177414 66.114.48.56 -> 192.168.1.108 HTTP HTTP/1.1 200 OK (GIF89a) http.content_type == "image/gif" http.content_length == 4039
514 13.190000 66.114.48.56 -> 192.168.1.108 HTTP HTTP/1.1 200 OK (JPEG JFIF image) http.content_type == "image/jpeg" http.content_length == 11997
519 13.231228 66.114.48.56 -> 192.168.1.108 HTTP HTTP/1.1 200 OK (JPEG JFIF image) http.content_type == "image/jpeg" http.content_length == 1033
523 13.273888 72.233.69.4 -> 192.168.1.108 HTTP HTTP/1.1 200 OK (PNG) http.content_type == "image/png" http.content_length == 1974
561 728 19.096984 60.254.185.58 -> 192.168.1.108 HTTP HTTP/1.1 200 OK (GIF89a) http.content_type == "image/gif" http.content_length == 592
805 19.471444 60.254.185.58 -> 192.168.1.108 HTTP HTTP/1.1 200 OK (GIF89a) http.content_type == "image/gif" http.content_length == 259Автоматическое сохранение в несколько файлов
Представим себе, что нам нужно сохранять статистику трафика в течение длительного периода времени. Сохранить весь вывод в одном файле в такой ситуации не очень удобно: его потом трудно анализировать.
Вывод можно сохранять в нескольких файлах, количество и размер которых указываются пользователем. Как только один файл будет заполнен, tshark продолжит запись в следующий. Например, команда ниже будет сохранять вывод в 20 файлах размером по 100 кБ каждый.
$ sudo tshark -b filesize:100 -a files:20 -w temp.pcapВ приведенном выше примере опция -b означает, что будет задействован кольцевой буфер, а filesize устанавливает размер; опция -a указывает автоматическую остановку по достижении заданного предела, files — указывает количество файлов.
Автосохранение по истечении заданного времени
В приведенном ниже примере tshark будет сохранять захваченную информацию в несколько файлов. Новый файл будет создан автоматически при превышении размера в 10240 кБ или по истечении интервала 1 секунды:
$ sudo tshark -b filesize:10240 -b duration:1 -w temp.pcap
Capturing on eth0
34
# ls -lrt
-rw------- 1 root root 1863 Apr 10 16:13 temp_00001_20140410161312.pcap
-rw------- 1 root root 1357 Apr 10 16:13 temp_00002_20140410161313.pcap
-rw------- 1 root root 1476 Apr 10 16:13 temp_00003_20140410161314.pcap
-rw------- 1 root root 1216 Apr 10 16:13 temp_00004_20140410161315.pcapУстановка размера буфера
Эта опция может быть полезной в случаях, когда приходится иметь дело с отбрасыванием пакетов. По умолчанию размер буфера составляет 1МБ; при помощи опции -B можно установить любой другой размер (в мегабайтах), по достижении которого все данные будут сбрасываться на диск:
$ sudo tshark -B 2Отображение статистики для выбранного протокола
В tshark имеется также возможность захватывать только пакеты, передаваемые по указанному пользователем протоколу.
Вот так, например, выглядит статистика для протокола HTTP:
$ sudo tshark -q -r a.pcap -R http -z http,tree
===================================================================
HTTP/Packet Counter value rate percent
-------------------------------------------------------------------
Total HTTP Packets 7 0.000375
HTTP Request Packets 4 0.000214 57.14%
GET 4 0.000214 100.00%
HTTP Response Packets 3 0.000161 42.86%
2xx: Success 2 0.000107 66.67%
200 OK 2 0.000107 100.00%
3xx: Redirection 1 0.000054 33.33%
302 Found 1 0.000054 100.00%
5xx: Server Error 0 0.000000 0.00%
Other HTTP Packets 0 0.000000 0.00%Практические примеры
В этом разделе мы рассмотрим, как можно использовать tshark для решения повседневных администраторских задач.
Мониторинг http-запросов
Чтобы вывести список http-запросов к серверу, используется следующая команда:
$ sudo tshark 'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<>2)) != 0)' -R 'http.request.method == "GET" || http.request.method == "HEAD"'Вывод этой команды будет выглядеть так:
190.302141 192.168.0.199 -> 74.125.77.104 HTTP GET / HTTP/1.1
190.331454 192.168.0.199 -> 74.125.77.104 HTTP GET //6f3bf64a-14d1-4b68-9202-2a000ca072b9.selcdn.net/intl/en_com/images/srpr/logo1w.png HTTP/1.1
190.353211 192.168.0.199 -> 74.125.77.104 HTTP GET //6f3bf64a-14d1-4b68-9202-2a000ca072b9.selcdn.net/images/srpr/nav_logo13.png HTTP/1.1
190.400350 192.168.0.199 -> 74.125.77.100 HTTP GET /generate_204 HTTP/1.1Следующая команда выведет на консоль список из 10 URL-адресов, с которых поступают http-запросы:
$ tshark -r sample1.cap -R http.request -T fields -e http.host -e http.request.uri |
sed -e ‘s/?.*$//’ | sed -e ‘s#^(.*)t(.*)$#http://12#’ | sort | uniq -c | sort -rn | headПросмотр списка HTTP-заголовков
Чтобы просмотреть список http-заголовков запросов к серверу, используется команда:
$ tshark -r sample1.cap -R http.request -T fields -e http.host -e http.request.uri |
sed -e ‘s/?.*$//’ | sed -e ‘s#^(.*)t(.*)$#http://12#’ | sort | uniq -c | sort -rn | headСоответственно, список заголовков для http-ответов можно получить так:
$ sudo tshark tcp port 80 or tcp port 443 -V -R «http.request»Чтобы в список были включены заголовки как запросов, так и ответов, используется следующая команда:
$ sudo tshark "tcp port 80 or tcp port 443" -V -R "http.request || http.response"Просмотр списка файлов определенного типа
С помощью tshark можно просматривать списки файлов определенного типа, передаваемых через http-протокол. Вот так, например, можно просмотреть список изображений в формате GIF:
sudo tshark -R "http.response and http.content_type contains image" \ -z "proto,colinfo,http.content_length,http.content_length" \ -z "proto,colinfo,http.content_type,http.content_type" \ -r /tmp/capture.tmp| grep "image/gif"| wc -lМониторинг запросов к MySQL
Отследить в реальном времени запросы в базе данных MySQL можно с помощью следующей команды:
$ sudo tshark -i eth0 -a duration:60 -d tcp.port==3306,mysql -T fields -e mysql.query ’port 3306′C помощью tshark можно записывать в лог информацию обо всех запросах к MySQL. Запустим захват всего MySQL-трафика с помощью tcpdump:
$ sudo tcpdump -i eth0 port 3306 -s 1500 -w tcpdump.outИз полученного файла c помощью tshark извлечем список запросов:
$ sudo tshark -r tcpdump.out -d tcp.port==3306,mysql -T fields -e mysql.query > query_log.outИз этого списка удалим пустые строки и сохраним отредактированный вариант в новом файле:
$ sudo cat query_log.out | grep -v "^$" | grep -v "^commit" | grep -v "^SET autocommit" | grep -v "^rollback" > query_log_no_blank.outЗаключение
Tshark — инструмент с очень широкими возможностями, о части которых мы рассказали в этом тексте.
