Реализовать Netflow сенсор для учета трафика.

[iocsha]

Здорово было бы  реализовать сенсор  для  NetFlow — сетевого протокола, предназначенный для учёта сетевого трафика,.

Из возможных вариантов сенсоров для linux;

fprobe (fprobe.sourceforge.net) – работает в Linux, базируется на libpcap, есть форк fprobe-ulog, использующий libipulog;
ipt-netflow – работает в Linuх и состоит из двух модулей: ядра и iptables( это самый быстрый netflow-сенсор  sourceforge.net/projects/ipt-netflow/files/ipt-netflow );
Softflowd (code.google.com/p/softflowd) – работает в Linux/FreeBSD, поддерживает NetFlow v1/v5/v9/;

nProbe (ntop.org/products/nprobe) – расширяемый сенсор/коллектор под Linux, FreeBSD и Windows, поддерживающий NetFlow v5/v9/IPFIX;

 

Если за основу взять fprobe , то например вот такие параметры  через CLI можно было настраивать.

nano /etc/default/fprobe
 
# Если все интерфейсы, тогда пишем "any"
INTERFACE="eth0"
FLOW_COLLECTOR="192.10.0.2:9001"
# Дополнительные аргументы; так '-f' позволяет указать специфические условия выборки трафика; наиболее популярным является отбор только IP-пакетов, т.е. '-fip'
OTHER_ARGS="-fip"

Вот все обработки  будут уже на отдельной  машине , те  как я вижу на роутере только сенсор( UDP  на порт  9555 или 9995  или 9001  с версией  протокола 5 или 9 ) .

Когда сенсор определяет, что поток закончился (по изменению параметров пакетов, либо по сбросу TCP-сессии), он отправляет информацию в коллектор. В зависимости от настроек он также может периодически отправлять в коллектор информацию о все еще идущих потоках.

Собранная информация отправляется в виде записей, содержащих следующие параметры (для версии 5):

• Номер версии протокола;
• Номер записи;
• Входящий и исходящий сетевой интерфейс;
• Время начала и конца потока;
• Количество байт и пакетов в потоке;
• Адрес источника и назначения;
• Порт источника и назначения;
• Номер протокола IP;
• Значение Type of Service;
• Для TCP-соединений — все наблюдаемые в течение соединения флаги;
• Адрес шлюза;
• Маски подсети источника и назначения.

 

Уже на удалённой  машине:

• Коллектор. Собирает получаемые от сенсора данные и помещает их в хранилище.
• Анализатор. Анализирует собранные коллектором данные и формирует пригодные для чтения человеком отчёты (часто в виде графиков).

тут подойдёт например : PRTG , ZOHO ManageEngine NetFlowAnalyzer ,  nfdump +NFSen

Изменено 12 августа, 2016 пользователем iocsha

[Александр Рыжов]

 

[Александр Рыжов]

fprobe из Entware как себя ведёт?

[iocsha]

9 минут назад, Александр Рыжов сказал:

fprobe из Entware как себя ведёт?

интереснее конечно   ipt-netflow  ,  всё же snmp то реализовали без сторонних пакетов(за что разработчикам огромное  спасибо).   Le ecureuil   на мой вопрос предложил создать тему и подумать.  Так да  fprobe из Entware как вариант.

 

Изменено 12 августа, 2016 пользователем iocsha

[Le ecureuil]

Здесь все довольно плохо из-за существования ppe hardware и ppe software, а также fastnat с которых снимать статистику довольно проблематично.

Можем добавить сам модуль ядра ip-netflow в пакет opkg-kmod-netfilter, при этом вы сами отключите абсолютно все ускорители (подскажем как, но максимальные скорости будут конечно на порядок ниже) и настроите userspace через entware или debian - так вас устроит?

Все остальное требует очень кропотливой нашей работы, и будущее этого туманно.

[iocsha]

В 13.08.2016 в 11:12, Le ecureuil сказал:

Здесь все довольно плохо из-за существования ppe hardware и ppe software, а также fastnat с которых снимать статистику довольно проблематично.

Можем добавить сам модуль ядра ip-netflow в пакет opkg-kmod-netfilter, при этом вы сами отключите абсолютно все ускорители (подскажем как, но максимальные скорости будут конечно на порядок ниже) и настроите userspace через entware или debian - так вас устроит?

Все остальное требует очень кропотливой нашей работы, и будущее этого туманно.

 

Спасибо , нет конечно это того не стоит , не знал тонкостей  работы  сетевых ускорителей. Если всё  так сложно- значит оно того не стоит. Ещё  раз спасибо всем за советы. Тему  можно закрывать.

[Николай84]

Здравствуйте!

Появилась необходимость посчитать IP-трафик, но не только посчитать - с этим неплохо справляется NetWorx с подключением по UPnP - а сохранить лог доступа с 1)внутренним адресом, 2)набором DNS-запросов, 3)кол-вом кб и ес-но 4)timestamp.

Zyxel Keenetic Lite II

Чем это можно реализовать? Сможет ли это сделать netflow? Можно ли netflow приклеить на LAN-порт, на котором висит маршрутизатор локалки? Локалка большая, в кинетик не умещается, поэтому нужно читать арптаблицу запроса на одном порту; варианты, с какого порта кинетика прилетел запрос, не пройдут. Либо можно ли реализовать это через "приложения" кинетика?

Если 

В 13.08.2016 в 11:12, Le ecureuil сказал:

Все остальное требует очень кропотливой нашей работы, и будущее этого туманно.

то какое оборудование (кроме CISCO) посоветуете для решения этой задачи?

Второй вопрос - с какойц программой в этом случае дружить netflow, чтобы читать и анализировать логи в графическом варианте? Рассматриваю cacti, есть на чем.

 

Заранее спасибо.

Изменено 19 сентября, 2016 пользователем Николай84
редактирование

[Le ecureuil]

13 минуты назад, Николай84 сказал:

Здравствуйте!

Появилась необходимость посчитать IP-трафик, но не только посчитать - с этим неплохо справляется NetWorx с подключением по UPnP - а сохранить лог доступа с 1)внутренним адресом, 2)набором DNS-запросов, 3)кол-вом кб и ес-но 4)timestamp.

Zyxel Keenetic Lite II

Чем это можно реализовать? Сможет ли это сделать netflow? Можно ли netflow приклеить на LAN-порт, на котором висит маршрутизатор локалки? Локалка большая, в кинетик не умещается, поэтому нужно читать арптаблицу запроса на одном порту; варианты, с какого порта кинетика прилетел запрос, не пройдут. Либо можно ли реализовать это через "приложения" кинетика?

Если 

то какое оборудование (кроме CISCO) посоветуете для решения этой задачи?

Второй вопрос - с какойц программой в этом случае дружить netflow, чтобы читать и анализировать логи в графическом варианте? Рассматриваю cacti, есть на чем.

 

Заранее спасибо.

У вас тут просто какой-то поток сознания, старайтесь яснее излагать свои мысли.

1. сохранения лога доступа нет

2. насчет возможности реализации через netflow изучайте сами

3. реализовать через приложения кинетика сейчас нельзя, через entware/debian есть небольшие шансы

4. ничего мы советовать не будем, здесь обсуждаются только Keenetic