HydraRoute Neo - маршрутизация доменов и CIDR

[Ground_Zerro]

HydraRoute — название, в котором миф о многоголовой Гидре становится образом для системы маршрутов, способной разрастаться и ветвиться: стоит исчезнуть одному направлению, как на его месте возникают новые.

Для чего:

• Точечная маршрутизация на основе доменных имен.
• IP маршрутизация в дополнение к механизмам, имеющимся в роутерах Keenetic.

Два варианта маршрутизации:

• Политики доступа - используется подключение в политике доступа (резервирование/многопутевая передача).
• Интерфейс - используется указанное подключение.

В обоих вариантах - подключения эксклюзивны: при пропадании линка трафик отправляются в "черную дыру".
Маршрутизация применяется только для устройств и сегментов сети находящихся в "политике по умолчанию".

Основной интерфейс:

Доменные имена и CIDR можно указать вручную, также есть загрузка списков из:

• Github проекта
• по прямой ссылке в интернете
• репозитория iplist от rekryt (iplist.opencck.org) /MIT License/

Реализован механизм "санитайзинга" введенных/загруженных данных - очистка от мусора, не валидных доменов, CIDR, дублей и вложенных доменов.
При сохранении, во избежание конфликтов маршрутизации, проводится проверка на пересекающиеся данные:

Промежуточных звеньев на пути DNS трафика - нет. Работа строится на анализе копий DNS-пакетов, поступающих в приложение через nfLog. Трафик Host<->DNS server не перенаправляется, не задерживается и не изменяется.

Системные требования и установка пакета

Спойлер

Системные требования:

- Роутер Keenetic с прошивкой выше v.4.3.6 и установленным [Entware](https://help.keenetic.com/hc/ru/articles/360021214160)
- Установите `curl`, если не установлен:

opkg install curl

Установка:

1. Добавьте репозиторий:

curl -Ls "https://ground-zerro.github.io/release/keenetic/install-feed.sh" | sh

2. Установите HR Neo:

opkg install hrneo

HydraRoute Neo готов к работе сразу после установки.

Если для работы с доменами консольной версии мало - установите Web-интерфейс:

opkg install hrweb

Более подробная информация по настройке доступна на Github.

Страничка проекта на Github.

Дополнительная информация

• Является homebrew приложением поддерживаемым только его автором, от OpenSource "сообщества" предложений помощи не поступало. При наличии необходимости готов предоставить исходники авторитетным участникам форума и/или мейнтейнерам Entware для анализа на backdoor и иных опасных вложений, составления компетентного мнения и его представления сообществу без раскрытия SourceCode.
• Если отсутствие исходников является для Вас проблемой - откажитесь от использования приложения, так всем будет спокойней.
• Проект вырос из идеи, изложенной на этом форуме.

Немного технических подробностей

Спойлер

• Бэкэнд: Go
• Фнонтэнд: HTML, JS, CSS 
• Взаимодействие с роутером: rci, ndmc

Механизм анализа DNS через NFLOG
Программа устанавливает правила iptables/ip6tables в цепочку OUTPUT таблицы mangle для перехвата DNS-ответов (порт 53 UDP/TCP) с помощью модуля xt_NFLOG. DNS-пакеты отправляются в NFLOG группу 100 через netfilter_queue. Монитор подписывается на эту группу через библиотеку go-nflog и получает копии пакетов в userspace без их блокировки.
Из DNS-ответов извлекаются A/AAAA записи с IP-адресами и CNAME-цепочки. Домены проверяются по watchlist через точное совпадение, суффиксы и regex-паттерны. При совпадении домена его IP добавляются в соответствующий ipset.

Механизм работы с iptables и ipset через netlink
Система взаимодействует с ipset напрямую через netlink-сокет NETLINK_NETFILTER без вызова внешних команд. Формируются низкоуровневые netlink-сообщения с протоколом NFNL_SUBSYS_IPSET: CREATE для создания ipset типа hash:net с опциональным timeout, ADD для добавления IP/CIDR, FLUSH для очистки.
Для iptables используется iptables-restore с опцией --noflush для массового добавления правил. Генерируется текстовый формат iptables-save с правилами CONNMARK для маркировки трафика в таблице mangle цепи PREROUTING: установка mark по ipset match, restore mark из conntrack. Это позволяет применить десятки правил одной операцией без блокировки.
Для direct routing к интерфейсам создаются правила с fwmark и таблицы маршрутизации через команды ip rule/ip route. Каждому интерфейсу выделяется уникальный fwmark и table ID.

Механизм санитайзинга и валидации
Домены проверяются по строгим критериям: длина 1-253 символа, только латиница, цифры, дефис и точка. Запрещены домены начинающиеся/заканчивающиеся точкой или дефисом. При парсинге watchlist отбрасываются строки с невалидным UTF-8. IP-адреса фильтруются: отклоняются unspecified (0.0.0.0/::), loopback (127.0.0.0/8/::1), сети 0.0.0.0/8, это предотвращает добавление служебных адресов в маршрутизацию. CIDR проверяются с валидацией IP и маски.

Механизм таймаутов в ipset для управления временем жизни адресов
Ipset-наборы создаются с поддержкой таймаута (по умолчанию 21600 секунд = 6 часов), что предотвращает бесконечное накопление устаревших IP-адресов.  По истечении таймаута запись удаляется из ipset, освобождая память и поддерживая актуальность маршрутизации.
Пользовательские CIDR из файла ip.list добавляются с бесконечным таймаутом (timeout=0). Это обеспечивает постоянную маршрутизацию статических диапазонов независимо от DNS-резолвов.
При отключении таймаутов (IpsetEnableTimeout=false) все адреса, включая DNS-резолвы, становятся постоянными и требуют ручной очистки.

Принцип работы hook-скрипта для поддержки правил в iptables
При изменениях в iptables/ip6tables таблицы mangle системой вызывается ndmc hook-скрипт. Скрипт проверяет существование PID-файла /var/run/hrneo.pid, валидирует что процесс с этим PID активен и отправляет сигнал работающему процессу приложения.
Обработчик сигналов перехватывает сигнал и вызывает функцию синхронизации правил Iptables. Функция получает актуальные markID политик через RCI API, сравнивает текущие правила iptables с требуемыми через кеш вывода iptables -t mangle -S. При обнаружении несоответствия markID удаляет старые правила через iptables -D и добавляет новые через iptables-restore. При полном отсутствии правил создает недостающие правила.
Удаление iptables правил может происходить при создании новой политики, up/down add/del интерфейса или других изменений конфигурации роутера.

*приведены лишь некоторые механизмы и решения, используемые в проекте.

Лучший и наиболее быстрый вариант задать вопрос или получить помощь: создать issue на Github или обратиться в группу Telegram.

[BACbKA]

И сразу озвучу детский вопрос: как только загрузился вэб-интерфейс, я убиваю существующую политику по умолчанию. Хочу создать новую. Создаю  новую единственную политику, через кнопку "+политика". Политика создаётся, я ей присваиваю имя, тут всё нормально. А потом под именем политики горит надпись "нет активного подключения", ну и, естественно, никакие правила внутри этой политики не работают. Если создаю интерфейс с кнопки "+интерфейс", выбирая при этом ВПН и забиваю туда правила, то эти правила отрабатывают.

Я так понимаю, что я делаю, что-то не так. Как в таком случае к существующей политике с надписью "нет активного подключения" присвоить интерфейс? И надо ли это делать? С чего правильно начинать настройку HydraRoute? Ибо в гайде указано два вида маршрутизации: по политике и по интерфейсу. Получается, что просто по политике настроить ума не хватает.

[Кинетиковод]

1 час назад, BACbKA сказал:

Как в таком случае к существующей политике с надписью "нет активного подключения" присвоить интерфейс?

Интерфейс привязывается к политике не в вебморде HR, а в вебморде роутера. 

 

[Кинетиковод]

@Ground_Zerro

Установил обновлённую версию Classic. В вебморде роутера вместо трёх политик создалась только одна. В старой версии было три. Баг или фича? Прошивка 5.0.2

[Ground_Zerro]

8 часов назад, Кинетиковод сказал:

Установил обновлённую версию Classic. В вебморде роутера вместо трёх политик создалась только одна. В старой версии было три. Баг или фича? Прошивка 5.0.2

[Maxim Bondarenko]

17 часов назад, Ground_Zerro сказал:

обратиться в группу Telegram.

а можно ссылку?

[Кинетиковод]

@Ground_Zerro

Установил обновлённую версию, увидел одну политику, подумал глюк. Переустановил ещё раз, опять одна политика, подумал точно глюк. Перечитал мануал, оказалось так задумано. Не знаю что ещё изменилось в новой версии, но работает она так же классно, как и предыдущая. 

8 часов назад, Maxim Bondarenko сказал:

а можно ссылку?

Тут.

[BACbKA]

21 час назад, Кинетиковод сказал:

Интерфейс привязывается к политике не в вебморде HR, а в вебморде роутера. 

 

О как? А можно подробней разжевать, для дилетанта?

[Кинетиковод]

43 минуты назад, BACbKA сказал:

А можно подробней разжевать, для дилетанта?

Почитайте мануал тут. Вроде всё понятно расписано. 

[BACbKA]

34 минуты назад, Кинетиковод сказал:

Почитайте мануал тут. Вроде всё понятно расписано. 

Сам виноват, разобрался. Просто одни и те же имена присваивал и не видел, что в вебе создаётся уже созданное.

[dchusovitin]

Если есть настроенный AdGuardHome, то лучше не запускайте скрипт удаления. Удаляет папку с настройками adh, зачем-то...
Делайте бэкапы и проверяйте скрипты перед запуском. В этот раз я поленился 

[Tommi]

Здравствуйте!

После удаления программы, так же удалилась библиотека jq с которой у меня много связанных других приложений, думаю так делать не стоит!

 

П.С. Спасибо за приложение, задумка интересная! Но надо бы теперь посмотреть не удалилось что-то ещё нужное из библиотек...  😁
Удалял если что как по мануалу:   curl -Ls "https://ground-zerro.github.io/release/keenetic/hr-uninstall.sh" | sh

[TheBB]

2 часа назад, Tommi сказал:

не удалилось что-то ещё

from hr-uninstall.sh: 

	opkg remove hrneo hrweb ipset iptables jq hydraroute adguardhome-go node node-npm

 

[Ground_Zerro]

@BACbKA @dchusovitin

Скрипт появился не на ровном месте, тому были причины. Пользователи, которые не слишком разбираются, задавали одни и те же вопросы — "Как удалить AGH?", "Как включить системный DNS?", "Как всё удалить?". Спрашивали очень часто и каждый раз это отнимало много времени. И казалось бы, что сложного ввести две команды в терминал или CLI? Какие там могут возникнуть затруднения? А вот могут и больше, иной раз процесс переписки в целях "починить" на несколько дней затягивался. Не все семи пядей во лбу, да и не нужно это простым людям - в эти дебри погружаться.
Так и появился hr-uninstall.sh. Внутри тусовки зовём его "АНИГИЛЯТОР".

Опытные пользователи, всегда могут воспользоваться официальным способом удаления OPKG-пакетов - об этом есть запись в репозитории. Наверное, стоит добавить туда пометку про Анигилятор, раз уже прожжённые камрады базовый вопрос, как удалить пакет, задавать начали.
 

@TheBB

Спасибо.

[Tommi]

2 часа назад, TheBB сказал:

from hr-uninstall.sh: 

	opkg remove hrneo hrweb ipset iptables jq hydraroute adguardhome-go node node-npm

 

Ага, спасибо! На 31 строке hr-uninstall.sh уже увидел данную строчку, из этого у меня было как раз ipset, iptables, jq, node, node-npm )))

 

2 часа назад, Ground_Zerro сказал:

Наверное, стоит добавить туда пометку про Анигилятор

Наверное да, а то из репозитория инфо "полное удаление (в т.ч. файлы, логи etc.) с откатом всех изменений в системе:" не однозначно понятно, но правильно конечно было бы, мне залезть и проверить самому, поторопился