Возможность добавления маршрута по домену

[aceventura]

Думал как сформулировать тему, ну как получилось... Если уже было - крайне извиняюсь, значит тему следует закрыть.

Хотелось бы иметь возможность (штатными средствами) использовать в правилах межсетевого экрана, nat и всего-всего прочего списки ip адресов, которые бы наполнялись при разрешении заданных доменных имен.

Попадались два подхода:

1) Как в mikrotik - в /ip firewall address-list add address=example.com list=myiplist указывается домен и список, роутер тут же (и автоматически по ttl, если не ошибаюсь) обновляет его. Да, минус - поддомены таким образом не обрабатываются, только то, что явно указали. Зато зависит от того. использует ли клиент данный роутер как dns сервер.

2) Когда dns сервер сам при разрешении имен добавляет в таблицу адрес (dnsmasq: ipset=/example.com/example.net/myiplist) при запросе клиентом. Плюс - обрабатываются поддомены, при этом только то что реально нужно (что запросили клиенты). Но нужно заворачивать все запросы на встроенный резолвер (что уже и так есть в кинетике).

Тут уже есть Есть ли возможность добавить в МСЭ списки IP-адресов?,, а также много про блокировку по url, что, в случае с https можно решить. используя списки ip, разрешенные из доменных имен.

[Denis P]

В 04.05.2021 в 10:34, ndm сказал:

Раньше как-то было посвободнее, задачи выбирали себе сами.

Голосов много, задачу отлично видно! Просьба ко всем, пожалуйста:

1. не постить "апы". 
2. описана техническая сторона вопроса, но нет случаев из жизни

Случаев из жизни как минимум два, правда второй уже относится к мсэ, но тем не менее:

1) ходить на определенные сайты/сервисы через другое подключение (VPN или второго провайдера)

2) блокировать/разрешать доступ к ресурсам/спискам по домену для определенного клиента

[Art-9]

Это одна из причин почему я до сих пор использую роутер с OpenWrt - возможности и удобство маршрутизации о которой на Keenetic'е можно только мечтать (надеюсь что временно).

Возможно разработчикам пригодится - посмотрите как сделано > https://docs.openwrt.melmac.net/vpn-policy-routing/

 

[Panda777]

В 04.05.2021 в 08:34, ndm сказал:

Раньше как-то было посвободнее, задачи выбирали себе сами.

Голосов много, задачу отлично видно! Просьба ко всем, пожалуйста:

1. не постить "апы". 
2. описана техническая сторона вопроса, но нет случаев из жизни

Какие вам случаи из жизни нужны ) Обычная безопасность в интернете. Это главный критерий. 

Вот например я везде хожу через vpn. Однако есть сервисы, которые не дают работать через vpn, ivi например. Я там смотрю фильмы по подписке. Официально. И что, мне нужно постоянно включать, отключать vpn ради пары сервисов? Вот была бы эта фишка, раз настроил и забыл. Всем жить было бы легче. 

Таких примеров море 

[Владимир Плахотников]

АП! Актуально и востребовано!

 

Случай из жизни. Есть основное подключение к интернету - PPPoE, быстрое. Есть дополнительное VPN-поключение к серверам по работе - медленное, OpenVPN.

Проблема: выставляя приоритет VPN -> PPPoE доступ по работе есть, но весь трафик течёт через VPN - медленно. Выставляя приоритет PPPoE -> VPN, к работе доступа нет, но скорость отличная.

Что хочется: направить *.domain.com на VPN, а остальное - на PPPoE

Изменено 22 июня, 2021 пользователем Владимир Плахотников

[aceventura]

В 22.06.2021 в 22:47, Владимир Плахотников сказал:

АП! Актуально и востребовано!

 

Случай из жизни. Есть основное подключение к интернету - PPPoE, быстрое. Есть дополнительное VPN-поключение к серверам по работе - медленное, OpenVPN.

Проблема: выставляя приоритет VPN -> PPPoE доступ по работе есть, но весь трафик течёт через VPN - медленно. Выставляя приоритет PPPoE -> VPN, к работе доступа нет, но скорость отличная.

Что хочется: направить *.domain.com на VPN, а остальное - на PPPoE

извините что лезу с советами, но если это соединение по работе то там наверняка какая-то статическая подсеть, которую вполне можно указать в разделе Маршрутизация -> Пользовательские маршруты -> Маршрут до сети .. и интерфейс (openvpn); вряд ли корпоративная сеть раз в месяц прыгает с 192.168.... 50.0/24 на 10.220.100.0/23 например.. кажется нереальным случаем. адрес сайта с поддоменами в интернете вполне может быстро и без проблем "переплыть" к другому провайдеру, а целая корпоративная сеть..  хм интересно зачем.. 

[Владимир Плахотников]

В 10.07.2021 в 10:07, Hotery сказал:

извините что лезу с советами, но если это соединение по работе то там наверняка какая-то статическая подсеть, которую вполне можно указать в разделе Маршрутизация -> Пользовательские маршруты -> Маршрут до сети .. и интерфейс (openvpn); вряд ли корпоративная сеть раз в месяц прыгает с 192.168.... 50.0/24 на 10.220.100.0/23 например.. кажется нереальным случаем. адрес сайта с поддоменами в интернете вполне может быстро и без проблем "переплыть" к другому провайдеру, а целая корпоративная сеть..  хм интересно зачем.. 

Там около 25 сервисов со схожим именованием, которые лежат на разных серверах в разных регионах. Периодически появляются новые и исчезают старые. Поэтому проще их по имени маршрутизировать, чем подсети искать и прописывать.

[Proms]

Случай из жизни:

 

Есть сервис для облачного гейминга stadia.google.com, в России официально не работает, имеет десятки (если не сотни) ip. В надежде что я когда нибудь пополню лист маршрутизации всеми ip данного сервиса в итоге начал через vpn периодически работать Youtube, и другие сервисы гугла. Есть и другие примеры, но этот как самый очевидный. 

Да и вообще касаемо серверов крупных компаний, очевидно что у них сотни айпи. И использовать тот же youtube, gmail и т.д. через VPN средствами маршрутизации по ip невозможно. 

Изменено 21 июля, 2021 пользователем Proms

[r13]

55 минут назад, Proms сказал:

Случай из жизни:

 

Есть сервис для облачного гейминга stadia.google.com, в России официально не работает, имеет десятки (если не сотни) ip. В надежде что я когда нибудь пополню лист маршрутизации всеми ip данного сервиса в итоге начал через vpn периодически работать Youtube, и другие сервисы гугла. Есть и другие примеры, но этот как самый очевидный. 

Да и вообще касаемо серверов крупных компаний, очевидно что у них сотни айпи. И использовать тот же youtube, gmail и т.д. через VPN средствами маршрутизации по ip невозможно. 

Имейте ввиду, что если это добавят, то проблемы пересечения по ip разных сервисов это не решит, так как маршрутизация в любом случае останется по ip, просто автоматизируется добавление ip по домену которое вы сейчас руками делаете

[Proms]

2 часа назад, r13 сказал:

Имейте ввиду, что если это добавят, то проблемы пересечения по ip разных сервисов это не решит, так как маршрутизация в любом случае останется по ip, просто автоматизируется добавление ip по домену которое вы сейчас руками делаете

Не так страшно. Самая большая проблема это каждый раз добавлять руками по 3-6 ip.

[Art-9]

3 часа назад, r13 сказал:

Имейте ввиду, что если это добавят, то проблемы пересечения по ip разных сервисов это не решит, так как маршрутизация в любом случае останется по ip, просто автоматизируется добавление ip по домену которое вы сейчас руками делаете

Ну на 100% не решит (всегда есть вероятность что на одном IP работают разные сервисы), но вероятность возникновения этой проблемы значительно уменьшит и жизнь облегчит. Сейчас (как пример) чтобы пустить видео с ютуба напрямую (когда весь остальной трафик через VPN), то необходимо прописать все IP - AS15169 Google (коих за 14 млн.) + прописать IP местного провайдера на которых находятся кэширующие серверы Google.

А если запилят нормальную маршрутизацию с поддержкой поддоменов (и еще бы завезли маршрутизацию по меткам DSCP для отдельных приложений... мечты), то достаточно будет указать домен googlevideo.com и ВСЁ, никаких миллионов IP (с задеванием других сервисов) и гемора по добавлению IP и слежением за ними.

1 час назад, Andrey Andreev сказал:

получается все видят данную проблему кроме администрации, господа администраторы обратите пожалуйста свое внимание на возможность реализации данной задачи.

это очень важно и очень нужно, спасибо

Видать не так просто реализовать данный функционал(

Изменено 21 июля, 2021 пользователем Art-9

[keenet07]

Там есть свои сложности. Помимо того что эти сотни, возможно и для кого-то и тысячи IP адресов нужно будет где-то хранить. Если в основном конфиге, то это накладно по размеру. Если не в нем, то это проблемы с переносом конфигурации. Сами правила маршрутизации то точно в конфиг должны будут попадать. 

Плюс желательно разработать оптимальный механизм автоматического обновления и чистки этих списков. Не всё так просто. Тут целая отдельная служба должна работать.

Изменено 21 июля, 2021 пользователем keenet07

[Art-9]

Хранить только то что связано с доменами а остальное в RAM - добавлять IP в таблицу по запросу клиента к домену, автоматически обновлять и чистить смысла нет, в худшем случае (при полном заполнение таблицы) тупо перезаписывать.

Сейчас все это (при наличии модели с USB) делается через OPKG (можно даже не отказываться от фильтрации/не фильтрации по DNS для локальных устройств - достаточно запустить Dnsmasq совместно с AdGuard Home). Единственная проблема - fastnat 0 и юзабилити.

Изменено 21 июля, 2021 пользователем Art-9

[krass]

Надо подождать год: "Но это не раньше, чем 1210 и прочие устройства с 16 Мбайт flash выйдут из поддержки по соображениям занимаемого места."

https://forum.keenetic.net/topic/381-полноценная-поддержка-ipv6/page/2/?sortby=date

 

[Proms]

2 часа назад, Art-9 сказал:

Ну на 100% не решит (всегда есть вероятность что на одном IP работают разные сервисы), но вероятность возникновения этой проблемы значительно уменьшит и жизнь облегчит. Сейчас (как пример) чтобы пустить видео с ютуба напрямую (когда весь остальной трафик через VPN), то необходимо прописать все IP - AS15169 Google (коих за 14 млн.) + прописать IP местного провайдера на которых находятся кэширующие серверы Google.

 

Ну вот допустим в моем случае если ютуб будет крутить иногда через VPN - вообще не проблема, он выдает все 300 мбит/с, как и провайдер. А вот добавлять ip руками настоящий геморрой

[Dr. Anime]

Реализация всего этого может и не супер простая, но в нынешних реалиях это просто мега мастхев.

Изменено 23 июля, 2021 пользователем Dr. Anime

[Proms]

В 24.07.2021 в 00:35, Dr. Anime сказал:

Реализация всего этого может и не супер простая, но в нынешних реалиях это просто мега мастхев.

согласен. очень ждем

[8gpih]

On 5/4/2021 at 8:34 AM, ndm said:

описана техническая сторона вопроса, но нет случаев из жизни

Реальный пример: весь трафик завёрнут в VPN (без этого совершенно никак, так как провайдер не имеет DPI, поэтому просто рубит по HTTPS доступ ко многим IP-адресам CloudFlare, чтобы хоть как-то исполнять блокировки, даже если на этих адресах уже давно сидят не запрещённые ресурсы, а вполне безобидные). Но при этом невозможно редактировать Википедию, поскольку в Википедии закрыто редактирование с диапазонов VPN-провайдеров и хостеров. Необходимо добавить маршрут по домену, чтобы до Википедии трафик шёл в обход VPN. Таким же страдает, например, Авито.

[PaWeLL]

Зашел сюда, чтобы написать это предложение, а тема уже существует.

Столкнулся с описанными выше проблемами после того, как Lostfilm начал менять адреса по 10 раз на дню. Функция автоматического обновления IP-адресов маршрутизируемых доменов была бы очень кстати.

Наврядли для этого нужно очень много места и ресурсов. Тем более всегда можно ограничить количество доменов.

А пока что пришлось писать собственный костыль для обновления маршрутов в роутере вслед за изменениями IP адресов, т.к. надоело постоянно лазать в веб-морду роутера.

[Panda777]

Разработчики, вы хоть что то ответите на вопросы? Такое впечатление что форум просто живёт своей жизнью. Вообще непонятно, есть тут кото-то из представителей способных объективно ответить на вопросы пользователей?

[krass]

34 минуты назад, Panda777 сказал:

Разработчики, вы хоть что то ответите на вопросы? Такое впечатление что форум просто живёт своей жизнью. Вообще непонятно, есть тут кото-то из представителей способных объективно ответить на вопросы пользователей?

Так уже же ответили -- перечитайте. Осталось подождать ...

[yuri-kurenkov]

Вы пишете о том, что на како-то доменном имени часто меняются IP? Вы хотите, чтобы межсетевой экран занимался резолвингом IP на каждый проходящий мимо пакет? А если не накаждый, то когда, как часто? Ведь надо соответствие lP-доменное имя держать актуальным. Или в страивать прямо в межсетевой экран резолвер, и чтобы он еще держал в памяти значение TTL для каждой записи и через это значение обновлял? Что-то монстроидально-уродское получается из набора веревок и костылей.

[yuri-kurenkov]

А как будет срабатывать блокировка, если клиент решил запросить IP какого-то ресурса не у keenetic, а например у 8.8.8.8?

[Art-9]

3 часа назад, yuri-kurenkov сказал:

Вы хотите, чтобы межсетевой экран занимался резолвингом IP на каждый проходящий мимо пакет?

По простому - клиент запрашивает IP домена у DNS сервера (что происходит в независимости от наличия маршрутизации по домену), DNS сервер возвращает IP домена клиенту + (если этот домен добавлен в правила для маршрутизации) добавляет этот же IP в ipset для последующей маршрутизации на заданный интерфейс. Если IP у домена изменится, то новый IP (при очередном запросе от клиента) добавится в таблицу.

Пример как это работает на Entware >

© Александр Рыжов

Цитата

Этот алгоритм таскаю из прошивки в прошивку уже не первый год, он заключён в следующем:

    вместо прошивочного будет использован собственный резолвер dnsmasq, умеющий складывать результаты резовинга перечисленных в конфиге доменов в отдельный ipset,
    на транзитных пакетах к/от выбранных ресурсов средствами iptables ставится определённая метка fwmark,
    для помеченных пакетов используется отдельная таблица роутинга, отправляющая помеченные пакеты в VPN-туннель.

https://keenetic-gi.ga/2018/01/16/selective-routing.html

 

Изменено 1 сентября, 2021 пользователем Art-9

[Le ecureuil]

В 27.08.2021 в 21:52, Panda777 сказал:

Разработчики, вы хоть что то ответите на вопросы? Такое впечатление что форум просто живёт своей жизнью. Вообще непонятно, есть тут кото-то из представителей способных объективно ответить на вопросы пользователей?

Какого ответа вы ожидаете, которого еще нет в теме?

[Panda777]

1 час назад, Le ecureuil сказал:

Какого ответа вы ожидаете, которого еще нет в теме?

Покажите пожалуйста ответ по данному вопросу. Может я не заметил, или вам кажется что тут кто-то ответил по существу? Но я не нашёл сообщений указывающих на то что:

1. Данный вопрос интересный и планирует разрабатываться тогда-то

2. Данный вопрос разрабатывается и скоро будет готово, тогда-то  примерно

3. Данный вопрос не прорабатывается по причине такой-то, и его даже нет в планах реализации.

 

[keenet07]

@Panda777 Из того что сказано: 

Одному из разработчиков который бы мог непосредственно этим заняться данная идея в принципе нравится.

Но, есть много других задач спущенных откуда-то ещё сверху и времени на это пока нет.

И третье, задача всё ещё находится в фокусе разработчиков, но требуется больше примеров применения данного функционала в жизни.

Изменено 1 сентября, 2021 пользователем keenet07

[Le ecureuil]

10 минут назад, Panda777 сказал:

Покажите пожалуйста ответ по данному вопросу. Может я не заметил, или вам кажется что тут кто-то ответил по существу? Но я не нашёл сообщений указывающих на то что:

1. Данный вопрос интересный и планирует разрабатываться тогда-то

2. Данный вопрос разрабатывается и скоро будет готово, тогда-то  примерно

3. Данный вопрос не прорабатывается по причине такой-то, и его даже нет в планах реализации.

 

Я уже писал первым ответом: мне идея нравится. А ndm вам написал, что сейчас времени мало, потому "планирует разрабатываться когда-нибудь". Что из этого было непонятно?

[Panda777]

14 минуты назад, Le ecureuil сказал:

Я уже писал первым ответом: мне идея нравится. А ndm вам написал, что сейчас времени мало, потому "планирует разрабатываться когда-нибудь". Что из этого было непонятно?

И что с того идея нравится? 100 голосов у вопроса, и всем нравится =))) ndm не писал что "планирует разрабатываться когда-нибудь". Прикладываю скрин его ответа, чтобы не быть голословным. Ответов по существу нет ни одного. Вот по этому я и спрашиваю. 

[Le ecureuil]

Все равно не понял. Вы хотите точных сроков и обязательств? Этого не будет. А свое отношение мы уже высказали.

[Le ecureuil]

1 час назад, keenet07 сказал:

И третье, задача всё ещё находится в фокусе разработчиков, но требуется больше примеров применения данного функционала в жизни.

Примеры ясны, необходимость в целом тоже