bird4

[alexandr-ad]

А кто-нибудь знает, как настроить все это для двух isp?

Например. Есть основной и резервный провайдер. В роутере у них проставлены соответсвующие приоритеры (1, 2), у впн-подключения - 3. Если отваливается один провайдер, автоматом подхватывается второй. Но bird настроен на первого провайдера (в скрипте в параметре ISP указан его шлюз). Задача, чтоб основной шлюз мог меняться динамически.

Не то чтоб критично, но интересно, реально ли ак сделать)?

Изменено 25 декабря, 2022 пользователем alexandr-ad

[DennoN]

Можно примерно как с двумя впн сделать. То есть из одного файла будут заполнятся 2 списка с разным приоритетом. Нужно менять конфиг bird указав брать данные из нового файла. Ну и скрипт add-bird route тоже менять, что бы он этот список генерил.

Изменено 25 декабря, 2022 пользователем DennoN

[Yevgen16]

Всех с новым годом!

Сделал обход блокировок, в принципе всё работает, но есть непонятные моменты.

В файл user-vpn.list внес хосты твиттера:

twitter.com
abs.twimg.com
pbs.twimg.com
app.link
api.twitter.com
ads-api.twitter.com
t.co

Но тем не менее полностью сайт не открывается. По F12 в браузере смотрю куда идет обращение. При обращении к api.twitter.com всё равно отдает статус "заблокировано", хотя он и внесен в user-vpn.list. Остальные хосты отдают статус "200".

Это как-то решаемо?

[alexunderboots]

22 минуты назад, Yevgen16 сказал:

Всех с новым годом!

Сделал обход блокировок, в принципе всё работает, но есть непонятные моменты.

В файл user-vpn.list внес хосты твиттера:

twitter.com
abs.twimg.com
pbs.twimg.com
app.link
api.twitter.com
ads-api.twitter.com
t.co

Но тем не менее полностью сайт не открывается. По F12 в браузере смотрю куда идет обращение. При обращении к api.twitter.com всё равно отдает статус "заблокировано", хотя он и внесен в user-vpn.list. Остальные хосты отдают статус "200".

Это как-то решаемо?

Tracerr api.twitter.com

и смотри, идет-ли в туннель

+сброс DNS на хостах и браузере постоянно надо делать

[Yevgen16]

2 часа назад, alexunderboots сказал:

Tracerr api.twitter.com

Не хочет в туннель. Только этот адрес и не идет почему-то.

2 часа назад, alexunderboots сказал:

+сброс DNS на хостах и браузере постоянно надо делать

Вроде сбрасываю...

[nplm]

у меня не получается завернуть в впн themoviedb.org, в файл user-vpn.list внес, но на сайт не пускает, днс адгвард, при переключении на впн вручную в вебморде роутера сайт начинает открываться без проблем

Изменено 3 января, 2023 пользователем nplm

[DennoN]

@nplm на роутере в консоли ssh

dig www.themoviedb.org +short

что выдает?

у меня в зависимости от днса к котормоу обращаюсь выдает совершенно разные адреса, в том числе и 127.0.0.1

ну и с компа тоже, что получается при команде

nslookup www.themoviedb.org

Изменено 3 января, 2023 пользователем DennoN

[alexunderboots]

47 минут назад, nplm сказал:

у меня не получается завернуть в впн themoviedb.org, в файл user-vpn.list внес, но на сайт не пускает, днс адгвард, при переключении на впн вручную в вебморде роутера сайт начинает открываться без проблем

9.9.9.9

[nplm]

@DennoN 

Если переключить роутер на впн

dig www.themoviedb.org +short
108.156.22.87
108.156.22.129
108.156.22.37
108.156.22.103

nslookup www.themoviedb.org
18.164.124.80
18.164.124.21
18.164.124.68
18.164.124.119

nslookup api.themoviedb.org
18.164.124.75
18.164.124.98
18.164.124.55
18.164.124.120

 

Если впн в качестве резервного соединения

nslookup themoviedb.org
108.157.229.41
108.157.229.16
108.157.229.116
108.157.229.46

nslookup www.themoviedb.org
127.0.0.1

nslookup api.themoviedb.org
127.0.0.1

 

Изменено 3 января, 2023 пользователем nplm

[DennoN]

тут днсы чудят. нужно на роутере те же 9.9.9.9 поставить, а остальные убрать. и проверить, что комп ходит к роутеру за днсами, а роутер ходит уже к 9.9.9.9

[nplm]

да, с quad dns все заработало, спасибо! но вообще странно, я думал что если всё работало с тем же адгвардом при включенном впн по умолчанию, то должно было работать и с выборочной маршрутизацией сайта

 

[DennoN]

там проблема в том, что при включенном впне как основным доступом в инет, у тебя даже днс траффик заворачивается в днс. А вот если заворачивать через выборочную маршрутизацию, то обычно сервера днсов туда не попадают и траффик ходит через провайдера на прямую. А дальше возможно магия на днсах в виде разных ответов в зависимости  от того, от куда клиент пришел. Или роутер выбирал более доступный днс, и при впне какой-то нормальный был доступнее, чем тот, который использовался при прямом доступе.

[vasek00]

1 час назад, nplm сказал:

да, с quad dns все заработало, спасибо! но вообще странно, я думал что если всё работало с тем же адгвардом при включенном впн по умолчанию, то должно было работать и с выборочной маршрутизацией сайта

 

то обычно сервера днсов туда не попадают и траффик ходит через провайдера на прямую. А дальше возможно магия на днсах в виде разных ответов в зависимости  от того, от куда клиент пришел.

 

Клиент WARP попытка попасть на сайт https://www.themoviedb.org/ не удачна, даже при том что у меня Adguardhome который сидит на чистом канале провайдера и использует tls://1dot1dot1dot1.cloudflare-dns.com и tls://dns.google.com, т.е. запросы DNS идут на прямую на них, а сами данные по каналу VPN - WG.

Но стоит прописать в yaml

upstream_dns:
    - tls://1dot1dot1dot1.cloudflare-dns.com
    - tls://dns.google.com
    - '[/themoviedb.org/]9.9.9.9'
    - '[/tmdb.org/]9.9.9.9'

или

    - '[/themoviedb.org/]84.200.69.80'
    - '[/tmdb.org/]84.200.69.80'
это DNS - DNS.WATCH

В итоге можно использовать upstream_dns например

DNS-over-HTTPS (DoH): https://resolver2.dns.watch/dns-query

 

Изменено 3 января, 2023 пользователем vasek00

[DennoN]

    - '[/themoviedb.org/]9.9.9.9'
    - '[/tmdb.org/]9.9.9.9'

можно превратить в

    - '[/themoviedb.org/tmdb.org/]9.9.9.9'

[PASPARTU]

В 01.01.2023 в 10:55, Yevgen16 сказал:

Всех с новым годом!

Сделал обход блокировок, в принципе всё работает, но есть непонятные моменты.

В файл user-vpn.list внес хосты твиттера:

twitter.com
abs.twimg.com
pbs.twimg.com
app.link
api.twitter.com
ads-api.twitter.com
t.co

Но тем не менее полностью сайт не открывается. По F12 в браузере смотрю куда идет обращение. При обращении к api.twitter.com всё равно отдает статус "заблокировано", хотя он и внесен в user-vpn.list. Остальные хосты отдают статус "200".

Это как-то решаемо?

Добавьте в VPN лист

 

AS16509
AS13414
AS16509
AS15133
AS54113

Изменено 4 января, 2023 пользователем PASPARTU

[Oleg Ivanov]

 

Скрытый текст

Янв 6 14:39:41

vnstatd[724]

Error: ovpn_br1: Invalid database daily date order: 1672329571 (0) < 1672869609 (1)

Янв 6 14:39:41

vnstatd[724]

Error: ovpn_br1: Invalid database daily date order: 1672328710 (0) < 1672869609 (1)

Янв 6 14:39:41

vnstatd[724]

Error: Unable to use database "/opt/var/lib/vnstat/ovpn_br1" or backup database "/opt/var/lib/vnstat/.ovpn_br1".

Янв 6 14:39:41

vnstatd[724]

Error: ppp0: Invalid database daily date order: 1672329571 (0) < 1672869609 (1)

Янв 6 14:39:41

vnstatd[724]

Error: ppp0: Invalid database daily date order: 1672328710 (0) < 1672869609 (1)

Янв 6 14:39:41

vnstatd[724]

Error: Unable to use database "/opt/var/lib/vnstat/ppp0" or backup database "/opt/var/lib/vnstat/.ppp0".

Здравствуйте сегодня обнаружил что в логах ошибки , с чем может быть связано? Обход работает нормально.

Изменено 6 января, 2023 пользователем Oleg Ivanov

[DennoN]

@Oleg Ivanov скрипт в эти файлы не лезет и с ними никак не работает

Так что дело не в этом.

гугл вот что нашел

https://primejyothi.blogspot.com/2017/07/vnstat-recovering-from-error-invalid.html

[DennoN]

В 12.12.2022 в 16:48, usan сказал:

Добрый день.

Возможно ли добавлять в сформированные списки bird4-*.list комментарий из какой строки user-*.list получился маршрут?

Возникла ситуация, в оба файла bird4-force-isp.list и bird4-force-vpn1.list попал один и тот же ip, хотелось понять из каких доменов.

если еще актуально, то в скрипте add-bird4_routes.sh нужно к команде iprange добавить ключ -v

было

    get_as_func "$2" | iprange --print-prefix "route " --print-suffix-nets " via $1;" --print-suffix-ips "/32 via $1;" -
  else
    get_as_func "$2" | iprange --print-prefix "route " --print-suffix-nets " via \"$1\";" --print-suffix-ips "/32 via \"$1\";" -

 

стало

    get_as_func "$2" | iprange -v --print-prefix "route " --print-suffix-nets " via $1;" --print-suffix-ips "/32 via $1;" -
  else
    get_as_func "$2" | iprange -v --print-prefix "route " --print-suffix-nets " via \"$1\";" --print-suffix-ips "/32 via \"$1\";" -

 

потом руками запустить скрипт и внимательно смотреть вывод. там будет много лишней информации, но инфа про какие домены в какие адреса резолвит - есть

[DennoN]

Обновление!

Версия 3.3.2. Изменения по сравнению с 3.3

## v3.3.1

1) Переделан метод составления общих списков для конфигурации с двумя впн. Теперь не будет второй раз запрашивать одно и тоже

## v3.3.2

1) Добавлена возможность дебага, через переменную DEBUG. По умолчанию выставлено 0 - выключено. Что бы включить нужно установить DEBUG=1. Информация будет выводится на экран консоли. Выводится информация о том, какой шаг выполняется, и более детальная работа команд diff (выводит изменения, которые накладываются на текущие файлы с маршрутами) и iprange (выводит информацию о суммиризации списков и резолв доменов из пользовательских списков). После отладки рекомендуется установить обратно переменную в 0

2) Сделана функция diff_funk, для уменьшения одинаковых команд в коде

 

[Oleg Ivanov]

В 06.01.2023 в 14:53, DennoN сказал:

@Oleg Ivanov скрипт в эти файлы не лезет и с ними никак не работает

Так что дело не в этом.

гугл вот что нашел

https://primejyothi.blogspot.com/2017/07/vnstat-recovering-from-error-invalid.html

спасибо , исправил. удалил все бекапы и прописал новые пути к ним.

[FixFever]

Возникла проблема, возможно после обновления keenetic giga до 3.9.2.
Роутер начал перезагружаться множество раз в день, но не чаще чем раз в час. Если вытащить из роутера флешку с OPKG, то ребуты прекращаются. Похоже на то что обновление списка ip крашит роутер.
В качестве VPN использую L2TP-протокол.
Во вложениях логи за время краша - я там ничего понятного не нашел.
Пробовал заново переустановить entware и выполнить скрипт - проблема сохранилась.
Есть идеи в чем может быть дело?

log (21).txt

Изменено 9 января, 2023 пользователем FixFever

[Сергей Плотников]

Есть предложение в описание известных проблем добавить, что обязательно должен быть обновлен busybox (столкнулся с той же проблемой, что и в статье - не знает команду =~). Также у себя прописал в файле add-bird4_routes.sh вместо явного указания IP-адреса шлюза провайдера:

ISP=`ip route | grep default | cut -f 3 -d' '`

 

[Alarm19]

В 09.06.2022 в 02:07, Tiko сказал:

Доброй ночи! 

Обратите внимание, что у yt3.ggpht.com не статический ip адрес, он постоянно меняется, тоже столкнулся с данной проблемой, пока решается отловом всех ip адресов и запись их в user-vpn.list.

yt3.ggpht.com
62.173.139.234
64.233.161.132
64.233.161.198
64.233.162.198
64.233.164.132
64.233.164.198
64.233.165.198
74.125.131.198
74.125.205.198
108.177.14.198
142.250.74.161
142.250.150.198
142.251.1.198
142.251.5.198
173.194.73.198
173.194.221.198
173.194.222.198
188.43.20.67
188.186.146.207
188.186.154.88
194.67.1.14
209.85.233.198

 

У вас работает до сих пор решение? Обновился ли список или он настолько большой что идея в итоге не сработала?

[MihaBor]

Добрый день, подскажите, как сделать что бы bird4 стартовал всегда после ребута?

Сейчас после установки и после ребута, всегда надо заходить в ssh и руками запускать

# Starting Services
/opt/root/Bird4Static/scripts/bird-table.sh start
/opt/etc/init.d/S04bird1-ipv4 start
/opt/etc/init.d/S10cron start
/opt/root/Bird4Static/scripts/add-bird4_routes.sh

[MihaBor]

1 час назад, Alarm19 сказал:

У вас работает до сих пор решение? Обновился ли список или он настолько большой что идея в итоге не сработала?

https://otx.alienvault.com/indicator/domain/ggpht.com

Там IP адресов, ужос..

[DennoN]

52 минуты назад, MihaBor сказал:

Добрый день, подскажите, как сделать что бы bird4 стартовал всегда после ребута?

вообще все что в init должно само стартовать

точно S04bird1-ipv4 и S10cron после перезагрузки роутера не запущены?

проверить можно так:

~ # /opt/etc/init.d/S10cron check
 Checking cron...              alive.
~ # /opt/etc/init.d/S04bird1-ipv4 check
 Checking bird4...              alive.

так же в init.d должен быть S02bird-table, но его check-ом не проверить)

Изменено 10 января, 2023 пользователем DennoN

[MihaBor]

25 минут назад, DennoN сказал:

вообще все что в init должно само стартовать

точно S04bird1-ipv4 и S10cron после перезагрузки роутера не запущены?

проверить можно так:

~ # /opt/etc/init.d/S10cron check
 Checking cron...              alive.
~ # /opt/etc/init.d/S04bird1-ipv4 check
 Checking bird4...              alive.

так же в init.d должен быть S02bird-table, но его check-ом не проверить)

Мне кажется, оно просто не успевает правильно стартануть, может поменять им приоритет? типа S99 выставить, или может как-то это можно проверить (залогировать?) 

[DennoN]

@Сергей Плотников done спасибо!

@FixFever по поводу ребутов. А если просто запустить скрипт

/opt/root/Bird4Static/scripts/add-bird4_routes.sh то тоже роутер крашится? вообще странно, тоже на 3.9.2 такой проблемы нет...

Можно обновиться на новую версию и включить дебаг режим, тогда может будет понятно какой этап не крашит систему

@MihaBor вообще в интерфейсе роутера на странице Диагностика есть кнопка Показать журнал. У меня там прилетают сообщения вида Started cron from . Started bird from .
Только так как это происходит при запуске роутера, то этом окне инфы об этих сервисах может и не быть, так как ты не успеешь залезть в вэб морду перед тем, как роутер стартонет. Можно попробовать opkg выключать и включать.

 

Изменено 10 января, 2023 пользователем DennoN

[Oleg Ivanov]

bbc.com не уходит на впн, 

ip добавил которые выдал nslookup

151.101.128.81

151.101.0.81

151.101.192.81

151.101.64.8

 

Так же есть вопрос как перенаправить трафик если подключение идет по впн к роутеру чтобы это подключение также проходило через bird?

[DennoN]

Обновление!

Версия 3.4

1) Переделан установщик на более универсальную версию. Теперь в теории может работать не только с кинетиками, а с любыми роутерами, у которых домашняя папка Entware содержит /opt (тестировал только на кинетике, так что могут быть проблемы с другими, но вроде бы не должно)

2) В diff_funk добавлен алгоритм проверки. Сейчас проверяется только скачанный список с антифильтра, если он придет пустой или не скачается, то изменения в маршруты внесены не будут (если сервис ляжет или изменится адрес, то пока не будет указан рабочий урл - скрипт не будет обнулять список роутов)

3) В установочном скрипте добавлена возможность выбрать из двух сервисов для получения списков блокировок или ввода своего

Список изменений в коде и в ридми с чейнджолгом

https://github.com/DennoN-RUS/Bird4Static/compare/v3.3.2...v3.4

Изменено 13 января, 2023 пользователем DennoN