Почему PMTUD ломается на MPLS и как это ловить
Три часа диагностики свелись к одной цифре в заголовке пакета. Записал, чтобы не повторять.
Симптом был классический: ICMP проходит, TCP-соединение устанавливается, но как только в потоке появляется крупный пакет, сессия замирает. Клиент повторяет один и тот же сегмент, ответа нет.
Причина — инкапсуляция. На пути стоит MPLS-транспорт с метками и GRE внутри, эффективный MTU уменьшается на 24–40 байт, а ICMP «fragmentation needed» до источника не доходит: фильтр на границе его режет. Классическая чёрная дыра.
Что помогло: tracepath вместо ping -M do — он показывает PMTU по пути,
и tcpdump -ni any 'tcp[tcpflags] & tcp-syn != 0' на обеих сторонах, чтобы увидеть MSS.
Дальше — iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
на границе и явный mtu 1400 в туннельном интерфейсе.
Вывод: если сетевая проблема «плавающая» и зависит от размера данных — начинать с MTU, а не с приложений.