Сегодня внезапно отвалилась оверлейная сеть. Когда начал разибраться – то выяснилось странное. Не стартовал web интерфейс, и половина контейнеров не работала.

Проблема

Когда я подключился на vCenter то увидел совершенно дичайшее потребление CPU.

А внутри машины отображалась вот эта ошибка.

В общем из-за того, что надиске кончилось место контейнер с Caddy не смог переполучить SSL-сертификат, пиры не смогли установить шфированное соединение ну а дальше все пошло по бороде. Я, естественно, добавил диска, перезапустил машину – но caddy все равно не стартанул корректно. Тогда после того как я облазил весь GitHub у NetBird я нашел похожую проблему.

Решение

Надо

1. Посмотреть, какой docker volume присоединен к контейнеру caddy.
2. Удалить контейнер caddy
3. Удалить этот volume
4. Заново создать контейнер с caddy. Можно просто запустить docker compose up -d в корне проекта.

Materials

• https://github.com/netbirdio/netbird/issues/2654