Непобедимая сеть: как устроен украинский интернет и что ему на самом деле угрожает

Сегодня несколько десятков знакомых спросили меня, стоит ли покупать Starlink. Я не буду решать за вас. Если стоимость Starlink для вас несущественна — покупайте, будете жить спокойнее. Если существенна — нет. Или дочитайте до конца и решите сами.

У меня лично Starlink нет. Так сложилось, что лет 20 назад я имел отношение к интернету не как потребитель и немного знаю, как он работает. А что касается того, что "уничтожили центральный узел украинского интернета" — это смешно.

Что такое Интернет?

Интернет — это сеть сетей. У вас дома есть своя сеть: роутер, телефоны, ноутбук, телевизор. Провайдер объединяет тысячи таких домашних сетей в одну. Крупные операторы объединяют сети провайдеров. Те, в свою очередь, соединяются с операторами других стран. И так каскадом.

Но это не дерево с одним стволом, которое падает, если его подрубить. Соединений много, и они проходят не только вверх-вниз, но и по диагонали: между соседними провайдерами, между разными уровнями, через разные города и страны. Если одно соединение пропадает, оборудование автоматически ищет другой путь. Это если говорить без технических подробностей.

Можно уничтожить десятки соединений — сеть все равно будет работать. Медленнее, с перегрузками, но будет работать.

Ниже — как устроен украинский интернет, где у него слабые места и что с этим делать бизнесу и вам лично.

Сразу скажу: здесь нет ни коммерческой, ни военной тайны. Эта архитектура тысячи раз описывалась в статьях, на форумах, в докладах на отраслевых конференциях. Тысячи людей в Украине и за рубежом знают, как это работает.

В начале 90-х в Украине интернета практически не было. Сеть создавали преимущественно частные компании — сначала несколько, потом десятки, а затем тысячи. Государство годами практически не вмешивалось. И хорошо, что не "помогало". Это была судьба технарей-задротов, власти были заняты другим. Операторы научились договариваться между собой сами. В 2000 году они создали точку обмена трафиком UA-IX, где все обмениваются трафиком со всеми.

До полномасштабного вторжения в Украине работало около 4 тысяч провайдеров, сейчас — примерно 2 тысячи (так пишет Федиенко). Это по-прежнему очень много. И именно такое количество независимых игроков делает наш интернет таким жизнеспособным.

Как устроен "Украинский Интернет"

Международные каналы и "провайдеры провайдеров"

Это операторы, которые продают крупные каналы другим провайдерам, дата-центрам, точкам обмена трафиком и крупным оптовым клиентам. Именно через них украинский интернет соединяется с остальным миром.

Физически это оптические линии через западную границу к крупным европейским узлам — Варшаве, Франкфурту, Будапешту. Таких переходов много, у разных операторов, по разным трассам. В 2022 году операторы оперативно организовывали резервные каналы из Европы в украинские города и даже обменивались пропускной способностью с конкурентами.

В 2022 году только в Киевской области было взорвано множество мостов, и почти под каждым из них пролегал кабель. Тогда ситуация была значительно хуже, чем сейчас.

Этот уровень хорошо защищен. Одновременно вывести из строя все международные соединения очень сложно.

Точки обмена трафиком и пиринговые центры

Если вы в Киеве открываете сайт, хостинг которого находится во Львове, трафику нет смысла проходить через Франкфурт. Для этого существуют точки обмена трафиком — места, где сети разных операторов соединяются напрямую и обмениваются трафиком внутри страны.

Это, пожалуй, самое уязвимое звено. Точки обмена и узлы коммутации физически сосредоточены в нескольких крупных дата-центрах, в основном в Киеве. По оценке представителя точки обмена трафиком Анатолия Фроленкова, через четыре киевских дата-центра, подвергшихся атаке в сентябре этого года, ранее проходило до половины внутреннего украинского трафика.

Что происходит, когда такой узел выходит из строя? Трафик идет по другим маршрутам: через другие точки обмена, через уцелевшие узлы, частично через Европу. Эти маршруты длиннее и уже, поэтому возникают перегрузки и задержки. Интернет становится медленнее, у кого-то на несколько часов пропадает, но в целом работает.

Помимо крупных пиринговых центров, операторы заключили соглашения и наладили каналы связи между собой в частном порядке — кто с кем захотел. И создали небольшие пиринговые центры. Это работает уже давно, потому что так дешевле, надежнее и быстрее.

Операторы уже дополнительно распределяют оборудование по различным площадкам и налаживают прямые соединения между собой в обход крупных узлов.

Центры обработки данных

У дата-центров две роли.

Первый — узел коммутации. Здесь расположены ядра сетей провайдеров и точки обмена трафиком. Удар по такому узлу наносит удар по связности. В сентябре этого года один из киевских провайдеров потерял основной узел, и часть абонентов в центре города осталась без интернета. Теперь провайдер переносит ядро сети в другое место.

Второе — площадка для серверов: сайты, хостинг, базы данных, сервисы. Когда такой дата-центр уничтожен, сеть продолжает работать, а конкретные сервисы — нет. Оборудование можно купить, а вот данные без резервной копии восстановить невозможно.

Пример: MiroHost. Его украинский дата-центр был уничтожен. Но примерно 95% клиентов продолжили работу, так как были резервированы в Польше и Чехии. Пострадали около 150 клиентов из тысяч — те, кто не дублировал свою инфраструктуру. Так написал Александр Ольшанский.

Для пользователя недоступность крупного сервиса выглядит как "интернет не работает". Но это проблема конкретного сервиса, а не сети.

Последняя миля

Это провайдеры, которые подключают интернет в квартиры, дома и офисы, а также мобильные операторы.

Обрывы кабеля, непогода, тракторы, раскопки — для провайдеров это повседневная работа. Если бы крупные сети не были резервированы, интернет у нас пропадал бы каждый день. Поэтому у большинства крупных провайдеров магистральная часть построена кольцами, домовые узлы часто тоже объединены в кольца, оборудование продублировано.

Это было сделано давно, и не только потому, что к этому вынудила конкуренция. Провайдерам самим выгоднее проводить плановые ремонтные работы, чем каждую ночь тушить пожары. А украинский потребитель привык к качественному фиксированному интернету, и тысячи конкурентов поддерживают этот уровень.

Слабое место "последней мили" — кабель от узла до вашей квартиры зачастую единственный, а домашнее оборудование требует питания.

Общая зависимость: электропитание

Все уровни — маршрутизаторы, коммутаторы, серверы, базовые станции — работают от электричества. Батареи и генераторы обеспечивают питание на несколько часов или дней. Наихудший сценарий — удары по системам связи одновременно с ударами по энергетике.

За эти годы провайдеры проделали огромную работу. Например, "Киевстар" заявлял, что 99 % его фиксированной сети FTTB рассчитаны на 12 часов автономной работы. А в сетях GPON между узлом провайдера и вашей квартирой вообще нет активного оборудования, поэтому они работают даже тогда, когда в доме нет света.

Где в этой схеме находится Starlink?

Starlink — отдельный канал, который обходит все четыре уровня сразу: от антенны на вашей крыше через спутник до наземной станции. Поэтому он не зависит от киевских дата-центров и местного провайдера. Но он недешёвый, скорость ниже, чем у хорошего оптоволоконного соединения, и ему тоже требуется питание. И если нужный вам сервис находится в разрушенном дата-центре, Starlink его не восстановит.

В сентябре этого года Россия систематически наносит удары по киевским дата-центрам и узлам связи. Пострадали хостинги и несколько провайдеров, у части абонентов пропадал интернет, на несколько часов прекратил работу один из системных банков.

Но связь восстанавливали в течение нескольких часов. По словам Александра Федиенко, после одной из атак уже к 19:00 все операторы работали. Дольше восстанавливаются отдельные сервисы, не имеющие резервных копий.

Вывод: локальные перебои на несколько часов — вполне возможны. Общенациональный коллапс — нет.

НАИБОЛЬШИЕ РИСКИ

• концентрация узлов в нескольких крупных дата-центрах;
• питание;
• сервисы без резервирования;
• одна точка отказа в вашем собственном подключении. И это единственное, на что вы можете повлиять сами.

ЧТО ДЕЛАТЬ БИЗНЕСУ

Офис. Два провайдера, желательно с разными физическими трассами: два провайдера в одном кабельном канале мало что дают. Плюс мобильный резерв или Starlink, если час простоя стоит дороже, чем терминал. Роутер, коммутаторы и точки доступа — на ИБП.

Сайты и сервисы. Копия или резервная площадка за рубежом. Переключение на резервную площадку должно быть протестировано. DNS — не у одного поставщика.

ИТ-инфраструктура. Резервные копии. Регулярные. И необходимо проверять, действительно ли они работают. Сегодня это сделать очень просто.

ЧТО ДЕЛАТЬ СЕМЬЕ

• две SIM-карты разных операторов. Большинство телефонов это поддерживают. Думаю, у всех в семье уже есть два оператора;
• второй канал дома. Не уверен, что он нужен каждому. Хотите — пусть будет;
• ИБП или зарядная станция для роутера и оптического терминала. Если есть выбор технологии — GPON;
• офлайн: карты, важные контакты, бумажные копии основных документов, немного наличных. Это в целом у вас уже давно в аварийном чемоданчике, да?

Автор выражает личное мнение, которое может не совпадать с позицией редакции. Ответственность за опубликованные материалы в рубрике "Мнения" несет автор.

Источник