Что такое CDN и как работает данная технология

Рассмотрим реальную ситуацию. Я включаю компьютер, запускаю браузер и пытаюсь зайти в свой электронный почтовый ящик. Секунд через десять вижу на экране следующее сообщение:

Загрузка занимает много времени

В этом же браузере страницы других сайтов открываются в течение двух-трех секунд. Это означает, что проблема связана не со скоростью интернета, конкретным браузером или ресурсной мощностью моего компьютера. Она полностью находится на стороне почтового сервера. Конечно, я дождусь загрузки, у меня для этого есть мотив.

В подобной ситуации другой пользователь, получивший миллионы ссылок по поисковому запросу, просто закроет проблемную страницу и воспользуется альтернативным ресурсом. По статистике 75% посетителей принимает решение о целесообразности нахождения на конкретном сайте в течение 5 секунд. Пользователи мобильных устройств закрывают проблемную страницу еще раньше.

Для рядового посетителя это всего лишь легкое неудобство, которое можно мгновенно исправить. Представьте потери огромного интернет-магазина, клиенты которого живут на территории всей страны. В момент пиковых посещений веб-сервер перестает справляться с нагрузкой, сайт может полностью упасть. Клиенты уходят к конкурентам. Конверсия, а значит, и доходы стремятся к нулю. Поисковые системы понижают рейтинг сайта. Огромные деньги, потраченные на рекламу, потеряны.

Есть ли решение этой проблемы? Да, и называется оно CDN (Content Delivery Network) или «Сеть распределения контента».

Определение CDN

На обычном хостинге передача данных происходит следующим образом:

Конечный пользователь (клиент) начинает загружать страницу сайта. Браузер отсылает запрос веб-серверу, на котором хранится соответствующий контент.
Сервер получает запрос, обрабатывает его согласно алгоритму и передает соответствующий пакет данных.
Страница загружается, пользователь получает необходимую информацию.

CDN-хостинг добавляет в эту схему дополнительные узлы хранения и передачи данных. Это серверы, на которых кэшируется часть контента или страница головного ресурса целиком. Эту услугу предоставляют провайдеры CDN. Они размещают серверы в различных точках мира. Запрос обрабатывается в том ЦОД, который географически расположен ближе всего к месту получения контента. За счет этого трафик проходит по минимально-оптимальному маршруту, снижается нагрузка на сеть, достигается максимальная скорость соединения. В результате сайты, использующие CDN, загружаются намного быстрее.

Все веб-ресурсы хранят и обрабатывают на хостинг-серверах информацию двух типов – статическую и динамическую. К первой относится «тяжелый» контент, который практически не изменяется: бинарные файлы, тексты, картинки, видео- аудиофайлы, скрипты. При этом объем файлов не должен влиять на скорость их загрузки в браузере клиента. Динамический контент отображается по-разному в зависимости от запросов пользователей. Например, местоположение, пол, блок рекомендаций, история просмотра.

Динамический контент задействует в первую очередь оперативную память сервера, а также зависит от мощности процессора. Скорость обработки статического контента зависит от ширины пропускного канала. Если оба вида контента хранятся на одном хостинге, это создает дополнительную нагрузку на сервер, в определенные моменты сайт начинает работать медленно.

При использовании CDN часть данных, в первую очередь статических, кэшируется на распределенных серверах CDN-сети. На них обрабатывается запрос пользователя и происходит передача данных. Таким образом, нагрузка на центральный сервер резко снижается, происходит перераспределение трафика, страницы сайта на конечном устройстве загружаются быстрее.

Впервые проблема возросшей нагрузки на веб-серверы была обозначена еще в 90-х годах прошлого столетия. Владельцам ресурсов приходилось идти на различные ухищрения, чтобы решить ее. Например, были разработаны методы «‎иерархического кэширования» и information superhighway, которые сегодня известны разве что историкам интернета. Контент стали разделять на динамический и статический, хранить на разных серверах. Сами точки подключения распределялись географически. Тогда же возникла идея аутсорсинга данной услуги.

В 1998 году студент Массачусетского технологического института Дэниел Левин и преподаватель математики Томсон Лейтон основали компанию Akamai. Сегодня она является одним из крупнейших CDN-провайдеров в мире. Уже в 2004 году CDN использовали более 3000 компаний, общий объем расходов на доставку контента составлял около 20 миллионов долларов в месяц. В конце 2018 года компания Akamai заявила о рекордном объеме передаваемого через CDN трафика – 72 Тб/c.

Принцип работы CDN и терминология

Основные понятия, используемые в описании принципа работы сети распределения контента:

CDN (Content Delivery Network) — географически распределенная сетевая инфраструктура, обеспечивающая быструю доставку контента конечным пользователям веб-сервисов и сайтов.
Ориджин (origin) — центральный сервер, на котором хранятся исходные данные, раздаваемые через CDN.
PoP (Point of Presence, точка присутствия) — кэширующий сервер в составе CDN, расположенный в определенной географической локации. Для обозначения таких серверов также используется термин edge.
Динамический контент ― изменяемый контент, генерируемый на сервере в момент получения запроса пользователя либо загружаемый из базы данных.
Статический контент ― данные, хранящиеся на сервере в неизменяемом виде.
Кэширование (cacher — «прятать») – запись и хранение данных в промежуточном буфере с быстрым доступом и считыванием из более медленной памяти или удаленного источника.

Предположим, центральный сервер («ориджин») интернет-компании находится в Санкт-Петербурге, пользовательская аудитория распределена по всей России. Расстояние до одной из самых дальних точек подключения во Владивостоке составляет 9 607 км. Следует учитывать, что дальность указана «по прямой», но оптоволоконные кабели веб-паутины прокладываются сложными маршрутами. С учетом ограничения на скорость передачи данных по сети и замедлении трафика в процессе обработки промежуточными узлами-ретрансляторами (маршрутизаторами), открытие страницы у пользователя где-нибудь в Южно-Сахалинске или Петропавловске-Камчатском может занять несколько минут.

При использовании CDN запрос пользователя из Владивостока идентифицируется по заголовку и содержанию, затем переадресуется к географически ближайшему кэширующему серверу сети. В результате доставка статического контента занимает считанные секунды.

Настройка технологии CDN

На уровне администрирования веб-ресурса для раздачи статического контента через CDN необходимо произвести следующие настройки:

Перенести статический контент сайта на отдельный домен типа cdn.example.ru.
Подключить услугу CDN у провайдера, сообщив ему следующее: домен, с которого он будет забирать статику — static.example.ru, и домен, с которого будет идти раздача — cdn.example.ru.
У своего DNS-регистратора настроить CNAME-запись с cdn.example.ru на домен CDN-провайдера, который он выделяет при подключении.
На своем сайте изменить домен для статики, которую планируется раздавать через CDN, на cdn.example.ru.

Для размещения статического контента в объектных хранилищах и интеграции с облачными сервисами и раздачи через CDN используются плагины и расширения для CMS (Wordpress, Joomla, Drupal, 1C Битрикс и других). Веб-сервис после подключения CDN будет работать на том же оригинальном сервере. Кэшированные части сайта будут загружены на серверы CDN для последующего быстрого скачивания.

Следует учитывать, что CDN-сервер не выступает в роли классического хранилища контента для скачивания, он лишь выполняет функции кэширования и передачи данных на основе конкретных алгоритмов. Кэшированные данные не хранятся постоянно в неизменном виде, периодически обновляются для актуализации.

Для загрузки контента из CDN используются две популярные технологии – GeoDNS и AnyCast.

GeoDNS привязывает к одному доменному имени несколько IP-адресов. По нему система определяет географическое положение пользователя, отправившего запрос, и перенаправляет его на ближайший сервер сети.
AnyCast использует общие адреса, маршрутизация происходит на ближайшие серверы в пределах региона. Провайдер пользователя получает несколько анонсов от разных сетей, в которых есть точка присутствия, маршрутизатор провайдера выбирает самый близкий. Ответ аналогичным образом возвращается по наиболее короткому маршруту.

Принцип кэширования контента

Наиболее распространенной является схема «по первому обращению». При первом обращении пользователя с запросом на определенный контент к оригинальному серверу определяется точка его локации. Все последующие пользователи будут получать данные, кэшированные на ближайшей к ним точке присутствия.

Сложность этой схемы в том, что последующие аналогичные запросы могут быть осуществлены пользователями, находящимися в других географических регионах. Для преодоления этого ограничения используется технология регионального извлечения. При повторных запросах пользователей с локацией в других регионах соседние серверы, входящие в состав CDN, забирают контент друг у друга, а не обращаются к оригинальному серверу. В Akamai эта процедура называется tiered distribution («многоуровневая раздача»).

CDN

Преимущества использования CDN

К неоспоримым плюсам использования технологии распределения контента относится следующее:

Высокая скорость загрузки. Время отклика веб-сервера, использующего VDS, в зависимости от загруженности каналов, обычно составляет 50-200 мс. При использовании CDN, благодаря тому, что сетевой маршрут между конечными пользователями и серверами с информацией укорочен до минимума, это число редко превышает 10 мс.
Снижение нагрузки на головной сервер. Пользовательская нагрузка при использовании CDN распределяется равномерно между серверами сети. Исходный сервер используется только для обновления данных и основных настроек. Если на центральном сервере отсутствует динамический контент и обновления происходят редко, то ресурсные требования к его конфигурации минимальные, что приводит к снижению стоимости хостинга. В этом случае основной сервер отвечает только за обновление информации и ее раздачу в сеть распределения контента.
Размещение ресурсоемкого контента. При размещении программного обеспечения или интерактивных медиа-материалов исходный сервер может быть загружен «тяжелыми» запросами, обработка которых занимает продолжительное время (до нескольких часов). Возрастает нагрузка на основной ресурс, требуются дополнительные усилия по обеспечению его отказоустойчивости при длительных соединениях и обработке данных большого объема. CDN позволяет обеспечить одновременное обслуживание десятков и сотен тысяч «медленных» запросов. Кластерная архитектура CDN с использованием RAID-технологий позволяет гарантировать стопроцентную устойчивость при самой высокой нагрузке.
Обеспечение безопасности и отказоустойчивости. Сеть CDN представляет собой сложную систему взаимосвязанных и дублирующих ресурсов, состоящую из сотен и тысяч серверов. Центры обработки данных географически распределены по регионам и странам. Такая структура хранения и обработки данных позволяет выдерживать практически любые нагрузки и увеличивает стоимость эффективной DDoS-атаки на нее до фантастических величин.
Масштабируемость и надежность. Возможности одномоментной обработки пользовательских запросов сетью CDN практически неограниченны. Даже при пиковой нагрузке в миллионы посещений это никак не скажется на доступности центрального сервера, его содержимое будет отдаваться по-прежнему быстро и без каких-либо перебоев. Даже при аварийном выходе из строя основного сервера пользователям будет доступен как минимум статический контент.

Кому не обойтись без CDN

Очевидно, что сеть распределения контента в первую очередь необходима проектам с большой аудиторией в разных регионах и странах. Услуги CDN востребованы:

крупными интернет-магазинами с широкой географией распределения аудитории;
стриминговыми аудио- и видеосервисами (live-streaming), популярность которых стремительно растет во всем мире;
игровыми порталами, использующими облачный гейминг;
платформами для дистрибуции программного обеспечения;
веб-проектами, использующими высокоскоростные мобильные приложения.

В последнее время появились специальные технические решения, ориентированные на раздачу контента на мобильные устройства, которые так и называются ― Mobile CDNs.

Недостатки и альтернативы CDN

Как и любая IT-технология, CDN обладает рядом особенностей, которые следует учитывать при принятии решения об ее использовании.

Первая проблема, с которой могут столкнуться использующие CDN веб-сервисы ― это задержки кэширования. Может возникнуть ситуация, когда на центральном сервере исходный файл был изменен, но на кэширующих серверах все еще присутствует его старая версия. Решается эта проблема путем периодической очистки и обновления кэша. Кроме того, владельцы сайтов и сервисов могут сами управлять настройками, используя заголовки-валидаторы.
В случае блокировки сервисов, являющихся вашими «соседями» по IP у CDN-провайдера, вместе с ними может оказаться заблокированным и ваш сайт. В этом случае придется обращаться к CDN-провайдеру для смены IP-адреса.

Прежде чем принимать решение о покупке недешевой услуги CDN, следует разобраться в причинах задержки отклика вашего веб-ресурса. Если на вашем сайте нет большого количества статических данных, аудитория локализована в пределах региона, то, возможно, проблемы со скоростью решаются иными способами. Попробуйте сделать следующее:

уменьшить размер изображений на сайте;
устранить дублирующиеся JS-библиотеки и плагины;
подключить JS-скрипты и CSS-стили в правильном порядке;
использовать более мощный сервер для быстрой генерации HTML-страниц;
оптимизировать настройки СУБД и веб-приложений.

Если программная оптимизация не дала желаемого результата и наблюдается стабильная динамика роста пользовательских запросов, что приводит к замедлению работы ресурса, стоит обратиться к CDN-провайдерам.

В качестве альтернативы CDN можно рассматривать использование облачного VPS/VDS-хостинга. Как и сеть распределения контента, данная технология обладает возможностями масштабируемости, отказоустойчивостью и высокой безопасностью. Следует учитывать, что управление облачным хостингом потребует наличия штата профессиональных программистов, и по затратной составляющей может оказаться дороже, чем услуги CDN-провайдеров.

Вам может быть интересно: Обзор лучших CDN-провайдеров

Заключение. На что обратить внимание при выборе провайдера CDN

Еще немного статистики:

В 2010 году средний размер веб-страницы составлял 481Кб. В 2019 уже 1936 Кб. За последние три года значение этого показателя увеличилось на 314.7% и продолжает расти.
В настоящее время набирают популярность стриминговые аудио- и видеосервисы. По состоянию на начало августа 2020 года аудитория популярного сервиса Spotify достигла 299 миллионов пользователей.

Итак, вы не просто желаете вписаться в тренд развития интернет-бизнеса, но и реально осознали необходимость подключения CDN-хостинга. На что нужно обратить внимание при выборе CDN-провайдера?

Количество точек присутствия. Сопоставьте эту информацию с географией распределения вашей аудитории реальных и потенциальных клиентов.
Наличие стыков с операторами связи. У CDN-провайдера с точками присутствия в 100 городах, но небольшим количеством стыков, задержка может быть больше, чем у провайдера, у которого точки присутствия расположены в 5 городах, но стыков с операторами связи гораздо больше. Следует учесть, что подобную информацию невозможно получить от самих провайдеров. Пользуйтесь экспертными обзорами и тестами.
Наличие дополнительных услуг и функций. К ним относятся: анализ статистики потребления, управление политиками кэширования и HTTP-заголовками, предзагрузка очень «тяжелого» контента, полная и выборочная очистка кэша.
Поддержка необходимых вам технологий и протоколов (HTTP/2, IPv6, сертификаты SSL и т.д.).
Обратите внимание на то, что некоторые лидеры рынка предоставления услуг CDN-хостинга обрабатывают не только статические, но и динамические данные.

Сопоставив все «за» и «против», смело принимайте решение. Используя CDN, вы повысите скорость загрузки сайта, а значит, угодите пользователям и поднимитесь в поисковой выдаче.