Netflix Architecture: сколько стоит AWS Netflix?

Если вы когда -нибудь задумывались, сколько Netflix оплачивает свои расходы AWS, вам повезло. В этой статье мы рассмотрим монстр эффективности за все это – архитектура Netflix AWS. Давайте погрузимся в!

1. Netflix прибыль в 2021 году?

Netflix сделал операционный доход в размере 4 долларов.6 миллиардов в 2020 году, хотя его положительный свободный денежный поток составлял 1 доллар США.9 миллиардов. Тем не менее, потоковой гигант рассчитывает сломаться даже в условиях денежных потоков к концу 2021 года, несмотря на огромный долг в 15 миллиардов долларов США.

2. Сколько тратит Netflix на AWS?

Затраты Netflix AWS оценивались около 9 долларов.6 миллионов в месяц в 2019 году. Тем не менее, компания планирует потратить более 1 миллиарда долларов на потоковые услуги и затраты на облачные вычисления до 2023 года, в среднем более 27 долларов США.78 миллионов в месяц.

3. Как Netflix использует свои расходы AWS?

Netflix полагается на AWS почти для всех своих облачных вычислений. Это включает в себя онлайн -хранение, механизм рекомендаций, видео -транскодирование, базы данных и аналитику. AWS играет решающую роль в поддержке потоковых сервисов Netflix.

4. Как Netflix контролирует и измеряет затраты AWS?

Netflix внедрила строгие системы мониторинга и измерения, чтобы отслеживать свои затраты AWS. Он использует различные инструменты и технологии для анализа и оптимизации своих облачных расходов, обеспечивая максимальную эффективность и экономическую эффективность.

5. Как Netflix использует микросервисы?

Netflix использует архитектуру микросервисов, разбивая свои приложения на небольшие независимые услуги. Это обеспечивает масштабируемость, гибкость и более быструю разработку, что позволяет Netflix предоставлять бесшовные потоковые впечатления миллионам пользователей по всему миру.

6. Почему Netflix выбрал AWS?

Netflix выбрал AWS в качестве основного поставщика облачных облаков из -за его масштабируемости, надежности и комплексного диапазона услуг. AWS предложил инфраструктуру и инструменты, необходимые для поддержки экспоненциального роста Netflix и предоставления исключительного потокового опыта своим пользователям.

7. Как работает транскодирование в архитектуре Netflix?

Транскодирование – это процесс преобразования видеофайлов из одного формата в другой, чтобы обеспечить совместимость на разных платформах и устройствах. Netflix использует транскодирование, чтобы сделать свою обширную библиотеку контента, доступную для просмотра на различных устройствах, позволяя пользователям плавно транслировать свои любимые шоу.

8. Как Netflix обращается с хранением в AWS?

Netflix использует услуги AWS Storage, такие как Amazon S3, для хранения своей огромной библиотеки видеоконтента. Эти услуги обеспечивают высокую долговечность, доступность и масштабируемость, гарантируя, что Netflix может доставлять контент миллионам зрителей без перерыва.

9. Как Netflix обеспечивает бесшовный потоковой опыт?

Netflix развертывает различные методы, такие как сети доставки контента (CDN) и адаптивная потоковая передача, чтобы гарантировать беспрепятственный опыт потоковой передачи для своих пользователей. CDNS Географически распределяет контент, сокращая задержку и улучшая скорость воспроизведения, в то время как адаптивная потоковая передача корректирует качество видео на основе подключения к Интернету зрителя.

10. Как Netflix обрабатывает управление базами данных в AWS?

Netflix использует службы базы данных AWS, такие как Amazon DynamoDB и Amazon Redshift, для управления огромным количеством пользовательских данных, метаданных контента и аналитики. Эти услуги предлагают высокую производительность, масштабируемость и надежность для потребностей Netflix в базе данных.

В целом, архитектура AWS от Netflix играет ключевую роль в предоставлении своих известных потоковых услуг миллионам пользователей по всему миру. Стратегическое использование компании AWS -услуг, строгий мониторинг затрат и эффективную инфраструктуру позволяет Netflix обеспечить исключительный опыт потоковой передачи при выполнении своих затрат.

Netflix Architecture: сколько стоит Netflix S AWS

Транскодирование – это процесс, который преобразует видеофайл из одного формата в другой, чтобы сделать видео, которые можно просматривать на разных платформах и устройствах.

Использует ли Netflix Amazon S3

Охто

Мы аррегировали подоаджолгн. SpoMOщHщ эtOй straoniцы mы smosememememopredetath, чto -aprosы otpra. То, что нужно?

Эta -steraniцa otobrana -overshy -aTeх -stuчah -obra -aTeх -stu -y -y -ogdaTomAtiчeskymi -stri -stri -rah -strhe -strhe -strhe -stri -stri -stri -stri -stri -stri -rah -rah -stristriouri Котора. Straoniцa -oprepaneTeTeTeTeTOTOTOTO -opobrasthep -apoSle -o, kak -эat. ДО СОМОМОНТА.

Иошнико -а -а -а -в -впологовый схлк -а -апросов. Esli-yspolheoute obhщiй dostup-vanterneTTHETHETHETHETHET,. Охраторс. Подеб.

Проверка, в котором я, eSli -voAchephephephephe -yvodyte -sloжne -apro Эмами, Или,.

Netflix Architecture: сколько стоит AWS Netflix?

Узнайте, сколько затрат Netflix затрат на AWS и эффективность монстра за все это, архитектура Netflix AWS.

2 июня 2021 г. | Автор: Cloudzero Team |

Если бы Netflix был серией, это был бы блокбастер. Каждый сезон был бы не чем иным, как драматичным для огорчения инвесторов.

Хочу подготовить несколько чисел?

У сервиса потокового видео было 11 долларов.5 миллиардов оценки в январе 2011 года. У него было около 26 миллионов подписчиков в конце того года. Десять лет спустя Netflix сообщила, что у него было около 204 миллионов подписчиков, а оценка более 220 миллиардов долларов.

Лос -Гатос, Калифорния, Гигант заработал в 2020 году ошеломляющие 25 миллиардов долларов США. Netflix также приветствовал поразительных 37 миллионов платных подписчиков только в 2020 году, новая запись.

Тем не менее, со всем этим успехом и огромным количеством подписчиков, вы можете задаться вопросом, что Netflix оплачивает свои расходы AWS. Вся эта деятельность наверняка объяснит некоторые серьезные расходы?

К счастью для вас, у нас есть ответ! В этой статье мы рассмотрим, сколько Netflix тратит на AWS, куда уходят эти деньги, как они измеряют и следят за своими облачными затратами, и архитектуру всего этого.

Оглавление

• Netflix прибыль в 2021 году?
• Сколько тратит Netflix на AWS?
• Как Netflix использует свои расходы AWS?
• Как Netflix контролирует и измеряет затраты AWS?
• Как Netflix использует микросервисы?
• Почему Netflix выбрал AWS?

Netflix прибыль в 2021 году?

Netflix сделал операционный доход в размере 4 долларов.6 миллиардов в 2020 году. Но у него было всего 1 доллар.9 миллиардов положительного свободного денежного потока за этот год. Тем не менее, это было огромное улучшение, потому что оно только что вышло из колючих 3 долларов.3 миллиарда негативной ситуации свободного денежного потока в 2019 году. У него также был колоссальный долг в 15 миллиардов долларов в начале 2021 года.

Но потоковая служба утверждает, что это не карточный дом. Он рассчитывает сломаться даже в условиях денежных потоков к концу 2021 года.

Итак, вы можете задаться вопросом, где Netflix тратит свои миллиарды?

• Содержание
• Оригинальный контент
• Лицензированный контент
• Маркетинг

Но есть’еще одна инвестиционная категория, которая не делает’T привлечь столько же внимания, по крайней мере, на Уолл -стрит: Netflix AWS затраты.

Архитектура Netflix AWS-это гениальный вариант использования микросервисов, в котором стоит копаться в этом посте.

Сколько тратит Netflix на AWS?

Netflix’Sloud Pront оставался секретом в течение самого долгого времени, до сих пор. Различные источники оценивают стоимость Netflix AWS в 9 долларов.6 миллионов в месяц в 2019 году.

Но эта цифра намного меньше, чем то, что плановая служба потоковой передачи видео планирует потратить в течение следующих 36 месяцев.

Netflix сообщил, что потратит более 1 миллиарда долларов на “потоковые услуги и затраты на облачные вычисления” до 2023 года. Это среднее Netflix’S AWS Cloud Services затраты на более 27 долларов США.78 миллионов в месяц.

Неудивительно, что Amazon регулярно может похвастаться Netflix как крупнейшим клиентом AWS, несмотря на то, что он владеет конкурирующим услугами в Amazon Prime. Для сравнения, Airbnb планирует потратить 1 доллар.2 миллиарда на веб -сервисах AWS до 2027 года, которые в среднем составляют до 16 долларов.67 миллионов в месяц.

Slack также использует облачные сервисы AWS в качестве основного облачного провайдера. Он взял на себя обязательство потратить 450 миллионов долларов до 2025 года. Это начнется с 75 миллионов долларов в 2021 году и увеличится на 5 миллионов долларов в год, в среднем 6 долларов США.25 миллионов в месяц в AWS тратит.

Как Netflix использует свои расходы AWS?

Netflix использует AWS практически для всех облачных вычислений. Это включает в себя онлайн -хранение, механизм рекомендаций, видео -транскодирование, базы данных и аналитику. Таким образом, большая часть планов Netflix в 1 миллиард долларов на облачные сервисы пойдет на Amazon Cloud Services.

Сколько затрат на счет счетов Netflix отражает его использование более 100 000 экземпляров сервера, согласно Amazon Web Services.

Чтобы обработать колоссальный трафик, его глобальные подписчики генерируют, Netflix использует более 1000 осколков Amazon Kinesis.

Но это было в 2017 году, прежде чем Netflix вырос до 204 миллионов подписчиков к концу 2020 года.

Это становится интересным, хотя:

• Около 83% новых подписчиков находятся за пределами Соединенных Штатов и Канады.
• Семь миллионов новых подписчиков присоединились к Netflix в первом квартале, 2021.
• Netflix выпускает 71 фильма только в 2021 году. Это более одного нового фильма в неделю.
• Ведущие конкуренты, такие как Disney+, Paramount+и Peacock могут есть в Netflix’S прибыль в будущем. Например, Disney+ имел 7 из 10 самых смягченных фильмов в 2020 году.
• Netflix также хочет стать прибыльной и самофинансирующей компанией с тех пор.
• Но он выкупит акции у инвесторов в 2021/2022.

Что это значит для Netflix?

Во -первых, в то время как компания планирует тратить меньше на контент, маркетинг и кредитные затраты, ее счет AWS будет развернуться только вверх. Во-вторых, Компания должна получить более высокую чистую прибыль не только для акционеров Appease, но и в состоянии избежать внешнего финансирования для своей повседневной деятельности.

В качестве альтернативы, необходимо сэкономить расходы, чтобы позволить себе оставаться конкурентоспособным на все более конкурентоспособном рынке.

Вот почему баланс экономической эффективности и масштабирования-это вопрос успеха или неудачи для Netflix. Тем не менее, потоковая компания заявила, что установление бюджетов и других тяжелых ограждений для ограничения его инженеров’ Расходы и то, и другое “неэффективный” и “контркультурный”.

Итак, Netflix позволяет разработчикам разрабатывать. Но это не игнорирует затраты на облачные вычисления.

Как Netflix контролирует и измеряет затраты AWS?

Команда в Netflix знает, что облачные расходы заслуживают того, чтобы быть первоклассным метриком. Это означает, что они относятся к нему как к любым другим показателям производительности или нефункциональным инженерным требованиям.

Чтобы обеспечить полную видимость стоимости, компания развертывает пользовательскую панель данных. Данная панель эффективности служит прозрачной петлей обратной связи для своих потребителей и производителей данных. Netflix Credits, слияние затрат и контекста использования через панели мониторинга для своей экономичной архитектуры.

Пользовательская панель мониторинга помогает обеспечить использование и информирование на облачные затраты для каждой команды.

Netflix удается:

• Сообщите данные о выставлении счетов AWS в контексте, который имеет смысл
• Используйте пользовательскую панель панели, чтобы передать контекст затрат на каждую команду
• Улучшить видимость стоимости данных, предоставив соответствующую информацию соответствующим лицам, принимающим решения,

Чтобы оценить, насколько большая сделка, рассмотрим количество данных и различных платформ, которые Netflix должен собираться в одном месте, вычислить и отправлять инженерам, чтобы они могли придумать стратегии оптимизации рабочих облаков.

Вот быстрый срыв.

Служба потоковой передачи видео обычно использует два типа платформ данных; Данные в движении и данные в состоянии покоя. Хотя первая категория затрат включает в себя обработку переходных данных, данные в системах отдыха включают в себя затраты на хранение физических данных. Обе затраты включают расходы на инфраструктуру.

Расходы на хранение данных Netflix идут на такие платформы, как хранилище данных S3, AWS RDS, Hive, Druid, Elasticsearch и Snowflake.

С другой стороны, Netflix тратит на Keystone, Flinch, Mantis, Kafka, Spark и Presto для обработки данных в движении.

Кредит: Netflix эффективность панели панели данных, блог Netflix Tech

Теперь представьте это.

Netflix получает свои данные о выставлении счетов AWS через отчет о стоимости и использовании AWS, как и все остальные. Вы можете знать, что данные могут быть сложно получить значимое понимание бизнеса от того, потребляете ли вы их через S3 или CSV. Это еще более сложно для лиц, принимающих решения, которые не являются учеными данных.

Вот где Netflix’S Эффективность панель панели приходит. Он передает затраты на всех своих платформах, даже разбивая поток данных на разумные бизнес -понимания.

Оттуда лица, принимающие решения.

Netflix’S Custom Dashboard предоставляет некоторые рекомендации по оптимизации затрат, которые вы надеваете’T, получите свой отчет AWS BILLING. Хотя вы можете использовать теги, чтобы раскрыть предметы, связанные с выставлением счетов .

Вам понадобится лучшее решение о видимости затрат, чтобы связать конкретные расходы для конкретной команды, продукта, услуги или отделения. Таким образом, вы определите, сколько стоит построить и управлять различными элементами вашего бизнеса.

Все без необходимости нанять команды из сложных ученых и инженеров данных в Netflix’S Шкала. То, что вы можете сделать, например, Netflix предоставляет соответствующие контексты для людей, принимающих технологические решения в почти реальном времени.

С интеллектом в реальном времени вы можете установить инженерную инженерию для контроля затрат облака. Они могут отслеживать и измерять ваши метрики и винтику.

Вот пример.

Cloudzero работает с Fruitlab, социальной сетей и потоковой платформой для геймеров. Как и Netflix, Fruitlab сосредоточился на снижении стоимости доставки видео своим пользователям, чтобы максимизировать их доход.

В отличие от Netflix, они не сделали’У есть команда инженеров, они могут снять свою дорожную карту.

Таким образом, им нужно было решение для видимости затрат на AWS, которое имеет смысл в стандартном стандарте бесконечных журналов данных в AWS Billing Reports. Cloudzero помог Fruitklab снизить стоимость доставки каждого потока на 18%.

Cloudzero использует процесс, управляемый ML, чтобы помочь построить эти контекстные отображения, даже если вы не надеваете’T в отличном покрытии тегов в ваших учетных записях – и даже может применять метаданные теги к непрерывным ресурсам.

Netflix’S Эффективность подход к панели мониторинга помог ему сократить площадь хранилища данных на 10%. Это значительная прибыль, учитывая шкалу, при которой архитектура Netflix MicroServices работает на AWS.

Как работает архитектура Netflix AWS?

Netflix использует архитектуру микросервисов на AWS. Архитектура микросервисов помогает организации масштабироваться без дополнительной работы. Это также помогает поддерживать экономически эффективную работу в облаке и устраняет один источник отказа, даже если инженеры меняют несколько областей обслуживания за один раз.

Netflix испытал серьезный отключение в августе 2008 года. Это было, когда использовала монолитную архитектуру и частные центры обработки данных.

Коррупция базы данных означала, что они не могли продавать DVD -диски в течение трех дней подряд.

Этот инцидент разбудил Netflix, чтобы понять, что необходимо использовать модель непрерывного развертывания и отдельные приложения, чтобы избежать будущих перебоев.

Они предотвратят отключения предоставления услуг, используя несколько, меньшие сервисы, которые работали независимо, а не единый, уязвимый стек.

Как Netflix использует микросервисы?

Использование микросервисов также поможет своим инженерам быстро улучшить независимые приложения и в любое время. Изменения, внесенные в один микросервис.

Его инженеры могли бы экспериментировать со свежими дизайнерскими идеями, не влияя на всю службу Netflix’S Performance.

Эта ловкость помогла сервису потоковой передачи видео внедрение инновации и экономически эффективно, что привело к Chaos Engineering, Spinnaker и Global Cloud, а также к беспрецедентному росту Netflix сегодня видит сегодня.

Netflix теперь использует более 1000 микросервисов.

Каждое развернутое приложение контролирует конкретный аспект операции колоссальной Netflix.

Например, уникальный микросервис контролирует каждую из этих операций:

• Создайте основной список меню фильмов
• Определите статус подписки, чтобы предоставить контент, относящийся к этому уровню подписки
• Используйте свою историю наблюдения, чтобы порекомендовать видео
• Счета своей кредитной карте, когда пришло время продлить план Netflix
• Держите вкладки на наиболее производимое прибор для доставки контента (CDA) рядом с вами, если тот, который вы находитесь, станет переполненной или сбой
• Автоматически переносите вас в CDA с самым сильным подключением к Интернету
• Хранить цифровую копию оригинальных файлов Cinema-качества на серверах AWS
• Убедитесь, что еще один набор серверов AWS преобразует оригинальную копию в видео качества, форматы, размеры и аудио, которые могут легко воспроизводить на всех видах устройств, от мобильных устройств до интеллектуальных телевизоров и игрового оборудования
• Определите, на каком устройстве вы смотрите Netflix, и предоставьте соответствующий видеоформат, чтобы он мог повысить ваш опыт просмотра
• Добавить маркеры авторских прав ко всем файлам (управление цифровыми правами)

Это всего лишь десять способов, которыми Netflix использует архитектуру микросервисов в своих преимуществах. Есть более 990 способов больше.

Почему Netflix выбрал AWS?

Netflix также боролась с проблемами масштабирования в предыдущей архитектуре. Ему нужно было решение, которое не ограничивало их вертикальным масштабированием.

Он хотел масштабировать горизонтально, иметь надежное время безотказной работы и сохранить экономически эффективные облачные расходы. AWS предоставил такую ​​облачную платформу.

Использование AWS Public Cloud означало, что Netflix может сосредоточиться на своем основном бизнесе; видео трансляция. Ему не нужно было тратить миллиарды на создание центров обработки данных мирового класса, чтобы масштабировать свою предыдущую архитектуру.

С помощью AWS Netflix позволяет разработчикам использовать лучшие практики непрерывного развертывания для улучшения опыта клиентов, становясь крупнейшим сервисом потока видео.

Оптимизируйте свою инфраструктуру, как Netflix

Что’S все хорошо и хорошо для Netflix, но что, если вы надете’Есть миллионы долларов и целые команды, которые вы можете посвятить оптимизации ваших облачных затрат – не говоря уже о создании собственного инструмента управления затратами?

К счастью, вам не нужно иметь команду ученых данных, чтобы улучшить визуальность вашей стоимости AWS. Вы можете использовать решение для интеллекта затрат на облачные расходы, чтобы выкопать свой счет AWS и понять, на что вы тратите и почему.

Дрифт использовал Cloudzero, чтобы сэкономить 1 доллар.8 миллионов годовых облачных затрат. Платформа разговорного маркетинга работала с Cloudzero в качестве инструмента, а не командой инженеров и ученых данных, в отличие от Netflix. В результате Drift снизил свои затраты на AWS до 150 000 долларов в месяц с Cloudzero.

Соединение точек между вашими продуктами и затратами на AWS также может помочь вам сохранить контроль над вашим счетом AWS. Cloudzero предлагает платформу оптимизации затрат в реальном времени, которая активно информирует вас об изменениях, чтобы вы могли предпринять своевременные действия, чтобы оптимизировать свои расходы AWS.

Поговорите с нами сегодня о предоставлении соответствующих данных о затратах непосредственно вашим инженерам, чтобы вы могли повысить видимость облачных затрат в режиме реального времени и сократить счет AWS с течением времени.

Использует ли Netflix Amazon S3

Понедельник, 11 декабря 2017 года в 8:56 утра

Эта статья – глава из моей новой книги, объясните облако, как мне 10. Первый релиз был написан специально для новичков облака. Я сделал несколько обновлений и добавил несколько глав –Netflix: Что происходит, когда вы нажимаете на игру? и Что такое облачные вычисления?-это выровняет до пары тиков мимо новичка. Я думаю, что даже довольно опытные люди могут что -то извлечь из этого.

Я также создал несколько расширенную версию статьи в автономной книге Kindle. Вы можете найти электронную книгу в Netflix: что происходит, когда вы нажимаете на игру?

Так что, если вы ищете хорошее знакомство с облаком или узнайте кого -то, кто есть, посмотрите. Я думаю, тебе это понравится. Я очень горжусь тем, как это получилось.

Я собрал эту главу из десятков источников, которые иногда были несколько противоречивыми. Факты на земле меняются со временем и зависят, кто рассказывает историю и какую аудиторию они обращаются. Я пытался создать настолько согласованным повествованием. Если есть какие -либо ошибки, я был бы более чем рад их исправить. Имейте в виду, что эта статья не является техническим глубоким погружением. Это большая статья типа картины. Например, я не упоминаю слово Микросервис даже однажды 🙂

Netflix кажется таким простым. Нажмите воспроизведение и видео волшебным образом появляется. Легко, верно? Не так много.

Учитывая нашу дискуссию в Что такое облачные вычисления? Глава, вы можете ожидать, что Netflix будет обслуживать видео с помощью AWS. Нажмите Play в приложении Netflix, и видео, хранящиеся в S3, будут транслироваться из S3 через Интернет, непосредственно на ваше устройство.

Полностью разумный подход … для гораздо меньшего обслуживания.

Но затем’S не работает Netflix вообще. Это’S гораздо сложнее и интересно, чем вы можете себе представить.

Чтобы понять, почему пусть’S посмотрите на некоторую впечатляющую статистику Netflix на 2017 год.

• Netflix имеет более 110 миллионов подписчиков.
• Netflix работает в более чем 200 странах.
• Netflix имеет доход около 3 миллиардов долларов в квартал.
• Netflix добавляет более 5 миллионов новых подписчиков в квартал.
• Netflix играет более 1 миллиарда часов видео каждую неделю. Для сравнения, YouTube транслирует 1 миллиард часов видео каждый день В то время как Facebook транслирует 110 миллионов часов видео каждый день.
• Netflix сыграл 250 миллионов часов видео в один день в 2017 году.
• Netflix составляет более 37% пикового интернет -трафика в Соединенных Штатах.
• Netflix планирует потратить 7 миллиардов долларов на новый контент в 2018 году.

Что мы узнали?

Netflix огромный. Они’Re re Global, у них много участников, они играют много видео, и у них много денег.

Другой соответствующий факт – это Netflix основан на подписке на основе подписки. Участники платят Netflix ежемесячно и могут отменяться в любое время. Когда вы нажимаете на игру, чтобы расслабиться на Netflix, у него была лучшая работа. Несчастные участники отписывают подписку.

Мы’Получить глубоко

Netflix – потрясающий пример всех идей, которые мы’о том, о чем говорили, вот почему эта глава входит в гораздо более подробную информацию, чем другие облачные сервисы, которые мы’ve покрыт.

Одна большая причина погружения в Netflix заключается в том, что они предоставляют гораздо больше информации, чем другие компании.

Netflix удерживает коммуникация Как центральная культурная ценность. Netflix больше, чем соответствует своим стандартам.

На самом деле я’D хотел бы поблагодарить Netflix за то, что она так открыта в их архитектуре. За прошедшие годы Netflix дал сотни переговоров и написал сотни статей о внутренних работах, как они работают. Вся отрасль лучше для этого.

Еще одна причина в том, чтобы вдаваться в подробности на Netflix, – это просто увлекательна. Большинство из нас использовали Netflix в то или иное время. Кто не будет’Я люблю заглядывать за занавес?

Netflix работает в двух облаках: AWS и Open Connect.

Как Netflix держит своих участников счастливыми? С облаком, конечно. На самом деле, Netflix использует два разных облака: AWS и Open Connect.

Оба облака должны беспрепятственно работать вместе, чтобы доставить бесконечные часы видеоматационного видео с клиентами.

Три части Netflix: клиент, бэкэнд, сеть доставки контента (CDN).

Вы можете думать о Netflix как о разделенном на три части: клиент, бэкэнд и сеть доставки контента (CDN).

А клиент Пользовательский интерфейс на любом устройстве, используемом для просмотра и воспроизведения видео Netflix. Это может быть приложение на вашем iPhone, веб -сайт на вашем настольном компьютере или даже приложение на вашем Smart TV. Netflix управляет каждому клиенту для каждого устройства.

Все, что происходит до того, как вы нажмете играть происходит в Бэкэнд, который работает в AWS. Это включает в себя такие вещи, как подготовка всех новых входящих видео и запросов на обработку из всех приложений, веб -сайтов, телевизоров и других устройств.

Все, что происходит после того, как ты нанесешь удар играть обрабатывается Open Connect. Open Connect – это Netflix’S Custom Global Content Delivery Network (CDN). Open Connect хранит видео Netflix в разных местах по всему миру. Когда вы нажимаете воспроизведение видеопотоков из Open Connect, в ваше устройство, и отображается клиентом. Дон’Т беспокойство; мы’Поговорим больше о том, какой CDN чуть позже.

Интересно, что в Netflix они надевают’t на самом деле скажу Нажмите «Воспроизвести» на видео, они говорят Нажав запуск на заголовок. У каждой отрасли есть собственный жарго.

Управляя всеми тремя областями – Client, Backend, CDN – Netflix достиг полной вертикальной интеграции.

Netflix управляет вашим опытом просмотра видео от начала до конца. Что’S, почему это просто работает, когда вы нажимаете на игру из любой точки мира. Вы надежно получаете контент, который хотите посмотреть, когда хотите его посмотреть.

Позволять’S Посмотрите, как Netflix это происходит.

В 2008 году Netflix начал переходить в AWS

Netflix запущен в 1998 году. Сначала они арендовали DVD -диски через почтовую службу США. Но Netflix увидел, что будущее было потоковым видео по требованию.

В 2007 году Netflix представила свой потоковой услугу видео по запросу, которая позволила подписчикам транслировать телесериалы и фильмы через веб-сайт Netflix на персональных компьютерах или программное обеспечение Netflix на различных поддерживаемых платформах, включая смартфоны и планшеты, цифровые медиаплееры, видеоигры и Smart TVS.

С личного примечания, что потоковое видео по требованию было будущим, может показаться очевидным. И это было. Я работал в паре стартапов, которые пытались создать видео по запросу. Они потерпели неудачу.

Netflix преуспел. Netflix, безусловно, выполнил хорошо, но они опоздали на игру, и это помогло им. К 2007 году Интернет был достаточно быстрым и достаточно дешевым, чтобы поддержать потоковые видео сервисы. Это никогда не было раньше. Добавление быстрой, недорогой мобильной полосы пропускной способности и внедрения мощных мобильных устройств, таких как смартфоны и планшеты, облегчило и дешевле для любого, чтобы транслировать видео в любое время из любого времени. Время – это все.

Netflix начал с запуска своих собственных обрабочных данных

EC2 только начал работу в 2007 году, примерно в то же время Netflix’S -потоковая служба началась. Не было никакого способа, чтобы Netflix мог запустить, используя EC2.

Netflix построил два центра обработки данных, расположенных рядом друг с другом. Они испытали все проблемы, о которых мы говорили в предыдущих главах.

Создание обработки данных – это много работы. Заказы оборудования занимает много времени. Установка и получение всего оборудования работает много времени. И как только они получили все, что работало, у них закончится емкость, и весь процесс должен был начать все сначала.

Длительное время выполнения для оборудования заставило Netflix принять так называемое как Вертикальное масштабирование стратегия. Netflix сделал большие программы, которые работали на больших компьютерах. Этот подход называется строительство монолит. Одна программа сделала все.

Проблема в том, когда ты’решить очень быстро, как Netflix; это’очень трудно сделать монолит надежным. И это было не’Т.

Отключение обслуживания заставило Netflix переехать в AWS

В течение трех дней в августе 2008 года Netflix не мог отправить DVD -диски из -за коррупции в своей базе данных. Это было неприемлемо. Netflix должен был что -то сделать.

Опыт построения обработки данных преподал Netflix важному уроку – они были’T хорошо для создания центров обработки данных.

Netflix был хорош, так это доставка видео своим членам. Netflix скорее сосредоточится на том, чтобы стать лучше в доставке видео, а не на улучшении создания центров обработки данных. Создание обработки данных не было конкурентным преимуществом для Netflix, доставка видео – это.

В то время Netflix решил перейти на AWS. AWS только что установился, поэтому выбор AWS был смелым ходом.

Netflix перешел в AWS, потому что он хотел более надежную инфраструктуру. Netflix хотел удалить любую точку отказа из своей системы. AWS предлагают высоко надежные базы данных, хранилище и избыточные обработки данных. Netflix хотел облачные вычисления, так что это не будет’Т должен больше строить большие ненадежные монолиты. Netflix хотел стать глобальным сервисом, не создавая собственные обработки данных. Ни одна из этих возможностей не была доступна в его старых образных центрах и никогда не будет.

Причина, по которой Netflix дал для выбора AWS, это не было’не хочу сделать что -нибудь недифференцированная тяжелая подъем. Недифференцированная тяжелая работа – это те вещи, которые должны быть сделаны, но Дон’T предоставьте какое -либо преимущество основному бизнесу по обеспечению качественного опыта просмотра видео. AWS делает всю недифференцированную тяжелую работу для Netflix. Это позволяет Netflixians сосредоточиться на предоставлении бизнес -ценности.

Netflix потребовалось более восьми лет, чтобы завершить процесс перехода от своих собственных центров обработки данных к AWS. В течение этого периода Netflix увеличил количество потоковых клиентов в восемь раза. Netflix теперь работает на нескольких сотнях тысяч экземпляров EC2.

Netflix более надежен в AWS

Это’S не так, как Netflix никогда не испытывал времени на AWS, но в целом его обслуживание гораздо более надежнее, чем было раньше.

Ты не ДОН’больше не вижу подобных жалоб очень часто:

Netflix сейчас настолько надежен, потому что они’предпринял необычные шаги, чтобы сделать их обслуживание надежным.

Netflix работает из трех регионов AWS: один в Северной Вирджинии, один в Портленде Орегон и один в Дублине Ирландии. В каждом регионе Netflix работает в трех различных зонах доступности.

Netflix сказал, что нет планов работать из большего количества регионов. Это’S очень дорогие и сложные, чтобы добавить новые регионы. Большинство компаний работают из всего одного региона, не говоря уже о двух или трех.

Преимущество наличия трех регионов состоит в том, что любой регион может потерпеть неудачу, а другие регионы вступит в обработку всех членов в неудавшемся регионе. Когда регион терпит неудачу, Netflix называет это эвакуирование регион.

Позволять’S Используйте пример. Позволять’S скажу вам’Повторный смотрящий новый Дом из карт Эпизод в Лондоне Англии. Потому что’S ближайший к Лондону, скорее всего, ваше устройство Netflix подключено к Дублинскому региону.

Что произойдет, если весь регион Дублина не удается? Это означает, что Netflix должен перестать работать на вас? Конечно, нет!

Netflix, после обнаружения сбоя, перенаправляет вас в Вирджинию. Ваше устройство теперь будет разговаривать с регионом Вирджинии вместо Дублина. Вы можете даже не заметить, что произошел неудача.

Как часто регион AWS терпит неудачу? Раз в месяц. Ну, регион не делает’t на самом деле терпят неудачу каждый месяц. Netflix запускает ежемесячные тесты. Каждый месяц Netflix заставляет область намерения намерения просто убедиться, что ее система может справиться с сбоями на уровне региона. Регион может быть эвакуирован за шесть минут.

Netflix называет это своим Модель глобальных услуг. Любой клиент может быть подан из любого региона. Это потрясающе. И это не’Т происходит автоматически. AWS не имеет волшебного соуса для обработки сбоев региона или обслуживания клиентов из нескольких регионов. Netflix сделал всю эту работу самостоятельно. Netflix является пионером в выяснении, как создавать надежные системы с использованием нескольких областей. я’М не знает ни о какой другой компании, которая идет на эти длины, чтобы сделать их услуги настолько надежным.

Еще одно преимущество в том, чтобы быть в этих трех регионах, заключается в том, что он дает Netflix по всему миру охват. Netflix запустил некоторые тесты и найдена, если вы используете приложение Netflix в любом месте мира, вы’Получите быстрое обслуживание в одном из этих трех регионов.

Netflix экономит деньги в AWS

Это может удивить многих людей, но AWS дешевле для Netflix. Облачные затраты за потоковое представление оказалось доли затрат на старые обработки данных.

Почему? Эластичность облака.

Netflix может добавлять серверы, когда они нуждались в них, и вернуть их, когда он не сделал’Т. Вместо того, чтобы иметь много дополнительных компьютеров, которые не делали ничего, не делая просто для обработки пиковой нагрузки, Netflix должен был заплатить за то, что было необходимо, когда это было необходимо.

Все, о чем мы говорили в Что такое облачные вычисления? глава.

Что происходит в AWS, прежде чем нажимать на игру?

Все, что не делает’T, включающий обслуживание видео, обрабатывается в AWS.

Это включает в себя масштабируемые вычисления, масштабируемое хранилище, бизнес -логику, масштабируемые распределенные базы данных, обработку больших данных и аналитика, рекомендации, транскодирование и сотни других функций.

Дон’Т волнуйся, ты ДОН’Не нужно понять, что это за все, но, поскольку вы можете найти это интересным, я’ll объяснить их кратко.

Масштабируемые вычисления и масштабируемое хранилище.

Масштабируемые вычисления EC2 и масштабируемое хранилище это S3. Ничего нового для нас здесь.

Ваше устройство Netflix – Piphone, TV, Xbox, Android Phone, планшет и т. Д.- Соглашается с сервисом Netflix, работающей в EC2.

Посмотреть список потенциальных видеороликов для просмотра? Что’S Ваше устройство Netflix, связанное с компьютером в EC2, чтобы получить список.

Спросите более подробную информацию о видео? Что’S Ваше устройство Netflix, связанное с компьютером в EC2, чтобы получить детали.

Это’S, как и все другие облачные сервисы, мы’я говорил в книге.

Масштабируемая распределенная база данных.

Netflix использует как DynamoDB, так и Cassandra для своих распределенных баз данных. Не то чтобы эти имена были для вас что -то значить для вас, они’Re Просто высококачественные продукты базы данных.

База данных. База данных хранит данные. Информация о вашем профиле, информация о вашей платежных платежах, все фильмы, которые вы’когда -либо наблюдал, вся такая информация хранится в базе данных.

Распределен. Распределение означает, что база данных не делает’T запустите на одном большом компьютере, он работает на многих компьютерах. Ваши данные скопированы на несколько компьютеров, поэтому, если один или даже два компьютера, удерживающие ваши данные, не выполняются, ваши данные будут безопасными. На самом деле, ваши данные скопированы во всех трех регионах. Таким образом, если регион не удастся, ваши данные будут там, когда новый регион будет готов начать использовать его.

Масштабируемый. Масштабируемый означает, что база данных может обрабатывать столько данных, сколько вы хотите вложить в нее. Что’Одним из основных преимуществ быть распределенной базы данных. Можно добавить больше компьютеров по мере необходимости для обработки большего количества данных.

Обработка больших данных и аналитика.

Большие данные Просто значит там’S много данных. Netflix собирает много информации. Netflix знает, что все смотрели, когда смотрели это и где они были, когда смотрели. Netflix знает, на какое видео смотрели участники, но решили не смотреть. Netflix знает, сколько раз было просмотрено каждое видео … и намного больше.

Помещение всех данных в стандартном формате называется обработка.

Понимание всего, что называются данными аналитика. Данные анализируются, чтобы ответить на конкретные вопросы.

Netflix персонализирует произведения искусства только для вас.

Здесь’S отличный пример того, как Netflix побуждает вас смотреть больше видео с использованием своих возможностей для анализа данных.

Когда вы просмотрели, ища что -то, чтобы посмотреть на Netflix, вы заметили там’S всегда изображение, отображаемое для каждого видео? Что’S назвал заглавное изображение.

Изображение заголовка предназначено для того, чтобы заинтриговать вас, чтобы привлечь вас к выбору видео. Идея – более убедительное изображение заголовка, тем больше вероятность того, что вы смотрите видео. И чем больше видео вы смотрите, тем меньше вероятность того, что вы отписываете от Netflix.

Здесь’S пример разных изображений заголовка для Незнакомец:

Вы можете быть удивлены, узнав изображение, показанное для каждого видео, выбрано специально для вас. Не все видят одинаковое изображение.

Все видели одно и то же изображение заголовка. Здесь’S, как это сработало. Участники были показаны на случайной картине из группы вариантов, например, изображения в вышеперечисленном Незнакомец коллаж. Netflix подсчитал каждый раз, когда видео просмотрели, записывая, какое изображение отображалось, когда было выбрано видео.

Для нашего Незнакомец Пример, пусть’S скажем, когда была показана групповая картина в центре, Незнакомец Смотрели 1000 раз. Для всех остальных картинок это смотрели только один раз каждый.

Поскольку групповая картина была лучшей в том, чтобы заставить участников смотреть, Netflix сделает это изображением заголовка для Незнакомец навсегда.

Это называется существо Данные. Netflix известен как компания, управляемая данными. Соберите данные – в данном случае количество просмотров, связанных с каждой картиной – и используется для принятия лучших возможных решений – в данном случае, которое заголововое изображение для выбора.

Умно, но ты можешь представить себе лучше? Да, используя больше данных. Что’S Тема будущего – решение проблем, учится на данных.

Мы с тобой, вероятно, очень разные люди. Как вы думаете, мы мотивированы тем же видом образа заголовка? Возможно нет. У нас разные вкусы. У нас разные предпочтения.

Netflix тоже это знает. Что’S, почему Netflix теперь персонализирует все изображения, которые они вам показывают. Netflix пытается выбрать произведение искусства, выделяющего наиболее релевантный аспект видео для вас. Как они это делают?

Помните, Netflix записывает и считает все, что вы делаете на их сайте. Они знают, какие фильмы вам больше всего нравятся, какие актеры вам нравятся больше всего, и так далее.

Позволять’S скажет, что одна из ваших рекомендаций – фильм Хорошая будет охота. Netflix должен выбрать изображение заголовка, чтобы показать вам. Цель состоит в том, чтобы показать изображение, которое сообщает вам о фильме, который вы’ll, вероятно, заинтересован в. Какое изображение должно показать вам Netflix?

Если вам нравятся комедии, Netflix покажет вам изображение с Робином Уильямсом. Если вы предпочитаете романтические фильмы, Netflix покажет вам изображение Мэтт Дэймон и Минни Драйвер, готовые к поцелую.

Показывая Робин Уильямс, Netflix сообщает вам там’Скорее всего, будет юмор в фильме, и потому что Netflix знает, что вам нравятся комедии, это видео – хорошее матч.

Изображение драйвера Мэтта Дэймона и Минни передает совершенно другое сообщение. Если вы’Поклонник комедии и увидел этот образ, вы можете пропустить прямо на.

Что’S, почему выбор изображения правильного заголовка так важен. Он посылает сильный персонализированный сигнал, указывающий, что такое фильм.

Здесь’S еще один пример, Криминальное чтиво.

Если вы’я смотрел много фильмов с Умой Турман в главной роли, потом ты’скорее всего, увидит изображение заголовка с UMA. Если вы’я смотрел много фильмов с Джоном Траволтой в главной роли, потом ты’Скорее всего, увидит изображение заголовка с участием Джона.

Можете ли вы увидеть, как выбор наилучшего персонализированного произведения искусства может сделать вас с большей вероятностью посмотреть конкретное видео?

Netflix обращается к вашим интересам при выборе произведений искусства, но Netflix не делает’тоже не хочу вам лгать. Они не доносят’Не хочу показать изображение ClickBait, чтобы заставить вас посмотреть видео. Там’S не стимул в этом. Netflix isn’T заплатил за видео просмотр. Netflix пытается Минимизировать сожаление. Netflix хочет, чтобы вы были довольны видео, которые вы смотрите, поэтому они выбирают лучшие изображения заголовка, которые они могут для вас.

Это всего лишь один небольшой пример того, как анализ данных используется Netflix. Netflix использует такие стратегии повсюду.

Рекомендации.

Обычно Netflix показывает вам только 40-50 вариантов видео, но у них есть много тысяч видео.

Как решает Netflix? Использование машинного обучения.

Что’S часть Обработка больших данных и аналитика Мы только что говорили о. Netflix рассматривает свои данные и предсказывает, что вы’ll нравится. На самом деле, все, что вы видите на экране Netflix, было выбрано специально для вас с помощью машинного обучения.

Транскодирование от Source Media в то, что вы смотрите

Здесь’S, где мы начинаем переходить на то, как видео обрабатывается Netflix.

Прежде чем вы сможете посмотреть видео на вашем любимом устройстве, Netflix должен преобразовать видео в формат, который лучше всего подходит для вашего устройства. Этот процесс называется транскодирование или кодирование.

Транскодирование – это процесс, который преобразует видеофайл из одного формата в другой, чтобы сделать видео, которые можно просматривать на разных платформах и устройствах.

Netflix кодирует все свое видео в AWS на 300 000 процессоров одновременно. Что’S больше, чем большинство супер компьютеров!

Источник исходного носителя.

Кто отправляет видео в Netflix? Производственные дома и студии. Netflix вызывает это видео Источник СМИ. Новое видео передается Контент -эксплуатационная команда для обработки.

Видео входит в формат высокой четкости, который’много терабайт в размерах. Терабайт большой. Представьте себе 60 стеков бумаги такими же высокими, как и Эйфелева башня. Что’S A Terabyte.

Прежде чем вы сможете просмотреть видео, Netflix переводит его через строгий многоэтапный процесс.

Проверка видео.

Первое, что делает Netflix, это потратить много времени на проверку видео. Он ищет цифровые артефакты, изменения цвета или отсутствующие рамки, которые могли быть вызваны предыдущими попытками транскодирования или задачами передачи данных.

Видео отклоняется, если возникают какие -либо проблемы.

В конвейер медиа.

После проверки видео оно’S подал в то, что Netflix называет СМИ ТРИБОВЕР.

А трубопровод это просто серия шагов, которые данные проходят через то, чтобы сделать его готовым к использованию, очень похожая на сборочную линию на фабрике. Более 70 различных фрагментов программного обеспечения имеют руку к созданию каждого видео.

Это’S не практично обрабатывать единый файл размером с мультистрабайт, поэтому первый шаг трубопровода-разбить видео на множество небольших кусков.

Видео -куски затем проводят через трубопровод, чтобы их можно было закодировать в параллели. Параллельно просто означает, что кусочки обрабатываются одновременно.

Позволять’S проиллюстрирует параллелизм с примером.

Позволять’S скажет, что у вас есть сто грязных собак, которые нуждаются в стирке. Что было бы быстрее, один человек стирает собак один за другим? Или было бы быстрее нанимать сто собак и мыть их все же время?

Очевидно, это’Скоже быстрее, чтобы стоить сотня собак работал одновременно. Что’S Параллелизм. И это’S, почему Netflix использует так много серверов в EC2. Им нужно много серверов для обработки этих огромных видеофайлов параллельно. Это тоже работает. Netflix говорит, что файл исходного носителя может быть закодирован и подтолкнуть к их CDN всего за 30 минут.

Как только кусочки закодированы, они’RE подтвержден, чтобы убедиться, что никаких новых проблем не были введены.

Затем кусочки собираются обратно в файл и снова подтверждаются.

Результатом является куча файлов.

Процесс кодирования создает много файлов. Почему? Конечная цель для Netflix-поддержка каждого подключенного к Интернету устройству.

Netflix начал потоковое видео в 2007 году на Microsoft Windows. Со временем было добавлено больше устройств-Roku, LG, Samsung Blu-Ray, Apple Mac, Xbox 360, LG DTV, Sony PS3, Nintendo Wii, Apple iPad, Apple iPhone, Apple TV, Android, Kindle Fire и Comcast X1 X1.

Всего Netflix поддерживает 2200 различных устройств. У каждого устройства есть видео -формат, который лучше всего выглядит на этом конкретном устройстве. Если вы’Повторный просмотр Netflix на iPhone, вы’LL посмотрите видео, которое дает вам лучший опыт просмотра на iPhone.

Netflix вызывает все разные форматы для видео профиль кодирования.

Netflix также создает файлы, оптимизированные для различных скоростей сети. Если вы’Повторный просмотр в быстром сети, вы’я увидим видео более качественного, чем если бы вы были бы, если бы вы’Повторный наблюдение за медленной сетью.

Есть также файлы для разных аудио форматов. Аудио кодируется на разные уровни качества и на разных языках.

Есть также файлы, включенные для субтитров. Видео может иметь субтитры на ряде разных языков.

Есть много разных вариантов просмотра для каждого видео. То, что вы видите, зависит от вашего устройства, качества сети, вашего плана Netflix и вашего языка.

Сколько файлов мы говорим?

Для Корона, Netflix хранит около 1200 файлов!

Незнакомец У второго сезона еще больше файлов. Он был снят в 8K и имеет девять эпизодов. Источники видеофайлы было много, много терабайт данных. Потребовалось 190 000 часов процессора, чтобы кодировать всего один сезон.

Результат? 9 570 различных видео, аудио и текстовых файлов!

Позволять’S Посмотрите, как Netflix играет все это видео.

Три разные стратегии для потокового видео

Netflix попробовал три разные стратегии потоковой передачи видео своего собственного маленького CDN; Сторонние CDNS; и открыть подключение.

Позволять’S Начните с определения CDN. CDN Сеть распределения контента.

Содержание Для Netflix – конечно, видеофайлы, которые мы обсуждали в предыдущем разделе.

Распределение означает, что видеофайлы копируются из центрального места, а не сеть и хранится на компьютерах, расположенных по всему миру.

Для Netflix, центральное место, где хранятся видео, S3.

Зачем строить CDN?

Идея CDN проста: поместите видео как можно ближе к пользователям, распространяя компьютеры по всему миру. Когда пользователь хочет посмотреть видео, найдите ближайший компьютер с видео на нем и транслируйте на устройство оттуда.

Самыми большими преимуществами CDN являются скорость и надежность.

Представить вас’Посмотреть видео в Лондоне, и видео транслируется из Портленда, штат Орегон. Видеопоток должен пройти через множество сетей, включая подводной кабель, поэтому соединение будет медленным и ненадежным.

Перемещая видеоконтент как можно ближе к людям, смотрящим его, опыт просмотра будет максимально быстрым и надежным, насколько это возможно.

Каждое место с компьютером, хранящим видеоконтент, называется POP или точка присутствия. Каждая поп. Он размещает серверы, маршрутизаторы и другое телекоммуникационное оборудование. Мы’Поговорим подробнее о попсах позже.

Первый CDN был слишком маленьким

В 2007 году, когда Netflix дебютировал со своей новой потоковой службой, у него было 36 миллионов членов в 50 странах, просмотрев более миллиарда часов видео в месяц, транслируя несколько терабит контента в секунду в секунду в секунду.

Чтобы поддержать потоковую службу, Netflix построил свой собственный простой CDN в пяти различных местах в Соединенных Штатах.

Видео -каталог Netflix был достаточно небольшим в то время, когда каждое место содержало все его контент.

Второй CDN были слишком большими

В 2009 году Netflix решил использовать CDN 3-й стороны. Примерно в это же время ценообразование на CDN 3-й стороны снижалась.

Использование CDN 3-й стороны имело смысл для Netflix. Зачем тратить все время и усилия по созданию собственного CDN, когда вы можете мгновенно добраться до земного шара, используя существующие сервисы CDN?

Netflix заключил контракт с такими компаниями, как Akamai, Limelight и Level 3, чтобы предоставить CDN Services. Там’S нет ничего плохого в использовании сторонних CDN. На самом деле, почти каждая компания делает. Например, НФЛ использовал Akamai для трансляции живых футбольных игр.

Не создавая свой собственный CDN, у Netflix было больше времени, чтобы работать над другими более высокими приоритетными проектами.

Netflix уделяет много времени и усилий в разработку более умных клиентов. Netflix создал алгоритмы для адаптации к изменению условий сетей. Даже перед лицом ошибок, перегруженных сетей и перегруженных серверов Netflix хочет, чтобы участники всегда просматривали лучшую картину. Один метод, разработанный Netflix, переключается на другой источник видео – скажите другому CDN или другому серверу – чтобы получить лучший результат.

В то же время Netflix также посвятил большие усилия всем услугам AWS, о которых мы говорили ранее. Netflix вызывает сервисы в AWS его плоскость управления. Плоскость управления – это телекоммуникационный термин, определяющий часть системы, которая контролирует все остальное. В вашем теле ваш мозг – плоскость управления; он контролирует все остальное.

Тогда Netflix подумал, что это может быть лучше, разработав его’S СОБСТВЕННЫЙ CDN.

Open Connect был просто правильным

В 2011 году Netflix реализовал в своем масштабе, ему потребовалось выделенное решение CDN, чтобы максимизировать эффективность сети. Распределение видео является основной компетенцией для Netflix и может быть огромным конкурентным преимуществом.

Таким образом, Netflix начал разрабатывать Open Connect, свой собственный специально построенный CDN. Open Connect запущен в 2012 году.

Open Connect имеет много преимуществ для Netflix:

• Дешевле. CDN 3-й стороны дороги. Делать это сами сэкономило бы много денег.
• Лучше качество. Контролируя весь видео -путь – транспортировка, CDN, клиенты на устройствах – Snetflix рассуждает, что может обеспечить превосходный опыт просмотра видео.
• Более масштабируемый. Netflix имеет цель предоставлять услуги повсюду в мире. Быстрая поддержка всех этих людей, предоставляя качественный опыт просмотра видео, требуется создание собственной системы.

CDN 3-й стороны должны поддержать пользователей, получающих доступ к любому контенту из любой точки мира. У Netflix гораздо более простая работа.

Netflix точно знает, кто его пользователи, потому что они должны подписаться на Netflix. Netflix точно знает, какое видео он нуждается для обслуживания. Просто зная, что он должен только обслуживать большие видеопотоки, позволяет Netflix сделать множество интеллектуальных вариантов оптимизации. Другие CDN могут’Т дела. Netflix также много знает об ИТ -членах. Компания знает, какие видео они любят смотреть, и когда им нравится их смотреть.

С такими знаниями Netflix создал действительно высокопроизводительный CDN. Позволять’S расскажите более подробно о том, как работает Open Connect.

Открыть приборы подключения

Помните, как мы сказали, что CDN распределяется по всему миру по всему миру?

Netflix разработала собственную компьютерную систему для хранения видео. Netflix вызывает их открыть приборы Connect или OCA.

Здесь’S, как выглядела ранняя установка OCA на сайте:

На картинке выше много ОС. ОКС сгруппированы в кластеры нескольких серверов.

Каждый OCA – это быстрый сервер, высоко оптимизированный для доставки больших файлов, с большим количеством жестких дисков или флэш -дисков для хранения видео.

Здесь’S, как выглядит один из серверов OCA:

Есть несколько различных видов ОС для разных целей. Есть большие ОС, которые могут хранить Netflix’S весь видеокаталог. Есть меньшие ОС, которые могут хранить только часть Netflix’S видео каталог. Меньшие ОСК заполняются видео каждый день, в непиковые часы, используя процесс вызовов Netflix упреждающий качинг. Мы’Поговорим подробнее о том, как проактивное кэширование работает позже.

С точки зрения аппаратного обеспечения там’S ничего особенного в OCA. Они’RE на основе компонентов товарных ПК и собранный в пользовательских случаях различными поставщиками. Вы могли бы купить те же компьютеры, если хотите.

Обратите внимание, как все Netflix’S компьютеры красные? У Netflix были специально созданы свои компьютеры, чтобы соответствовать цвету логотипа.

С точки зрения программного обеспечения, OCA используют операционную систему FreeBSD и NGINX для веб -сервера. Да, у каждого OCA есть веб -сервер. Видеопотоки с использованием nginx. Если ни одно из этих имен не имеет никакого смысла, Дон’Т волнуйся, я’м просто включил их для полноты.

Количество OCA на сайте зависит от того, насколько надежной Netflix хочет, чтобы сайт был, количество трафика Netflix (полоса пропускания), который доставляется с этого сайта, и процент трафика, который позволяет транслировать сайт.

Когда вы нажимаете на игру, вы’Повторный просмотр потоковой передачи видео с определенной OCA, как приведенный выше, в месте рядом с вами.

Для наилучшего возможного опыта просмотра видео, что Netflix действительно хотела бы сделать, это кеш -видео в вашем доме. Но затем’еще не практично. Следующая лучшая вещь-поставить мини-нецфликс как можно ближе к вашему дому, насколько это возможно. Как они это делают?

Где Netflix открывает Appliances Connect (OCA)?

Netflix обеспечивает огромное количество видео трафика от тысяч серверов в более чем 1000 мест по всему миру. Взгляните на эту карту местоположений видео:

Другие видео службы, такие как YouTube и Amazon, доставляют видео в свою собственную сеть магистралей. Эти компании буквально создали свою собственную глобальную сеть для доставки видео пользователям. Что’очень сложный и очень дорогой в.

Netflix принял совершенно другой подход к созданию своего CDN.

Netflix делает’T управляйте собственной сетью; это не’ТОГО ТАКОГО СОБСТВЕННЫХ ДАТАНЕТЕРЫ тоже тоже. Вместо этого поставщики интернет -услуг (интернет -провайдеры) соглашаются поместить OCA в свои обработки данных. ОСК предлагается бесплатно интернет -провайдерам, чтобы встроить в свои сети. Netflix также помещает OCA в местах интернет -обмена (IXPS).

Использование этой стратегии Netflix не делает’Не нужно управлять своими собственными образными центрами, но он получает все преимущества, находясь в обычном образовании обработки данных’S просто кто -то еще’S DataCenter. Гениальность!

Эти два последних абзаца были довольно плотными, так что пусть’S сломает это.

Использование интернет -провайдеров для построения CDN.

Провайдер – ваш интернет -провайдер. Это’S, от кого вы получаете свой интернет -сервис от. Это может быть Verizon, Comcast или тысячи других услуг.

Главный момент здесь в том, что интернет -провайдеры расположены по всему миру, и они’Рядом с клиентами. Поместив OCA в обработ данных ISP, Netflix также во всем мире, и близко к своим клиентам.

Использование IXPS для построения CDN.

Расположение интернет -обмена – это центр обработки данных, в котором интернет -провайдеры и CDNS обмениваются интернет -трафиком между их сетями. Это’S просто как ходить на вечеринку, чтобы обменять рождественские подарки с друзьями. Это’легче обменять подарки, если все находятся в одном месте. Это’S легче обмениваться сетевым трафиком, если все в одном месте.

IXP расположены по всему миру:

Карта интернет -обмена телеографии

Здесь’S, как выглядит лондонский интернет -обмен:

Лондонский интернет -биржа (Linx)

Просверлите эти желтые волоконно -оптические кабели и что вы’Посмотрите на то, что из интернет-точки AMS-IX Internet Exchange, в Амстердаме, Нидерландах:

Каждый провод на рисунке выше подключает одну сеть к другой сети. Что’S, как различные сети обменяются трафиком друг с другом.

IXP похож на обмен на шоссе, только используя провода:

Для Netflix это еще одна победа. IXPS во всем мире. Так что, поместив их OCA в IXPS, Netflix делает’Т должен запускать свои собственные обработки данных.

Видео активно кэшируется в ОКА каждый день

Netflix имеет все это видео, сидящее в S3. У них есть все эти видео -компьютеры, которые распространяются по всему миру. Там’S только одна вещь отсутствует: видео!

Netflix использует процесс, который он вызывает упреждающее кэширование эффективно копировать видео в OCA.

Что такое кеш?

Кэш – это укрытие, особенно одно в земле, для боеприпасов, еды и сокровищ.

Вы знаете, как белки похоронит орехи на зиму?

Каждое место, которое они похоронит орехи, является кеш. Зимой любая белка может найти кеш с гайком и купить.

Arctic Explorers отправили небольшие команды вперед, чтобы кэшировать продукты питания, топливо и другие припасы по маршруту, который они выбрали. Большая команда, последовавшая за позади, остановится в каждом месте кеша и пополнению.

Как белки, так и арктические исследователи были упреждающий; Они делали что -то заранее, чтобы подготовиться к позже.

Каждая OCA – это видео -кэш того, что вы’Скорее всего, захочет посмотреть.

Netflix Caches видео, предсказав, что вы’LL Хочу посмотреть.

Везде в мире, Netflix, знает в высокой степени точности, что его участники любят смотреть, и когда им нравится смотреть его. Помните, как мы сказали, что Netflix-это компания, управляемая данными?

Netflix использует свои данные о популярности предсказывать Какие видео -участники, вероятно, захотят посмотреть завтра в каждом месте. Здесь, расположение означает кластер OCA, размещенных в интернет -провайдере или IXP.

Netflix копирует прогнозируемые видео в один или несколько ОС в каждом месте. Это называется приготовление. Видео размещается в ОСА, прежде чем кто -либо даже спрашивает.

Это дает отличный сервис участникам. Видео, которое они хотят посмотреть, уже близко к ним, готово и доступно для потоковой передачи.

Netflix управляет так называемым Многоуровневая система кэширования.

Меньшие ОСА, о которых мы говорили ранее, размещены в интернет -провайдерах и IXPS. Они слишком малы, чтобы содержать весь каталог Netflix видео. В других местах есть ОС, содержащие большую часть Netflix’S видео каталог. Тем не менее, в других местах есть большие OCA, содержащие весь каталог Netflix. Они получают свои видео от S3.

Каждую ночь каждый OCA просыпается и просит услуги в AWS, в каких видео он должен иметь. Сервис в AWS отправляет OCA список видео’S должен был быть основан на прогнозах, о которых мы говорили ранее.

Каждый OCA отвечает за то, чтобы убедиться, что в нем есть все видео в списке. Если OCA в том же месте имеет одно из видео’S должен был иметь, тогда он скопирует видео из местной OCA. В противном случае, ближайшая OCA с видео будет найдена и скопирована.

Поскольку Netflix прогнозирует, что будет популярно завтра, там’S всегда однодневное время выполнения до того, как видео должно быть на OCA. Это означает, что видео можно скопировать в тихие, непиковые часы, существенно уменьшая использование полосы пропускания для интернет-провайдеров.

Там’S никогда не Кэш Мисс в открытом подключении. Мисс кэша будет просить конкретное видео из OCA, а OCA говорит, что это не так’это есть. Кэш пропускает все время на других CDN, потому что вы можете’T позволяют копировать контент повсюду. Поскольку Netflix знает все видео, которые он должен кэш, он точно знает, где каждое видео всегда. Если меньшая OCA не делает’T есть видео, тогда у одного из больших ОКС всегда гарантированно.

Почему’T Netflix просто скопируйте все свое видео на каждую OCA в мире? Его видеокаталог слишком большой, чтобы хранить все во всех местах. В 2013 году видео каталог для Netflix составлял более 3 петабайт; Я понятия не имею, насколько это велика сегодня, но я могу только это предположить’S значительно больше.

Что’S, почему Netflix разработал метод выбора, какие видео для хранения в каждой OCA с использованием данных для предсказывать Что их члены захотят посмотреть.

Позволять’S Взять пример. Дом из карт очень популярное шоу. Какие ОСА должны быть скопированы в? Наверное, каждое место, потому что участники по всему миру захотят посмотреть карточный дом.

Что, если видео не’T так же популярен, как карточный дом? Netflix решает, в каких местах он должен быть скопирован, чтобы наилучшим образом обслуживать близлежащие запросы участников.

В рамках места популярное видео, подобное карточке, скопировано во многих различных ОСК. Чем популярнее видео, тем больше серверов оно будет скопировано на. Почему? Если бы была только одна копия очень популярного видео, потоковая передача видео для участников сокрушила бы сервер. Как говорится, многие руки делают легкую работу.

Видео IS’Считал вживую, когда это’S скопирован только в одну OCA. Netflix хочет иметь возможность играть в один и тот же контент в то же время везде в мире. Только когда есть достаточное количество ОСА, с достаточным количеством копий видео, чтобы обслуживать его надлежащим образом, будет ли видео видео вживую и готово к тому, чтобы участники смотрели.

Смельчак Например, сезон 2 в 2016 году был первым, когда Netflix выпустил все эпизоды шоу на всех устройствах, во всех странах, одновременно.

Хостинг OCA: что’S в нем для интернет -провайдеров?

Зачем провайдеру согласиться поместить кластер OCA в свою сеть? Сначала это кажется слишком щедрым, но вы’Буду рады узнать это’S твердо укоренился в личных интересах.

Чтобы понять, почему мы’LL нужно поговорить о том, как работают сети. Я знаю на протяжении всей этой книги, мы’У сказал, что облачные сервисы доступны через Интернет. Что’S не тот случай для Netflix, по крайней мере, при просмотре видео. При использовании приложения Netflix он разговаривает с AWS через Интернет.

Интернет – это взаимосвязь сетей. У вас есть интернет -провайдер, который предоставляет интернет -сервис. Я получаю свой интернет -сервис от Comcast. Это означает, что мой дом соединяется с Comcast’S сеть с использованием волоконного кабеля. Comcast’S сеть – их сеть; это’не интернет, интернет – это нечто другое.

Позволять’S скажем, я хочу выполнить поиск в Google, и я ввожу запрос в свой браузер и нажимаю Enter.

Мой запрос на Google первые течет через Comcast’S сеть. Google isn’T на Comcast’S сеть. В какой -то момент мой запрос должен пойти в Google’S сеть. Что’S, для чего для Интернета.

Интернет подключает Comcast’сеть в Google’S сеть. Есть эти вещи, называемые Протоколы маршрутизации это действует как трафик, направляя, куда идет сетевой трафик.

Когда мой запрос Google направляется в Интернет, он’S не на Comcast’S сеть больше, и это’S не в Google’S сеть. Это’S на что’S назвал Интернет -магистраль.

Интернет соткан вместе со многими частными сетями, которые предпочитают взаимодействовать друг с другом. IXPS, на которые мы смотрели ранее, сетки с одной стороны, соединяются друг с другом.

В Соединенных Штатах здесь’S Карта сети волокна длительного времени:

Межтоки: исследование инфраструктуры с длинной оптоволоконной оптоводацией США

То, что Netflix сделал с Open Connect, размещается свои кластеры OCA в сети интернет -провайдеров. Это означает, что если я посмотрю видео Netflix I’Буду поговорить с OCA в Comcast’S сеть. Весь мой видео -трафик на Comcast’S сеть; он никогда не попадает в Интернет.

Ключ к масштабированию доставки видео – быть как можно ближе к пользователям. Когда ты’решить, что вы’не использовать интернет -магистраль. Запросы удовлетворяются в локальной части сети.

Почему это хорошая вещь? Напомним, что мы сказали, что Netflix уже потребляет более 37% интернет -трафика в Соединенных Штатах. Если провайдеры не сделали’T сотрудничать, Netflix будет использовать еще больше интернета. Интернет не мог’T обращайтесь со всеми видеоразами. Интернет -провайдеры должны были бы добавить гораздо большую сетевую емкость, и это’S дорого построить.

Прямо сейчас до 100% контента Netflix обслуживается из сети ISP. Это снижает затраты, освобождая заторы в Интернете для интернет -провайдеров. В то же время участники Netflix испытывают высококачественный опыт просмотра. И производительность сети улучшается для всех.

Open Connect является надежным и устойчивым

Ранее мы обсуждали, как Netflix повысила надежность своей системы, заканчивая три разных региона AWS. Архитектура Open Connect достигла одной и той же цели.

Что не может быть сразу очевидным, так это то, что ОК не зависят друг от друга. ОК действуют как самодостаточные архипелаги, экранирующие видео. Участники, потоковые из одной OCA, не затронуты, когда другие OCA терпят неудачу.

Что происходит, когда OCA терпит неудачу? Клиент Netflix вы’повторный использование немедленно переключается на другую OCA и резюме потоковой.

Что произойдет, если слишком много людей в одном месте используют OCA? Клиент Netflix найдет более слегка загруженную OCA для использования.

Что произойдет, если сеть, которую использует участник для потоковой передачи видео, становится перегруженным? То же самое. Клиент Netflix найдет еще одну OCA в более эффективной сети.

Open Connect – очень надежная и устойчивая система.

Netflix управляет клиентом

Netflix изящно обрабатывает сбои, потому что он управляет клиентом на каждом устройстве, работающем Netflix.

Netflix сами разрабатывает свои приложения для Android и iOS, так что вы можете ожидать, что они будут контролировать эти. Но даже на платформах, таких как Smart TV, где Netflix не делает’T создать клиента, Netflix по -прежнему имеет управление, потому что он управляет комплект для разработки программного обеспечения (SDK).

SDK есть набор инструментов разработки программного обеспечения, которые позволяют создавать приложения. Каждое приложение Netflix делает запросы на AWS и воспроизводит видео с помощью SDK.

Управляя SDK, Netflix может последовательно адаптироваться и прозрачно к замедлению сетей, неудачных ОСК и любых других проблем, которые могут возникнуть.

Наконец-то здесь’S, что происходит, когда вы нажимаете на игру

Это’был долгий путь, попадающий сюда. Мы’я многому научился. Здесь’S, что мы’я научился до сих пор:

• Netflix можно разделить на три части: бэкэнд, клиент и CDN.
• Все запросы от клиентов Netflix обрабатываются в AWS.
• Все видео транслируется из ближайшего устройства Open Connect (OCA) в CDN Open Connect.
• Netflix работает из трех регионов AWS и обычно может справиться с неудачей в любом регионе, даже не замечая.
• Новый видеоконтент преобразуется с помощью Netflix во множество различных форматов, поэтому лучший формат может быть выбран для просмотра на основе типа устройства, качества сети, географического положения и участника’S План подписки.
• Каждый день, через Open Connect, Netflix распространяет видео по всему миру, основываясь на том, что они предсказывают участники в каждом месте, захотят посмотреть.

Здесь’S изображение того, как Netflix описывает процесс воспроизведения:

Теперь, пусть’S завершите картинку:

• Вы выбираете видео для просмотра с помощью клиента, работающего на некотором устройстве. Клиент отправляет играть Запрос, указав, какое видео вы хотите воспроизвести, Netflix’с Приложения воспроизведения Сервис, работающий в AWS.
• Мы’не говорил об этом раньше, но большая часть того, что происходит после того, как вы попали в игру, связана с лицензированием. Не у каждого места в мире есть лицензия на просмотр каждого видео. Netflix должен определить, есть ли у вас действительная лицензия для просмотра конкретного видео. Мы выиграли’не говорите о том, как это работает – это’S действительно скучно, но имейте в виду’S всегда происходит. Одна из причин, по которой Netflix начал разрабатывать свой собственный контент, – это избежать лицензионных проблем. Netflix хочет выпустить шоу всем в мире одновременно. Создание собственного контента – самый простой способ для Netflix не беспокоиться о проблемах с лицензированием.
• Принимая во внимание всю соответствующую информацию, служба приложений воспроизведения возвращает URL -адреса для до десяти различных серверов OCA. Это те же самые URL -адреса, которые вы используете все время в своем веб -браузере. Netflix использует ваш IP -адрес и информацию от интернет -провайдеров, чтобы определить, какие кластеры OCA лучше всего подходят для вас.
• Клиент разумно выбирает, какую OCA использовать. Это происходит путем тестирования качества сетевого соединения с каждой OCA. Он подключится к самой быстрой, наиболее надежной OCA сначала. Клиент продолжает выполнять эти тесты на протяжении всего процесса потоковой передачи видео.
• Клиентский датчики, чтобы выяснить, как лучший способ получить контент от OCA.
• Клиент подключается к OCA и начинает потоковое видео на ваше устройство.
• Вы заметили при просмотре видео качество изображения варьируется? Иногда это будет выглядеть пикселированным, и через некоторое время картина снимает обратно к качеству HD? Что’S, потому что клиент адаптируется к качеству сети. Если качество сети снижается, клиент снижает качество видео, чтобы соответствовать. Клиент переключится на другую OCA, когда качество слишком сильно снижается.

Что’S, что происходит, когда вы нажимаете Play на Netflix. Кто бы когда -либо думал так просто, что смотреть видео было таким сложным?

Статьи по Теме

• На HackerNews и на HackerNews
• На Reddit и на Reddit

Тематическое исследование Netflix – как AWS Made Netflix работает бесшовна?

Любой, кто любит смотреть фильмы и сериалы или документальные фильмы в Интернете, знает об этом приложении, названном “Netflix”. Это крупнейшая в мире компания по обслуживанию развлекательных услуг в мире, имеющая около 193 миллионов платных пользователей с доступностью примерно в 190 странах.

Проблемы

В 2000 году у Netflix было всего 300 000 подписчиков, но только в течение 20 лет клиентская база увеличилась в геометрической прогрессии. Netflix имеет более 126 оригинальных серий и пленок, которые больше, чем любой другой сетевой и кабельный канал.

Это’S не просто транслировать более 250 миллионов часов видео в день. В таком масштабе, обеспечивая качество, развлечение каждому пользователю за считанные секунды – не простая задача. А потом наступает очень огромный сетевой трафик.

Netflix использует архитектуру микросервиса. В архитектуре микросервиса, каждое приложение или микросервис’S код и ресурсы это’S собственный. Он не будет делиться ни одним из них с каким -либо другим приложением по своей природе. Подсчитано, что Netflix использует около 700 микросервисов для управления каждой из многих частей всей службы Netflix: один магазин микросервиса, который показывает, что все, что вы смотрели.

Решение

Чтобы запустить все это, должна иметь огромную сеть серверов, которые когда -то принадлежали Netflix. Но по мере того, как клиенты и содержание выросли, это стало боли в спине для Netflix. Поэтому они решили запустить все это на кого -то другое серверы, которые также будут иметь дело с поддержанием оборудования. То, кого они выбрали, – это не что иное, как AWS (Amazon Web Services).

Netflix использует AWS почти для всех его потребностей в вычислениях и хранении, включая базы данных, аналитику, рекомендательные двигатели, видео -транскодирование и больше – сотни функций, которые в общем использовании более 100 000 экземпляров сервера на AWS.

Услуги Netflix использует из AWS следующие:

• AWS EC2 (масштабируемые вычислительные экземпляры)
• AWS S3 (масштабируемое хранилище)
• AWS DynamoDB (масштабируемая распределенная база данных)
• AWS EMR (обработка больших данных и аналитика)
• AWS ELB (балансировщик нагрузки)
• Amazon Kinesis

1) AWS EC2:- Amazon Elastic Compute Cloud (Amazon EC2)- это веб-сервис, который обеспечивает безопасную, сносительную измерную емкость в облаке. Он предназначен для облегчения облачных вычислений в веб-масштабах для разработчиков.

2) AWS S3 – Amazon Simple Service – это хранилище для Интернета. Он предназначен для упрощения вычислений в веб-масштабах для разработчиков. Amazon S3 имеет простой интерфейс веб -сервисов, который вы можете использовать для хранения и извлечения любого количества данных, в любое время, из любой точки сети.

3) AWS DynamoDB – DynamoDB – это система базы данных Amazon Web Services, которая поддерживает структуры данных и облачные сервисы с ключами. Это позволяет пользователям пользоваться автоматическим масштабированием, кэшированием в памяти, резервном копировании и восстановлении вариантов для всех их приложений интернет-масштаба с использованием DynamoDB.

4) AWS EMR – Amazon Elastic MapReduce (EMR) – это инструмент Amazon Web Services (AWS) для обработки и анализа больших данных. Amazon EMR предлагает расширяемый сервис с низкой конфигурацией в качестве более легкой альтернативы работающему кластерным вычислениям.

5) AWS ELB – балансировщик нагрузки принимает входящий трафик от клиентов и маршрутов запросов на свои зарегистрированные цели (например, экземпляры EC2) в одной или нескольких зонах доступности. Балансировщик нагрузки также контролирует здоровье своих зарегистрированных целей и гарантирует, что он направляет трафик только для здоровых целей. Когда балансировщик нагрузки обнаруживает нездоровую цель, он прекращает маршрутизацию трафика к этой цели. Затем он возобновляет маршрутизацию трафика к этой цели, когда обнаруживает, что цель снова полезна.

6) Amazon Kinesis: Amazon Kinesis Streams (KDS)-это масштабируемая и долговечная служба потоковой передачи данных в реальном времени. . Собранные данные доступны в миллисекундах, чтобы обеспечить возможность использования аналитики в реальном времени, такие как панель мониторинга в реальном времени, обнаружение аномалий в реальном времени, динамическое ценообразование и многое другое.

Все эти услуги от AWS сохраняют Netflix быстро и бесшовные услуги для пользователей.