Использует ли eBay Hadoop?
Hadoop – сила слона
В целом Уильямс почувствовал, что проект был амбициозным, но пошел быстро и хорошо, и что команда смогла использовать Hadoop и Hbase, чтобы построить значительно улучшенный опыт поиска.
eBay готовится к поиску следующего поколения, построенное с Hadoop и Hbase
eBay представил основной доклад в Hadoop World, описывающая архитектуру своей полностью перестроенной поисковой системы, Cassini, планирующей выйти в жизнь в 2012 году. Он индексирует все контент и метаданные пользователей для получения лучших рейтингов и обновлять индексы ежечасно. Он построен с использованием Apache Hadoop для почасовых обновлений индекса и Apache Hbase для предоставления случайного доступа к информации о элементе. Хью Э. Williams, VP Search, Experience & Platerds для маркетинга eBay предоставил основной доклад, где он обрисовал в общих чертах масштаб, используемые технологии и опыт 18-месячного усилия более 100 инженеров для полного восстановления основного поиска сайта eBay. Новая платформа, Кассини, будет поддерживать:
- 97 миллионов активных покупателей и продавцов
- 250 миллионов запросов в день
- 200 миллионов товаров проживают в более чем 50 000 категорий
eBay уже хранит 9 PB данных в кластерах Hadoop и Teradata для анализа, но это будет их первое производственное приложение, которое пользователи используют напрямую. Новая система будет более обширной, чем текущая (Galileo):
Старая система: Галилей | Новая система: Кассини |
---|---|
10 факторов, используемых для ранжирования | 100 -е с факторами, используемыми для ранжирования |
Матч только на заголовок по умолчанию | Используйте все данные, чтобы соответствовать по умолчанию |
Ручное вмешательство для развертывания, мониторинга, восстановления | Автоматизированный развертывание, мониторинг, исправление |
Кассини будет держать 90 дней исторических данных в Интернете – в настоящее время 1 миллиард пунктов и включать пользовательские и поведенческие данные для ранжирования. Большая часть работы, необходимой для поддержки системы поиска, выполняется в почасовых партийных заданиях, которые работают в Hadoop. Все различные виды индексов будут генерироваться в одном кластере (улучшение по сравнению с Галилеем, которое имело разные кластеры для каждого вида индексации). Среда Hadoop позволяет eBay восстанавливать или реклассифицировать весь инвентаризацию сайта по мере создания улучшений.
Элементы хранятся в HBASE и обычно сканируются во время почасовых обновлений индекса. Когда новый элемент перечислен, он будет рассмотрен в HBASE и добавлен в живой индекс в течение нескольких минут. HBASE также допускает насыпные и инкрементные записи, и быстрое считывает и пишет для аннотации предмета для аннотации предмета.
Уильямс указал, что команда была знакома с управлением Hadoop, и она сработала надежно с несколькими проблемами. Напротив, он указал, что «езда до сих пор с Hbase была ухабистой.”Уильямс отметил, что eBay по -прежнему привержен технологии, вносит решения для проблем, которые они обнаружили, быстро учатся и что последние две недели прошли гладко. Инженерная команда была новичком в использовании HBASE и столкнулась с некоторыми проблемами при тестировании в масштабе, например:
- Конфигурация производственного кластера для их рабочих нагрузок
- Аппаратные проблемы
- Стабильность: нестабильные региональные серверы, нестабильный мастер, области, застрявшие в переходе
- Мониторинг HBASE Health: часто проблемы не обнаруживаются, пока они не влияют на Live Service – команда добавляет много мониторинга
- Управление многоэтапными заданиями MapReduce
В целом Уильямс почувствовал, что проект был амбициозным, но пошел быстро и хорошо, и что команда смогла использовать Hadoop и Hbase, чтобы построить значительно улучшенный опыт поиска.
Hadoop – сила слона
В предыдущем посте Junling обсуждал интеллектуальный анализ данных и нашу необходимость обработки петабайт данных, чтобы получить информацию от информации. Мы используем несколько инструментов и систем, чтобы помочь нам с этой задачей; Тот, который я здесь обсуждаю, это Apache Hadoop.
Создано Дугом Рутьем в 2006 году, который назвал его в честь чучела желтого слона его сына, и на основе бумаги Google MapReduce в 2004 году Hadoop-это структура с открытым исходным кодом для устойчивых к неисправным, масштабируемым, распределенным вычислениям на товарном оборудовании.
MapReduce – это гибкая модель программирования для обработки больших наборов данных:
карта принимает пары ключей/значения в качестве входного и генерирует промежуточный выход другой типа паров ключей/значения, в то время как Уменьшать принимает ключи, созданные на шаге карты вместе со списком значений, связанных с тем же ключом для получения окончательного выхода пар клавиш/значения.
карта (Key1, value1) -> list (key2, value2)
Уменьшать (Key2, List (value2)) -> List (Key3, Value3)
Экосистема
Афина, наш первый большой кластер был использован в начале этого года.
Давайте посмотрим на стек снизу вверх:
- Основной – Время выполнения Hadoop, некоторые общие утилиты и распределенная файловая система Hadoop (HDF). Файловая система оптимизирована для чтения и написания больших блоков данных (от 128 МБ до 256 МБ).
- Уменьшение карты – предоставляет API и компоненты для разработки и выполнения заданий.
- Доступ к данным – Наиболее выдающиеся структуры доступа к данным сегодня – HBASE, PIG и HIVE.
- Hbase -Ориентированная на столбцы многомерная пространственная база данных, вдохновленная Google BigTable. HBASE предоставляет отсортированный доступ к данным, поддерживая разделы или области данных. Основное хранилище – HDFS.
- Свинья (Латинский) – процедурный язык, который предоставляет возможности загружать, фильтровать, преобразовать, извлекать, заполнить, соединить и группировать данные. Развивать
Вопросы:
- Что такое Apache Hadoop?
- Что такое MapReduce?
- Как называется новая поисковая система eBay?
- Какие технологии используются в поисковой системе eBay?
- Каковы улучшения в новой поисковой системе по сравнению со старой системой?
- Как данные хранятся в новой поисковой системе?
- С какими проблемами сталкивается eBay при использовании HBASE?
- Сколько данных в настоящее время хранит eBay в Hadoop и Teradata Clusters?
- Что такое HBASE?
- Что такое свинья?
- Какова цель HDFS?
- Какова цель Афины?
- Сколько времени потребовалось команде eBay, чтобы восстановить их основной поиск сайта?
- Каковы масштаб новой поисковой системы eBay?
- Какие улучшения приносит Hadoop в систему поиска eBay?
Apache Hadoop-это рамка с открытым исходным кодом для отказоустойчивых, масштабируемых, распределенных вычислений на товарный аппаратное обеспечение. Он был создан Doug Rutg в 2006 году на основе бумаги Google MapReduce.
MapReduce – это гибкая модель программирования для обработки больших наборов данных. Он принимает пары ключей/значения в качестве входного на шаге карты и генерирует промежуточный выход другой пары клавиш/значение типа. Шаг уменьшения принимает клавиши, созданные на шаге карты вместе со списком значений, связанных с тем же ключом для получения конечного вывода пар клавиш/значения.
Новая поисковая система eBay называется Cassini.
Поисковая система eBay использует Apache Hadoop для почасовых обновлений индекса и Apache HBase для предоставления случайного доступа к информации о элементе.
Новая поисковая система (Cassini) использует 100 факторов для ранжирования по сравнению со старой системой (Galileo), в которой использовались 10 факторов. Он также использует все доступные данные, чтобы соответствовать по умолчанию, поддерживает автоматизированный развертывание, мониторинг и восстановление, и включает 90 дней исторических данных онлайн.
Элементы хранятся в HBASE, что позволяет быстро считываться и записывает предметы для аннотации предмета.
Столкнувшись с такими проблемами eBay, как конфигурация производственного кластера, проблемы с оборудованием, стабильность региональных серверов и мастера, а также мониторинг HBASE Health. Они активно работают над решением этих проблем.
eBay в настоящее время хранит 9 PB данных в кластерах Hadoop и Teradata.
HBASE-это колонна-ориентированная многомерная пространственная база данных, вдохновленная Google BigTable. Он обеспечивает отсортированный доступ к данным, поддерживая разделы или области данных.
Свинья – это процедурный язык, который предоставляет возможности загрузки, фильтрации, преобразования, извлечения, агрегирования, соединения и групповых данных.
HDF (распределенная файловая система Hadoop) является основным хранилищем для Hadoop. Он оптимизирован для чтения и написания больших блоков данных.
Афина – это большой кластер, используемый eBay для обработки данных. Это часть экосистемы eBay Hadoop.
Команду eBay потребовалось 18 месяцев, чтобы полностью восстановить поиск основного сайта.
Новая поисковая система eBay, Cassini, будет поддерживать 97 миллионов активных покупателей и продавцов, обрабатывать 250 миллионов запросов в день и иметь 200 миллионов товаров в более чем 50 000 категорий.
Hadoop позволяет eBay генерировать различные виды индексов в одном кластере, восстановить или реклассифицировать весь инвентарь сайта и выполнять почасовые партийные задания, чтобы поддержать систему поиска.
Hadoop – сила слона
В целом Уильямс почувствовал, что проект был амбициозным, но пошел быстро и хорошо, и что команда смогла использовать Hadoop и Hbase, чтобы построить значительно улучшенный опыт поиска.
eBay готовится к поиску следующего поколения, построенное с Hadoop и Hbase
eBay представил основной доклад в Hadoop World, описывающая архитектуру своей полностью перестроенной поисковой системы, Cassini, планирующей выйти в жизнь в 2012 году. Он индексирует все контент и метаданные пользователей для получения лучших рейтингов и обновлять индексы ежечасно. Он построен с использованием Apache Hadoop для почасовых обновлений индекса и Apache Hbase для предоставления случайного доступа к информации о элементе. Хью Э. Williams The VP Search, Experience & Platerds для маркетинга eBay, предоставленных основным докладом, где он обрисовал в общих чертах масштаб, используемые технологии и опыт из 18 -месячных усилий более 100 инженеров для полного восстановления основного поиска сайта eBay. Новая платформа, Кассини, будет поддерживать:
- 97 миллионов активных покупателей и продавцов
- 250 миллионов запросов в день
- 200 миллионов товаров проживают в более чем 50 000 категорий
eBay уже хранит 9 PB данных в кластерах Hadoop и Teradata для анализа, но это будет их первое производственное приложение, которое пользователи используют напрямую. Новая система будет более обширной, чем текущая (Galileo):
Старая система: Галилей | Новая система: Кассини |
---|---|
10 факторов, используемых для ранжирования | 100 -е с факторами, используемыми для ранжирования |
Матч только на заголовок по умолчанию | Используйте все данные, чтобы соответствовать по умолчанию |
Ручное вмешательство для развертывания, мониторинга, восстановления | Автоматизированный развертывание, мониторинг, исправление |
Кассини будет держать 90 дней исторических данных в Интернете – в настоящее время 1 миллиард пунктов и включать пользовательские и поведенческие данные для ранжирования. Большая часть работы, необходимой для поддержки системы поиска, выполняется в почасовых партийных заданиях, которые работают в Hadoop. Все различные виды индексов будут генерироваться в одном кластере (улучшение по сравнению с Галилеем, которое имело разные кластеры для каждого вида индексации). Среда Hadoop позволяет eBay восстанавливать или реклассифицировать весь инвентаризацию сайта по мере создания улучшений.
Элементы хранятся в HBASE и обычно сканируются во время почасовых обновлений индекса. Когда новый элемент перечислен, он будет рассмотрен в HBASE и добавлен в живой индекс в течение нескольких минут. HBASE также допускает насыпные и инкрементные записи, и быстрое считывает и пишет для аннотации предмета для аннотации предмета.
Уильямс указал, что команда была знакома с управлением Hadoop, и она сработала надежно с несколькими проблемами. Напротив, он указал, что «езда до сих пор с hbase была ухабистой.”Уильямс отметил, что eBay по -прежнему привержен технологии, вносит решения для проблем, которые они обнаружили, быстро учатся и что последние две недели прошли гладко. Инженерная команда была новичком в использовании HBASE и столкнулась с некоторыми проблемами при тестировании в масштабе, например:
* Конфигурация производственного кластера для их рабочих нагрузок
* Аппаратные проблемы
* Стабильность: нестабильные региональные серверы, нестабильный мастер, области, застрявшие в переходе
* Мониторинг здоровья HBASE: часто проблемы не обнаруживаются, пока они не влияют на Live Service – команда добавляет много мониторинга
* Управление многоэтапными заданиями MapReduce
В целом Уильямс почувствовал, что проект был амбициозным, но пошел быстро и хорошо, и что команда смогла использовать Hadoop и Hbase, чтобы построить значительно улучшенный опыт поиска.
Hadoop – сила слона
В предыдущем посте Junling обсуждал интеллектуальный анализ данных и нашу необходимость обработки петабайт данных, чтобы получить информацию от информации. Мы используем несколько инструментов и систем, чтобы помочь нам с этой задачей; тот я’ll обсудить здесь Apache Hadoop.
Создан Дугом Рутьем в 2006 году, который назвал его в честь своего сына’S фаршированный желтый слон и на основе Google’S MapReduce Paper В 2004 году Hadoop – это структура с открытым исходным кодом для устойчивых к неисправностям, масштабируемым, распределенным вычислениям на товарном оборудовании.
MapReduce – это гибкая модель программирования для обработки больших наборов данных:
карта принимает пары ключей/значения в качестве входного и генерирует промежуточный выход другой типа паров ключей/значения, в то время как Уменьшать принимает ключи, созданные на шаге карты вместе со списком значений, связанных с тем же ключом для получения окончательного выхода пар клавиш/значения.
карта (Key1, value1) -> list (key2, value2)
Уменьшать (Key2, List (value2)) -> List (Key3, Value3)
Экосистема
Афина, наш первый большой кластер был использован в начале этого года.
Позволять’S посмотрите на стек снизу вверх:
- Основной – Время выполнения Hadoop, некоторые общие утилиты и распределенная файловая система Hadoop (HDF). Файловая система оптимизирована для чтения и написания больших блоков данных (от 128 МБ до 256 МБ).
- Уменьшение карты – предоставляет API и компоненты для разработки и выполнения заданий.
- Доступ к данным – Наиболее выдающиеся структуры доступа к данным сегодня – HBASE, PIG и HIVE.
- Hbase – Ориентированная на столбец многомерную пространственную базу данных, вдохновленная Google’S BigTable. HBASE предоставляет отсортированный доступ к данным, поддерживая разделы или области данных. Основное хранилище – HDFS.
- Свинья(Латинский) – Процедурный язык, который предоставляет возможности загружать, фильтровать, преобразовать, извлекать, агрегировать, соединить и групповые данные. Разработчики используют свинью для создания трубопроводов и фабрик данных.
- Улей – декларативный язык с синтаксисом SQL, используемый для создания хранилища данных. Интерфейс SQL делает Hive привлекательным выбором для разработчиков для быстрого проверки данных, менеджеров по продуктам и для аналитиков.
Инфраструктура
Наши корпоративные серверы запускают 64-битный Redhat Linux.
- Наменод Отвечает ли мастер -сервер за управление HDFS.
- JobTracker несет ответственность за координацию рабочих мест и задач, связанных с работой.
- Hbasemaster хранит хранилище корня для Hbase и облегчает координацию с блоками или областями хранения.
- Работник зоопарка распределенный координатор блокировки, обеспечивающий согласованность для HBASE.
Узлы для хранения и вычислений представляют собой единицы 1U. Мы упаковываем наши стойки с 38-42 из этих подразделений, чтобы иметь очень плотную сетку.
На сетевой стороне мы используем верхнюю часть стойки с полосой ширины узла 1 Гбит / с. Стойка на стойку переключается на переключатели ядра с скоростью линейки 40 гамспбпс, чтобы поддержать высокую полосу пропускания, необходимую для перетасовки данных.
Планирование
Наш кластер используется многими командами на eBay, для производства, а также одноразовых рабочих мест. Мы используем Hadoop’Справедливый планировщик для управления ассигнованиями, определять пулы вакансий для команд, назначить веса, ограничить одновременные задания на пользователя и команду, установить тайм -ауты о выпуске и отсроченное расписание.
Поставки данных
Ежедневно мы принимаем около 8-10 ТБ новых данных.
Дорога вперед
Вот некоторые из проблем, над которыми мы работаем, когда мы создаем нашу инфраструктуру:
- Масштабируемость
В своем текущем воплощении у мастер -сервера Namenode есть проблемы с масштабируемостью. По мере растет файловой системы кластера, так и следование памяти, поскольку она сохраняет все метаданные в памяти. Для 1 PB хранилища необходимо приблизительно 1 ГБ памяти. Возможные решения – это иерархическое разделение пространства имен или использование Zookeeper в сочетании с HBASE для управления метаданными. - Доступность
Наменод’Доступность S имеет решающее значение для производственных рабочих нагрузок. Сообщество с открытым исходным кодом работает над несколькими холодными, теплыми и горячими вариантами режима ожидания, таких как контрольные точки и узлы резервного копирования; Аватарские узлы переключают аватар из вторичного наменода; Методы репликации метаданных журналов. Мы оцениваем их для создания наших производственных кластеров. - Обнаружение данных
Поддержка данных Управление, обнаружение и управление схемами поверх системы, которая по своей природе не поддерживает структуру. Новый проект предлагает объединить улей’S Metadata Store и Owl в новую систему, называемую Howl. Наши усилия состоит в том, чтобы связать это с нашей аналитической платформой, чтобы наши пользователи могли легко обнаружить данные в различных системах данных. - Движение данных
Мы работаем над инструментами для публикации/подписки для поддержки копии данных и сверки в наших различных подсистемах, таких как хранилище данных и HDFS. - Политики
Включить хорошие политики в области удержания, архивного и резервного копирования с управлением емкостью с помощью квот (текущие квоты Hadoop нуждаются в некоторой работе). Мы работаем над тем, чтобы определить их в наших различных кластерах на основе рабочей нагрузки и характеристик кластеров. - Метрики, метрики, метрики
Мы создаем надежные инструменты, которые генерируют метрики для поиска данных, потребления, бюджета и использования. Существующие показатели, выявленные некоторыми из серверов Hadoop Enterprise, либо недостаточно, либо переходными, которые затрудняют использование кластеров.
eBay меняет то, как он собирает, преобразует и использует данные для генерации бизнес -аналитики. Мы’Повторный наем, и мы’D ЛЮБЛЮ, чтобы вы пришли, помощь.
Анил Мадан
Директор по разработке инженерной, аналитической платформыКак eBay использует большие данные и машинное обучение для повышения ценности бизнеса
Цифровая трансформация, хотя и не новая, сильно изменилась с появлением новых технологий для анализа больших данных и машинного обучения. Ключом к усилиям большинства цифровых преобразований большинства является использование информации о различных типах данных в нужное время. К счастью, организации теперь имеют доступ к широкому кругу решений для достижения этой цели.
Как лидеры в пространстве подходят к проблеме сегодня? Недавно у меня была дискуссия с Сешу Адунутулой, старшим директором по аналитической инфраструктуре на eBay, чтобы обсудить этот вопрос. eBay всегда был цифровым бизнесом, но даже ИТ -лидеры компаний, которые родились в качестве цифровых предприятий, охватывают новейшие цифровые технологии для улучшения своих существующих процессов и создания новых впечатлений. Согласно Адунутуле, «Данные являются наиболее важным активом eBay.”eBay управляет около 1 миллиарда списков в прямом эфире и 164 миллиона активных покупателей ежедневно. Из них eBay получает 10 миллионов новых списков через мобильные устройства каждую неделю . Очевидно, что компания как большие объемы данных, но ключом к ее будущему успеху будет то, как быстро она может превратить данные в персонализированный опыт, который стимулирует продажи.
Проектирование и обновление технической стратегии
Первой проблемой, с которой борился eBay, было найти платформу, кроме традиционного хранилища данных, которая была способна сохранить огромное количество данных, которые варьировались по типу. Adunuthula заявил, что тип данных, структура данных и требуемая скорость анализа означали, что компания должна была развиваться от традиционной структуры хранилища данных до того, что она называет озерами Data Lakes. Например, Компания должна сохранить примерно девять кварталов исторических тенденций, чтобы предоставить информацию о таких предметах, как рост из года в год. Также необходимо проанализировать данные в режиме реального времени, чтобы помочь покупателям на протяжении всего цикла продажи.
Способность поддерживать данные в масштабе интернет -компании была ключевым фактором при выборе технологий и партнеров. Компания решила поработать с продуктом Hortonwork Hadoop, потому что она предлагала платформу с открытым исходным кодом, которая была очень масштабируемой, и поставщик был готов работать с eBay для разработки улучшений продуктов. С основами Hadoop и Hortonworks два других компонента стратегии платформы данных eBay – это то, что он называет потоками и услугами.
Большая техническая задача для eBay и каждого бизнеса, интенсивного данных, состоит в том, чтобы развернуть систему, которая может быстро проанализировать и действовать по данным, когда она прибывает в системы организации (называемые потоковыми данными). Есть много быстро развивающихся методов для поддержки анализа потоковых данных. Ebay в настоящее время работает с несколькими инструментами, включая Apache Spark, Storm, Kafka и Hortonworks HDF. Уровень служб данных в его стратегии предоставляет функции, которые позволяют компании получить доступ к данным и запросу данных. Это позволяет аналитикам данных компании искать информационные теги, которые были связаны с данными (называемыми метаданными), и делает их расходными для как можно большим количеством людей с правильным уровнем безопасности и разрешений (называемое управлением данными). Он также использует интерактивный двигатель запросов на Hadoop под названием Presto. Компания была на переднем крае использования решений для больших данных и активно способствует своим знаниям обратно в сообщество с открытым исходным кодом.
Текущая стратегия больших данных eBay представляет некоторые из потенциальных комбинаций и опций, которые доступны компаниям, стремящимся обработать большой объем данных, которые не похожи в формате и комбинациях данных, которые, возможно, потребуются проанализировать в режиме реального времени или храниться для анализа позднее. Конечно, выбор решений с большими данными зависит от того, чего вы пытаетесь достичь как бизнес.
Использование больших данных и платформы машинного обучения для обеспечения бизнес -ценности
В случае eBay Компания использует решения для больших данных и машинного обучения для решения таких вариантов использования, как персонализация, мерчендайзинг и A/B -тестирование для новых функций для улучшения опыта пользователя. Например, персонализация eBay Models в пять четвертей структурированных (e.г. один миллиард списков, покупки и т. Д.) и неструктурирован (синопсис поведенческой активности, облака слов, значки и т. Д.) данные. Мерчендайзинг улучшился, используя аналитику и машинное обучение, чтобы помочь рекомендовать аналогичные элементы на ключевых размещениях на сайте и на мобильных устройствах. Элементы, такие как обнаружение сделок, используют машинное обучение, чтобы найти шаблоны в структурированных данных. eBay также создает модели прогнозирующего машинного обучения для обнаружения мошенничества, поездок на учетную запись и обеспечение прогнозирования риска покупателя/продавца. Очевидно, что eBay потратил огромное время и ресурсы, достигая этого уровня опыта в обработке данных и улучшении бизнес -процессов. Для eBay и многих других путешествие далеко не закончилось. Компания хочет продолжать оптимизировать потоковую аналитику и улучшать управление данными.
Что вы должны делать дальше?
Для тех компаний, которые начинаются, Adunuthula предложила несколько слов мудрых советов. Самая большая проблема – управление данными и не допустить его стать диким западом. Бизнес не может просто выбросить все в систему и беспокоиться о управлении позже. Если вы создаете стратегию данных сегодня, начните с управления.
Примеры этого могут включать определение процесса разрешения доступа к разным людям и способа обеспечения соответствия PCI в наборах данных для розничных продавцов. Стратегия должна рассказать о том, как сделать данные, обнаруживаемые и как развивать процесс. Он отметил, что есть новые решения, такие как атлас и навигатор, появляющиеся сегодня. Однако ландшафт постоянно меняется. Если вы начинаете путешествие сегодня, бизнес может установить управление данными, прежде чем создавать огромные наборы данных, хранилища данных и озера данных. Легче добавить управление данными в начале процесса.
Из обсуждений с моими клиентами я узнал, что есть несколько важных шагов в создании стратегии больших данных, которая включает в себя:
- Определение быстрой победы и долгосрочного варианта использования. Создание тесного использования. Например, многие компании определяют вариант использования, который включает в себя соединение и анализ новых источников данных для понимания поведения покупки. Выбор узкого варианта использования позволяет аналитикам данных тестировать новые технологии и предоставлять новые идеи для бизнеса.
- Оценка того, что вам нужно в партнере по данным. У ebay есть сложная инженерная команда и знает, чего он пытается достичь. Компания искала партнера, чтобы помочь предоставить масштаб и помощь в улучшении решений с открытым исходным кодом. Компания также может понадобиться своему партнеру, чтобы предоставить больше обучения, консалтинговых услуг и справочных архитектур на основе промышленности.
- Создание правильной экосистемы. Нет одного решения для хранения данных и аналитики, которое решит все варианты использования компании. В некоторых областях существующие решения компании Warehouse отлично работают. В других случаях вам понадобится потоковая аналитика. Точно так же нет ни одного инструмента или поставщика, который предоставит все, что вам нужно. Сегодняшний мир данных об анализе данных требует экосистемы инструментов и партнеров. Ищите партнерские отношения между поставщиками, которые облегчат проблемы интеграции.
- Ищу новые варианты использования. Вместо того, чтобы повторять то, что у вас есть, бизнес должен искать способы получения новых данных и проанализированы для улучшения ваших бизнес -процессов. Частью пользы этих новых инструментов данных и аналитики является обнаружение шаблонов, аномалий и новых идей, которых не было в вашей устаревшей системе анализа данных. Бизнес -лидеры должны работать с этим, чтобы найти способы, которые новые решения для хранения данных и аналитики могут ответить на вопросы, на которые в прошлом было нелегко ответить.
Использует ли eBay Hadoop?
- ИТ -директора берут на себя организационную адаптивность, ИТ -директора устойчивости и другие технологические руководители готовит их организации, делая все, что нужно, чтобы оставаться гибкими в период непредсказуемых .
- FTC рассматривает конкуренцию в облачных вычислениях Федеральной торговой комиссии изучает влияние нескольких крупных технологических компаний, таких как Amazon, Microsoft и Google .
- U.С. долговой кризис может привести к тому, что государственные подрядчики жесткие государственные подрядчики должны подготовиться сейчас к U.С. по умолчанию по его долгу, что приведет к остановке выплат среди других .
- Закрытие книги на конференции RSA 2023 AI, облачная безопасность, модернизация SOC и гигиена безопасности и управление осанками были горячими темами в RSAC в Сан -Франциско .
- Китайские Apt Exploys Tp-Link Router Прошивка с помощью программных технологий Implant Check Point заявил, что злонамеренный имплантат, который он приписал китайскому «Камаро-дракону», был прошивка .
- Защита от текущих и будущих угроз с текущими шифрованием и будущими киберубетраторными угрозами, такими как вымогатели, генеративный ИИ, квантовые вычисления и увеличение наблюдения, являются .
- Sonic NOS сталкивается с проблемами, соответствующими основным оценкам Gartner, что менее 200 предприятий имеют Sonic в производстве, с потенциального рынка центров обработки данных 100 000. Один.
- 12 Общие сетевые протоколы и их функции, объясняющие сеть, заставляют Интернет работать, но ни один из них не может добиться успеха без протоколов. Общие сетевые протоколы и их функции .
- Python Interprerer vs. IDE: Что сетевые инженеры должны знать при использовании Python для автоматизации сети, сетевые инженеры часто работают с переводчиками и интегрированной средой разработки .
- Сделайте эффективные операции с мэйнфреймом с этими стратегиями, которые мэйнфреймы влияют на организационные итоги. Эксперт описывает некоторые ключевые стратегии для поддержания надежности при сохранении .
- Как использовать CHATGPT для управления приложениями для мэйнфреймов CATGPT может помочь ему администратора управлять приложениями мэйнфрейма путем преобразования, оптимизации и улучшения кода. Кроме того, он может создать .
- Изучите влияние квантовых вычислений на криптографию, когда станут доступны квантовые компьютеры, многие типы шифрования будут уязвимы. Узнайте, почему и что изучается, чтобы .
- Qlik завершает покупку Talend, повышает комплекс Integration Suite с приобретением, давний поставщик аналитики добавляет подход к ткани данных и улучшенное качество данных и мастерство управления .
- Базы данных мэйнфреймов обучают старой собаке новые трюки на выживание, которые, как предсказывают, что они исчезают в пользу более современных архитектур .
- Сетка данных против. Другие варианты управления данными сетка данных приобретает децентрализованный подход к управлению данными и получение значения из данных. Он имеет сходство с данными .