Как заставить большие данные работать на вас

С развитием на рынке технологий больших данных многие компании усилено ищут ответы на возникающие вызовы. Итак, с чего же начать? Из этой статьи вы узнаете, что требуется для создания интегрированной, недорогой и масштабируемой среды больших данных.

Как работают большие данные

Работа с большими данными

Даже компании, которые полностью поддерживают работу с большим данными, определили свой бизнес-кейс и готовы пойти дальше этапа «научного проекта», сталкиваются с пугающим вопросом: как мы можем заставить большие данные работать?

Некий хайп вокруг данной темы и очень широкий диапазон вариантов технологий и поставщиков больших данных затрудняют поиск правильного ответа, но так не должно быть. Цель должна состоять в том, чтобы спроектировать и создать базовую среду больших данных с низкой стоимостью и низкой сложностью. Она должна быть стабильна, в высокой степени интегрирована и достаточно масштабируема, с тем чтобы сориентировать всю организацию на данные и аналитику.

Ориентированность на данные и аналитику — это состояние, в котором возможности больших данных и аналитики больших данных доступны всем подразделениям организации, которые в них нуждаются. С наличием базовой инфраструктуры, с потоками данных и наборами пользовательских инструментов, необходимых для получения ценной информации, принятия наилучших решений и достижения реальных целей бизнеса. Вот как должны работать большие данные.

Большие данные как двигатель возможностей бизнеса

Вам интересно, с чего начать? Воспринимайте большие данные как двигатель. Для повышения производительности необходимо собрать правильные компоненты бесшовным, стабильным и устойчивым способом. Эти компоненты включают в себя:

  • Источники данных: операционные и функциональные системы, машинные журналы и датчики, веб-источники, а также социальные и многие другие источники
  • Платформы данных, хранилища и платформы обнаружения: они позволяют собирать данные и управлять ими, а затем, что крайне важно, преобразовывать их в лучшее понимание клиентов и, в конечном счете, активные действия
  • Инструменты и приложения для анализа больших данных: «интерфейс», используемый руководителями, аналитиками, менеджерами и другими лицами для доступа к информации о клиентах, моделирования сценариев и выполнения других видов своей работы и управления бизнесом.


На этом уровне речь идет об использовании всего потенциала активов больших данных для фактического создания новых ценностей для бизнеса. Для того чтобы весь этот комплекс работал совместно, требуется стратегический дизайн больших данных и продуманная архитектура больших данных, которая не только изучает текущие потоки данных и репозитории, но и учитывает конкретные задачи бизнеса и долгосрочные тенденции рынка. Другими словами, не существует единого шаблона для работы больших данных. Здесь речь не идет о COTS (коммерчески доступных компонентах).

Учитывая, что большие данные завтра станут еще более важными, такую инфраструктуру следует рассматривать как основу будущих операций. Так что, да, капитальные затраты могут быть значительными. Тем не менее многие дальновидные организации и ранние последователи практики больших данных пришли к удивительному и несколько нелогичному на первый взгляд выводу: разработка правильной среды больших данных может фактически привести к экономии средств. Кстати, о сюрпризах: такая экономия средств может оказаться приятно большой, и "собирать урожай" можно будет уже относительно скоро.

Важно отметить, что наличие технологий гибких структур и программ больших данных может поддерживать несколько подразделений предприятия и улучшать операции в рамках всего бизнеса. В противном случае существует реальный риск того, что даже продвинутые и амбициозные проекты в области больших данных окажутся в затруднительном положении. По оценкам Gartner, 90% проектов больших данных используются или копируются в масштабах всего предприятия. Завтрашние победители в области больших данных на сегодня находятся в оставшихся 10% и давно перестали думать о малом и действуют масштабно.

Атрибуты высокоэффективных сред больших данных

  • Беспрепятственное использование наборов данных: Большая часть положительного эффекта получается за счет смешивания, объединения и сопоставления наборов данных, поэтому без интеграции нет инноваций с поддержкой аналитики.
  • Гибкость, низкая стоимость: Здесь целью является низкая сложность и низкая стоимость, с достаточной гибкостью для масштабирования для будущих потребностей, которые будут как более масштабными, так и более ориентированными на конкретные группы пользователей.
  • Стабильность: Стабильность имеет решающее значение, поскольку объемы данных огромны, и пользователям необходимо получать легкий доступ к данным и взаимодействовать с ними. В этом смысле производительность инфраструктуры является ключом к повышению эффективности бизнеса за счет больших данных.

Большие данные и Hadoop: технология, которую нужно знать

Hadoop — это файловая система, которая позволяет хранить любые типы данных, большинство из которых в прошлом были бы отброшены (потому что сделать их пригодными для использования было бы слишком сложно и дорого). Ценность больших данных и Hadoop проявляется в моделировании данных "на лету", которые могут быть действительно полезны и которые при интеграции с существующей средой больших данных и аналитики могут привнести в бизнес новые идеи.

Интеграция больших данных: самая важная переменная

Ограниченная возможность повторного использования в значительной степени является производной от плохой интеграции. Фактически, интеграция может быть самой важной переменной в уравнении успеха больших данных.

В издании Forrester Research пишут, что 80% ценности больших данных приходится на интеграцию. Идея общей ситуации заключается в том, что самые ценные большие данные легко доступны для нужных пользователей, а правила бизнеса и структуры управления надежны и четко определены. Более глубокие наборы данных — устаревшие транзакционные данные и истории клиентов с "длинным хвостом" — могут нуждаться только в надежном хранении и надежном управлении данными, поэтому специалисты по обработке и анализу данных могут их просматривать и моделировать, когда это имеет смысл.

Интеграция больших данных также заключается и в том, чтобы мыслить масштабно. В данном случае «большой» на самом деле означает целостность, инклюзивность и многомерность. Отдельные точки должны быть соединены, островки данных соединены, а функциональные бункеры подключены друг к другу (или даже полностью ликвидированы).

Высокая степень интеграции. Правильно спроектированные экосистемы. Унифицированная архитектура. Ориентированность на данные и аналитику. Чтобы заставить программы больших данных функционировать, в этом коротком списке необязательно потребуется каждый компонент или техническая деталь. Но, безусловно, это различающиеся атрибуты, которые обеспечивают эффективную работу программ больших данных.

Узнайте, как Teradata может помочь вам воспользоваться возросшими возможностями для обработки данных.