BIg Data и спадающая кривая заинтересованности

Хотя Gartner исключили BIg Data из «кривой интереса» за прошедший год, это не значит, что шумиха вокруг больших данных сместилась с отметки «ажиотаж» к уровню «плато принятия». Сейчас кривая интереса выглядит следующим образом:

hype-curve

А так выглядит популярность Big Data и Hadoop, если судить по поисковым запросам:

hadoop-and-big-data-trendline

Она выглядит именно так, как должен выглядеть график технологии, популярность которой постоянно растет. Давайте немного разберемся в этапах ее становления:

  • В результате объединения идей Google и технологий Yahoo возникает Hadoop, созданный для более эффективных распределенных вычислений и структурирования хранящихся данных. Период с 2003 по 2008 год можно назвать ранней эпохой Hadoop, когда практически никто не знал что это, зачем это нужно и что с ним делать.
  • В 2008 году группа энтузиастов создает компанию «Cloudera», для того чтобы занять коммерческие ниши «облака» и «данные», создав для этого продукт, основанный на открытом исходном коде Hadoop. Позднее они сконцентрировались на данных, отказавшись от развития облачных технологий. В марте 2009 года была представлена первая версия Hadoop от Cloudera. Именно это событие послужило причиной всплеска интереса, который можно наблюдать после 2009 года на графике поисковых запросов, представленном выше.
  • С 2009 по 2011 Cloudera были единственными, кто подогревал интерес к Hadoop, но их усилий было недостаточно для того чтобы создать настоящий ажиотаж вокруг технологии. Впрочем, первые последователи, проверившие эффективность Hadoop на практике, и новые игроки уже включились в игру. Речь идет о MapR и Hortonworks.
  • 2012−2014 — период, когда большие данные стали действительно модными и «must have» для любой передовой компании. Это было вызвано массированными маркетинговыми атаками вышеупомянутых компаний и развитием отрасли в целом. Только в 2012 году на оборудование для обработки данных различными компаниями было потрачено около 15 миллиардов долларов. Впоследствии многие из них оказались обычными пузырями, но далеко не все. Так или иначе, спрос на решения для работы с большими данными стремительно растет.
  • В 2014—2015 Big Data достигает пика популярности. Intel инвестирует 760 миллионов долларов в Cloudera, оценивая платформу в 4,1 млрд., а стоимость Hortonworks приблизилась к одному миллиарду долларов. Начинают появляться новые технологии и инструменты, например Apache Spark, Apache Flink, Apache Kafka и другие. Apache Spark получает 300 миллионов инвестиций от IBM. Это год повального интереса к большим данным и появления таких концепций, как «Data Lake»,"Data Hub" и «Lambda Architecture», упрощающих интеграцию современных решений в традиционную инфраструктуру.

2016 год стал началом интересных и непростых времен для Big Data. Стоимость Cloudera упала на 38%, а Hortonworks потерял около 40% стоимости. Самую большую потерю популярности пережил Hadoop, вышедший на рынок вместе с Hortonworks.

Можно предположить, что причиной такой ситуации стал чрезмерный рост популярности этих технологий в 2014—2015 годах. После нескольких лет ажиотажа вокруг Big Data многие наконец-то осознали, что Hadoop — это всего лишь инструмент для решения специфических проблем, а не золотой ключик, который вознесет вас над конкурентами с помощью волшебной силы больших данных. Кроме того, стоит помнить, что вам не нужен Hadoop, если вы не обладаете действительно гигантскими объемами данных. Многие были разочарованы, используя небольшие кластеры Hadoop размером 2−10 Тб, но такие объемы недостаточны для эффективного использования Hadoop. Все это вызвало переоценку приоритетов и значительный отлив инвестиций из области больших данных, тем самым обрушив рынок.

hortonworks-stock-price

Большие данные в облаке

Это еще один распространенный тренд. BM приобретает Cloudant. Databricks предоставляет свои услуги только в облаке. Большинство облачных компаний начинают преподносить свои услуги как «управление базами данных» или даже как аналитические базы данных в облаке. Создатели продуктов на основе Hadoop начинают активно продвигать свои облачные решения. Индустрия DBaaS все быстрее развивается, а количество поставщиков, предлагающих СУБД в облаке, постоянно растет.

Фактически, когда-то слово «облако» применялось, как характеристика хостинговых услуг, а управление базами данных было только одним из вариантов использования этой технологии. Но эти времена прошли, и сегодня большинство компаний переместили все, что связано с хранением, структурированием и обработкой больших данных в облака. Поэтому «облако» начинает все чаще ассоциироваться именно с большими данными.

Большие данные становятся открытыми

Буквально десять лет назад список open source решений для работы с данными ограничивался Postgres и MySQL. Однако в последнее десятилетие индустрия активно развивалась, что привело к появлению огромного количества open source решений, например, Greenplum, HAWQ и Gemfire (Geode). Cloudera представили Kudu. Citus Data — CitusDB. Google явил миру TensorFlow и Dataflow.

Шумиха вокруг искусственного интеллекта

Вокруг искусственного интеллекта постепенно растет ажиотаж. Многие компании уже давно предлагают решения, в основе которых лежит машинное обучение, но теперь это подается как решения на основе искусственного интеллекта.

IBM начал агрессивно продвигать Watson. Появились TensorFlow от Google, CNTK от Microsoft и множество других решений. Были разработаны системы, играющие в Го на профессиональном уровне, способные обыгрывать ведущих мировых игроков.

Можно уверенно сказать, что сегодня все IT гиганты ведут гонку за создание мощного искусственного интеллекта. Но пик развития этой технологии все еще далеко впереди.

ОСТАВЬТЕ ОТВЕТ