Число предприятий, использующих Big Data в своей работе, непрерывно растет. Практика последних лет показала, что использование результатов анализа больших массивов данных может принести реальный эффект, который положительно отразится на банковских счетах компании. Но, неожиданно для себя, предприниматели сталкиваются с тем, что кроме ряда преимуществ, существует огромное количество проблем при внедрении Big data, решение которых требует привлечения довольно значительных ресурсов.

проблемы big data
Итак, о чем вам стоит знать прежде, чем вы решитесь начать использовать Big Data:

Хранение и управление

Это как раз тот случай, когда приходится признать, что в Big data есть проблемы. Чем больше объем накопленных данных, тем требовательнее система хранения и управления этими данными. Вам придется покупать дорогостоящее оборудование или смирится с недостатками хранения данных в облаке. Вам понадобятся специалисты, способные предусмотреть возможные проблемы при анализе больших объемов данных, которые смогут организовать все нюансы таким образом, чтобы вы реально эффективно использовали данные.

Предвзятость

Предвзятость — еще одна из серьезных проблем в Big data. Довольно легко сделать конкретный вывод, если в вашем распоряжении результаты одного или двух исследований, но если их становится значительно больше, появляется довольно большой простор для маневра, который позволяет изменить общий смысл результатов, изменив представление данных. Поэтому очень важно позаботиться о том, чтобы на результаты исследований не влияло мнение какой-либо из заинтересованных сторон.

Преждевременные вердикты

Хотя это скорее проблема специалистов, чем самой сферы, вам все равно лучше быть предупрежденными о ней. Довольно часто выводы делаются на основании недостаточного количества данных или данных, взятых за какой-то специфический период времени. Например, вполне логично предположить, что если при рассмотрении вопроса о целесообразности открытия новой точки по продаже мороженного взять данные опросов только за холодное время года, результат окажется абсолютно не мотивирующим.

Шум

Чем больше у вас данных, тем сложнее выделить именно то, что необходимо вам в текущий момент. Конечно, природа этой проблемы напрямую связана со спецификой big data и вообще data mining, но ее не стоит упускать из виду.

Корректность

Специфика Big data в том, что анализ проводится на основе алгоритма, лишенного свободы действия и не имеющего возможность учесть ряд факторов. Кроме того, высокая сложность алгоритма значительно повышает риск того, что какой-то фактор будет упущен из виду. Представьте, что вам предстоит проехать по загруженной трассе, как вдруг навигатор подсказывает, что есть объезд. Вы направляетесь туда, а оказывается, что это строящаяся дорога.

Стоит отметить, что найденная корреляция не всегда может говорить о реальной взаимосвязи между явлениями: так например, в США была обнаружена корреляция между долей браузера Microsoft на рынке и числом совершенных убийств. К этой проблеме больших данных стоит отнестись особенно серьезно, так как она ставит под угрозу целесообразность всех решений, принятых на основе анализа собранных данных.

Еще одно проявление этой проблемы в big data: если вы знаете алгоритм работы, вы легко можете обмануть систему. В ходе испытаний системы, проверяющей сочинения, студенты начали писать сложные и длинные предложения, так как они заметили, что система использует этот фактор, как один из критериев. В итоге качество работ упало, а оценки поднялись.

Заключение

После прочтения этой статьи может показаться, что в анализе данных больше проблем, чем пользы, но не стоит забывать о том, что при умелом использовании это мощный и действенный инструмент, который способен помочь принимать эффективные решения. В частности, для грамотной работы с большими данными необходимо хорошо понимать специфику конкретного рынка и бизнеса, поэтому многие аналитики советуют создавать специалистов по анализу данных внутри компании, а не нанимать их со стороны.

Еще один важный элемент, который поможет вам избежать проблем — понимание того, что эффективное использование требует создания соответствующей корпоративной культуры вокруг аналитического отдела и, как бы банально это не звучало, достаточного финансирования. Это область, основанная на современных технологиях и сложных алгоритмах, поэтому она просто не может давать положительный результат при дефиците ресурсов.

ПОДЕЛИТЬСЯ
Следующая статьяИндустрия Big Data

ОСТАВЬТЕ ОТВЕТ