Как украинцы работают с Big Data

комментировать

В Сиэтле, где находятся штаб-квартиры таких компаний, как Майкрософт, Амазон и Боинг, 25 августа состоялась международная конференция Seattle Tech Days, организованная Европейской Бизнес Ассоциацией.

На мероприятии украинские IT-компании получили шанс представить свои проекты и идеи коллегам из США. Одна из трех дискуссионных панелей была посвящена проблемам работы с т.н. Большими Данными, Big Data.

Впервые термин Big Data ввел аналитик Даг Ланей из Gartner еще в 2001 году. Даг писал: «Большие данные – это информация большого объема, увеличивающаяся с большой скоростью и имеющая большую разнообразность форматов. Это ценность, которая требует новых подходов для улучшения принятия решений, понимания сути и оптимизации процессов». В нынешних условиях корректно говорить о проблемах просто Данных, о методах быстрой обработки этих данных и о той пользе, которую можно получить из имеющейся информации.

Майкл Хайман, старший вице-президент AOL, поделился информацией, что в AOL уже обрабатывают десятки петабайт информации (1 петабайт, ПБ = 1024 терабайт, ТБ) в реальном времени. При этом приходится обрабатывать от 1,5 до 2 миллионов запросов в секунду. Команды программистов, которые работают с такими данными, находятся в США, Израиле, Ирландии и, что приятно, в Украине.

До последнего времени основными заказчиками услуг по обработке и анализу данных являлись большие корпорации, способные накопить достаточный объем информации. Арья Барирани, глобальный директор по маркетингу компании GlobalLogic, заявил, что большие данные уже вошли в сферу интересов малого и среднего бизнеса во всем мире. Уже сегодня компании начинают проводить анализ своих данных – как исторических, так и в режиме реального времени – для построения более эффективных моделей управления. Привычной практикой становится то, что многие корпорации собирают данные в надежде извлечь из них пользу в будущем.

Традиционно анализ данных активно используется в индустриях финансов, страхования, медицины, медиа, телекоммуникаций и розничной торговли. Компании, работающие в мировой сети, накапливали информацию о поведении пользователей, кликах, перемещениях, и т. д. Сейчас к ним добавляются индустрии производства, нефтегазовая и автомобильная промышленности, где проводится анализ данных с датчиков машин, устройств и механизмов.

Арья Барирани, говоря об этом, привел пример: современный автомобиль оснащен более 500 датчиками, которые могут передавать показатели на сервер. Объемы данных измеряются гигабайтами в час, но важно понимать, какую пользу может принести данная информация: можно ли предсказать поломку или оптимизировать работу машины.

Другой пример: по оценкам, если повысить эффективность работы электрических насосов, которые используются при нефтедобыче, на 1%, это может увеличить глобальную добычу нефти на 0,5 миллиона баррелей в день.

Крис Гарви, директор по развитию направления Big Data в Luxoft, отметил, что не так важен объем информации, как понимание того, какую информацию необходимо получить из данных. Огромное значение имеет взаимодействие «инженеров данных» со специалистами из предметной области. Будущее отрасли – за «программистами данных», которые имеют достаточно гибкое мышление для понимания данных индустрии, для которой они работают.

Существует иллюзия, что анализ данных – это просто. Проблема с квалифицированными специалистами для науки данных (Data Science) есть у компаний во всем мире. Но сегодня в Украине проходит достаточно конференций по тематике обработки и анализа данных, а также искусственного интеллекта, чтобы самостоятельно начать обучение. Науку анализа данных желающие также могут изучать на онлайн курсах – к примеру, на курсе «Data Science». Для начала практической работы можно брать открытые массивы данных – Open Datasets. Самые большие массивы различных открытых данных находятся на data.gov, а украинские данные на нашем аналоге – data.gov.ua.

Работа в области анализа данных – это шанс для Украины стать широко известной не только как экспортер услуг по разработке программного обеспечения, но и одной из первых стран в мире, которая сможет сформировать культуру и рынок Data Science – анализ информации и извлечение из неё пользы.

Такие компании, как Ciklum, GlobalLogic, Sigma Software уже активно развивают данное направление в нашей стране. Все компании имеют офисы в Украине, в которых сотни украинских специалистов работают над реальными проблемами обработки и анализа данных.


Комментарии

1000

Правила комментирования
Показать больше комментариев
Если Вы хотите вести свой блог на сайте Новое время, напишите, пожалуйста, письмо по адресу: nv-opinion@nv.ua

Эксперты ТОП-10

Читайте на НВ style

Последние новости

Подписка на новости
     
Погода
Погода в Киеве

влажность:

давление:

ветер: