Як українці працюють з Big Data

коментувати

.

У Сіетлі, де знаходяться штаб-квартири таких компаній, як Майкрософт, Амазон та Боїнг, 25 серпня відбулася міжнародна конференція Seattle Tech Days, організована Європейською Бізнес Асоціацією. На заході українські IT-компанії отримали шанс представити свої проекти та ідеї колегам з США. Одна з трьох дискусійних панелей була присвячена проблемам роботи з т.зв. Великими Даними, Big Data. 

Вперше термін Big Data ввів аналітик Даг Ланей з Gartner ще в 2001 році. Даг писав: «Великі дані - це інформація великого обсягу, що збільшується з великою швидкістю і має велику різноманітність форматів. Це цінність, яка вимагає нових підходів для поліпшення прийняття рішень, розуміння суті та оптимізації процесів». У нинішніх умовах коректно говорити про проблеми просто Даних, про методи швидкої обробки цих даних і про ту користь, яку можна отримати з наявної інформації.

Майкл Хайман, старший віце-президент AOL, поділився інформацією, що в AOL вже обробляють десятки петабайт інформації (1 петабайт, ПБ = 1024 терабайт, ТБ) в реальному часі. При цьому доводиться обробляти від 1,5 до 2 мільйонів запитів в секунду. Команди програмістів, які працюють з такими даними, знаходяться в США, Ізраїлі, Ірландії і, що приємно, в Україні.

До останнього часу основними замовниками послуг з обробки та аналізу даних були великі корпорації, здатні накопичити достатній обсяг інформації. Ар'я Барірані, глобальний директор по маркетингу компанії GlobalLogic, заявив, що великі дані вже увійшли в сферу інтересів малого та середнього бізнесу в усьому світі. Уже сьогодні компанії починають проводити аналіз своїх даних - як історичних, так і в режимі реального часу - для побудови більш ефективних моделей управління. Звичною практикою стає те, що багато корпорацій збирають дані в надії отримати від них користь у майбутньому.

Традиційно аналіз даних активно використовується в індустріях фінансів, страхування, медицини, медіа, телекомунікацій та роздрібної торгівлі. Компанії, що працюють у світовій мережі, накопичували інформацію про поведінку користувачів, кліки, переміщення, і т. д. Зараз до них додаються індустрії виробництва, нафтогазова і автомобільна промисловості, де проводиться аналіз даних з датчиків машин, пристроїв і механізмів.

Ар'я Барірані, говорячи про це, навів приклад: сучасний автомобіль оснащений більш ніж 500 датчиками, які можуть передавати показники на сервер. Обсяги даних вимірюються гігабайтами на годину, але важливо розуміти, яку користь може принести ця інформація: чи можна передбачити поломку або оптимізувати роботу машини.

Інший приклад: за оцінками, якщо підвищити ефективність роботи електричних насосів, які використовуються при нафтовидобутку, на 1%, це може збільшити глобальний видобуток нафти на 0,5 мільйона барелів на день.

Кріс Гарві, директор з развитку напрямку Big Data в Luxoft, зазначив, що не так важливий об'єм інформації, як розуміння того, яку інформацію необхідно отримати з даних. Величезне значення має взаємодія «інженерів даних» з фахівцями з предметної області. Майбутнє галузі - за «програмістами даних», які мають досить гнучке мислення для розуміння даних індустрії, для якої вони працюють.

Існує ілюзія, що аналіз даних - це просто. Проблема з кваліфікованими фахівцями для науки даних (Data Science) є у компаній по всьому світу. Але сьогодні в Україні проходить достатньо багато конференцій за тематикою обробки і аналізу даних, а також штучного інтелекту, щоб самостійно почати навчання. Науку аналізу даних бажаючі також можуть вивчати на онлайн курсах - наприклад, на курсі «Data Science». Для початку практичної роботи можна брати відкриті масиви даних - Open Datasets. Найбільші масиви різних відкритих даних знаходяться на data.gov, а українські дані на нашому аналогу - data.gov.ua.

Робота в області аналізу даних - це шанс для України стати широко відомою не тільки як експортер послуг з розробки програмного забезпечення, а й однією з перших країн у світі, яка зможе сформувати культуру і ринок Data Science - аналіз інформації та отримання з неї користі.

Такі компанії, як Ciklum, GlobalLogic, Sigma Software вже активно розвивають цей напрямок у нашій країні. Всі компанії мають офіси в Україні, в яких сотні українських фахівців працюють над реальними проблемами обробки і аналізу даних.


Коментарі

1000

Правила коментування
Показати більше коментарів
Якщо Ви бажаєте вести свій блог на сайті Новое время, напишіть, будь ласка, листа за адресою: nv-opinion@nv.ua

Експерти ТОП-10

Читайте на НВ style

Останні новини

Погода
Погода в Киеве

влажность:

давление:

ветер: