Що таке Big data, як це працює і чому всі носяться з даними як з писаною торбою

1. Big data: застосування і можливості
2. Big data в світі
3. Як змусити великі дані працювати на ваш бізнес
4. Як це працює?
5. воронка релевантності
6. Приклад 1. Як взуттєвої бренд збільшив продажі в 2 рази
7. Вибираємо канал комунікації
8. Дивіться, хто прийшов
9. Приклад 2. Як відвоювати клієнтів у конкурента
10. Приклад 3. Як використовувати те, що люди хочуть спілкуватися
11. Приклад 4. Пошук клієнтів по аналогії
12. Приклад 5. Як математеческі обчислити лояльного клієнта
13. міняйтеся даними
14. Big data в маркетингу
15. Big data дозволяє маркетологам дізнатися своїх споживачів і залучати нову цільову аудиторію, оцінити...
16. Застосування даних в рекламних розміщених
17. кадрова голодування

Тільки ледачий не говорить про Big data, але що це таке і як це працює - розуміє навряд чи. Почнемо з найпростішого - термінологія. Говорячи по-російськи, Big data - це різні інструменти, підходи і методи обробки як структурованих, так і неструктурованих даних для того, щоб їх використовувати для конкретних завдань і цілей.

Термін «великі дані» ввів редактор журналу Nature Кліффорд Лінч ще в 2008 році в спецвипуску, присвяченому вибухового зростання світових обсягів інформації. Хоча, звичайно, самі великі дані існували і раніше. За словами фахівців, до категорії Big data відноситься більшість потоків даних понад 100 Гб в день.

Сьогодні під цим простим терміном ховається за все два слова - зберігання і обробка даних.

У сучасному світі Big data - соціально-економічний феномен, який пов'язаний з тим, що з'явилися нові технологічні можливості для аналізу величезної кількості даних.

Для простоти розуміння уявіть супермаркет, в якому усі товари лежать не в звичному вам порядку. Хліб поруч з фруктами, томатна паста близько замороженої піци, рідина для розпалювання навпаки стелажа з тампонами, на якому крім інших варто авокадо, тофу або гриби шиітаке. Big data розставляють все по своїх місцях і допомагають вам знайти горіхове молоко, дізнатися вартість і термін придатності, а ще - хто, крім вас, купує таке молоко і чим воно краще молока коров'ячого.

Кеннет Кукьер: Великі дані - кращі дані

Величезні обсяги даних обробляються для того, щоб людина могла отримати конкретні і потрібні йому результати для їх подальшого ефективного застосування.

Фактично, Big data - це вирішення проблем і альтернатива традиційним системам управління даними.

Техніки та методи аналізу, що застосовуються до Big data по McKinsey:

Горизонтальна масштабованість, яка забезпечує обробку даних - базовий принцип обробки великих даних. Дані розподілені на обчислювальні вузли, а обробка відбувається без деградації продуктивності. McKinsey включив в контекст застосовності також реляційні системи управління і Business Intelligence.

технології:

• NoSQL;
• MapReduce;
• Hadoop;
• R;
• Апаратні рішення.

Для великих даних виділяють традиційні визначальні характеристики, вироблені Meta Group ще в 2001 році, які називаються «Три V»:

1. Volume - величина фізичного обсягу.
2. Velocity - швидкість приросту і необхідності швидкої обробки даних для отримання результатів.
3. Variety - можливість одночасно обробляти різні типи даних.

Big data: застосування і можливості

Обсяги неоднорідною і швидко надходить цифрової інформації обробити традиційними інструментами неможливо. Сам аналіз даних дозволяє побачити певні і непомітні закономірності, які не може побачити людина. Це дозволяє оптимізувати всі сфери нашого життя - від державного управління до виробництва і телекомунікацій.

Наприклад, деякі компанії ще кілька років тому захищали своїх клієнтів від шахрайства, а турбота про гроші клієнта - турбота про своїх власних грошах.

Сюзан Етліджер: Як бути з великими даними?

Big data в світі

За даними компанії IBS, до 2003 року світ накопичив 5 ексабайт даних (1 ЕБ = 1 млрд гігабайтів). До 2008 року цей обсяг зріс до 0,18 зеттабайт (1 ЗБ = 1024 ексабайта), до 2011 року - до 1,76 зеттабайт, до 2013 року - до 4,4 зеттабайт. У травні 2015 року глобальне кількість даних перевищило 6,5 зеттабайт.

До 2020 року, за прогнозами, людство сформує 40-44 зеттабайт інформації. А до 2025 року виросте в 10 разів, говориться в доповіді The Data Age 2025, який був підготовлений аналітиками компанії IDC. У доповіді наголошується, що більшу частину даних генерувати будуть самі підприємства, а не звичайні споживачі.

Аналітики дослідження вважають, що дані стануть життєво-важливим активом, а безпека - критично важливим фундаментом в життя. Також автори роботи впевнені, що технологія змінить економічний ландшафт, а звичайний користувач буде комунікувати з підключеними пристроями близько 4800 разів в день.

Як змусити великі дані працювати на ваш бізнес

Data management platform (DMP) - система використання великих даних, робить рівно те ж саме, але на основі інформації з корпоративної CRM і програми лояльності і за допомогою збору відкритих даних про покупця в мережі.

DMP дозволяє масштабувати експертизу досвідчених продавців, вести розмову з кожним покупцем індивідуально - навіть якщо таких мільйони. Вона дає можливість прогнозувати споживчу поведінку точніше, ніж це роблять продавці.

Як це працює?

• По-перше, шукає кореляцію між профілем споживача - набором його соціально-демографічних / поведінкових характеристик і тій чи іншій реакцією на бренд, модель, способи маркетингових пропозицій. Мета акумулювання великих даних - пошук статистично найбільш точних закономірностей.
• По-друге, таргетує споживачів в залежності від їх реакцій. І висуває припущення, що споживач з таким-то набором характеристик, швидше за все, відреагує на пропозицію X позитивно за умов A, B і C. Це і дає можливість робити йому індивідуальну пропозицію. Позитивний відгук на нього становить в добре працюючій системі 50% і більше.
• По-третє, DMP дозволяє в реальному часі відпрацювати велике число гіпотез споживчої реакції на всіх етапах просування товару, а також «зібрати» з них маркетингову стратегію. І, що не менш важливо, постійно її вдосконалювати - тобто вчитися на потоці подій.

Це доступно всім

Великі компанії давно прагнули до математично точному маркетингу: саме в їхніх надрах була створена концепція data driven marketing - маркетингу, заснованого на даних і точних цифрах, а не на відчуттях маркетингових фахівців. Але про справжню верифіковані DDM стало можливо говорити тільки з практичним застосуванням Big data в бізнесі.

Сьогодні технології на основі великих даних можуть бути тільки гігантам, але середньому і навіть малому бізнесу.

У нашій країні цифрові платформи, що працюють з великими даними, застосовуються спеціалізованими торговельними мережами: взуттєвими, косметичними, продовольчими, яким важливо контролювати ефективність маркетингових кампаній.

DMP активно використовують також постачальники автомобілів і електроніки. З двох причин:

• З одного боку, вони зазвичай пов'язані з іноземними материнськими компаніями, які швидше впроваджують перспективні нововведення.
• З іншого на дворі криза, а завдання продавати ніхто не знімав.

Все більш широко застосовують цифрові платформи роздрібні банки - вони потребують нових вкладників і надійних позичальників, телекомунікаційні компанії - їм важливо знаходити нові способи завоювання переваги в конкурентних війнах. З'явилися перші кейси в B2B.

воронка релевантності

DMP дуже ефективна при «активному» маркетинговому режимі пошуку нових клієнтів за допомогою рекламних кампаній. Вона дозволяє сформувати більш релевантну воронку продажів і постійно її вдосконалювати. Воронка продажів має на увазі виявлення максимуму цікавляться брендом і переклад максимуму з них в категорію покупців.

По відношенню до товару люди діляться на кілька категорій. Хтось поки не знає про існування бренду, хтось знає і цікавиться, хтось вже щось переглядав в інтернет-магазині - але «поклав» назад, а хтось і набував там товари.

Першим потрібно повідомити про товар, другим - показати моделі, які з високою ймовірністю викличуть позитивний відгук, третім - запропонувати знижки та інші додаткові стимули для покупки, а четверте проінформувати про супутні товари і нових моделях замість тієї, що вони вже здобували.

Приклад 1. Як взуттєвої бренд збільшив продажі в 2 рази

Ось як будував воронку продажів на основі великих даних один із взуттєвих брендів. Він звернувся для допомоги в маркетингове агентство, бо вважав, що не володіє достатньою експертизою, щоб зробити цю роботу своїми силами.

Насамперед була розроблена стратегія залучення, мета якої - переконати цільову аудиторію, що бренд їй підходить. Були взяті дані з CRM, програми лояльності, на основі даних про покупців самої компанії і даних, знайдених системою в мережевому «паблік», виділені основні типажі споживачів.

Далі, стосовно кожного з основних типажів:

• Були виявлені канали просування, які для них найбільш релевантні;
• Відібрано мережі, які вміють показувати банери саме в цих каналах;
• Розроблено кілька типів креативних рішень. І стратегія залучення почала реалізовуватися.

Дані про перегляди банерів стали надходити в DMP - з'явилася чітка картина того, які канали та креативні рішення більш ефективні, а які - менше, які групи споживачів найбільш зацікавлені в бренд, а які зовсім не зацікавилися. Були відкинуті групи і канали, на які не має сенсу витрачати бюджет.

На основі цієї інформації розроблена стратегія продажів, і компанія спільно з рекламним агентством приступили до її реалізації.

Що зробила система:

1. Проаналізувала тих, хто перейшов на сайт - зацікавився товарами (вона просила споживача залишити інформацію про себе);
2. «Вирахували» індивідуальні пропозиції: споживачеві пропонувалася взуття, яка зацікавить саме його;
3. За реакцією на ці пропозиції вироблялися додаткові стимули - знижки.

Види знижок визначалися на основі статистики: вона дозволяє сказати, який соціально-демографічний та споживчий типаж при якому рівні ціни найчастіше купував взуття.

Воронка з цифровою оптимізацією функціонує вже більше року, завдяки їй, взуттєвої бренд збільшив обсяги продажів більш ніж в два рази.

Вибираємо канал комунікації

Потенційний покупець вже зробив якісь дії: скачав брошуру про бренд, задає питання з тих чи інших моделей? Отже, він уже готовий в комунікації через email, смс, телефонні дзвінки.

DMP робить сегментацію: який канал зв'язку переважно для клієнта. Для цього аналізуються відгуки: який споживчий типаж по якому каналу схильний відповідати. За рахунок цього відбувається оптимізація каналів комунікації.

Це дає суттєву економію. Без сегментації потрібно було б обдзвонити більше 10 тис. Клієнтів. Сегментація дозволяє почати з тих, хто максимально схильний до покупки і готовий спілкуватися по телефону і відсікти тих, кому дзвінки можуть завдати шкоди.

Велике значення має також сегментування по каналах комунікації. Воно дозволяє зрозуміти, через який канал краще «доставляти» пропозицію. Важливо також розуміти правильний момент для пропозиції - це може бути не тільки час доби, а й час напередодні або після якогось події в житті потенційного покупця. Якщо комунікація робиться в правильний момент, то ефект від неї максимальний.

До «обчисленню» форми і моменту комунікації пред'являється підвищені вимоги, адже якщо потенційному покупцеві пропозицію донесено нерелевантних способом, це викликає негативні емоції.

Правило торгівлі: донесення нерелевантного пропозиції обходиться дорожче, ніж недонесення релевантного.

Дивіться, хто прийшов

У пасивному маркетинговому режимі - режимі очікування клієнтів DMP не менше ефективна. Вона дозволяє не тільки аналізувати прийшли на сайт, «обчислювати» для кожного відвідувача індивідуальні маркетингові пропозиції, а й розуміти, хто в принципі є цільовою аудиторією, сегментувати її - і переходити до активних маркетингових дій не фронтально, а щодо конкретних цільових аудиторій.

На корпоративних сайтах є лічильники - вони фіксують лише, зі скількох IP-адрес заходили, скільки сторінок відвідали і так далі. Використання DMP дозволяє отримати більш змістовну інформацію.

Приклад 2. Як відвоювати клієнтів у конкурента

На сайті одного з постачальників автомобілів була реалізована тестова рекламна кампанія без таргетування споживачів. Метою було зібрати максимально широкий спектр даних про відвідувачів, а потім виділити їх сегменти.

Кампанія проводилася три місяці. За цей час було зібрано досить докладна інформація про споживачів - ті дані, якими вони самі були готові ділитися, доповнені відомостями з соціальних мереж та інших відкритих джерел.

Автомобільна фірма і її маркетингові консультанти побачили, на яких групах споживачів рекламна кампанія діє найкраще, а які потребують додаткових стимулах. В результаті була виконана «нарізка» кластерів за типовими споживчим профілів.

На наступному кроці спроектували рекламні канали, щоб знайти потенційних споживачів подібних типажів. Потім було запущено кілька рекламних програм, орієнтованих на виділені цільові аудиторії. Продажі автомобілів, завдяки цьому, що не скоротилися, тоді як у інших учасників ринку вони знизилися приблизно на 15%.

До речі, при реалізації кейса виявилося чимало цікавого - про що раніше маркетологам не було відомо. Наприклад, з'ясувалося, що на сайт цього постачальника автомобілів приходить чимало власників машин однієї і конкуруючих марок. Виявилося, що це одна з найперспективніших цільових аудиторій - яка що раніше не відпрацьовувалася.

Приклад 3. Як використовувати те, що люди хочуть спілкуватися

Один з постачальників автомобілів відстежував оголошення на різних сайтах, де продаються автомобілі. Він бачив клієнтів, які продають його автомобілі, і в цей момент робили йому пропозицію трейд-ін, пропонували тест-драйв нової моделі. Відгук по таким комунікацій доходив до 50%!

Людина, як правило, готовий спілкуватися, навіть якщо він не готовий купувати нову машину. Він каже: «Чому я продаю? Тому що у мене гроші закінчилися ». У нього в цей момент немає негативу. У такій ситуації часто відбувається запис на тест-драйв - навіть якщо клієнт не збирався купувати машину.

Приклад 4. Пошук клієнтів по аналогії

Одна з торгових мереж, що продає джинси, сформувала за допомогою цифрової платформи цільові профілі потенційних покупців на інформації, раніше зібраної в рамках програми лояльності. Потім в Мережі були знайдені люди з аналогічними даними і зроблена розсилка пропозицій.

Ефективність збільшилася на 25% в порівнянні з «сліпий» розсилкою, хоча таргетування розсилки було дуже поверхневе.

Приклад 5. Як математеческі обчислити лояльного клієнта

Аналізувалася база транзакцій користувачів банківських послуг. Експертною і математичним способами виділили критерії лояльного і зацікавленого в нових продуктах клієнта, навчили систему їх шукати. Продажі продуктів банку без залучення нових клієнтів зросли на 20%.

Система крос-Сейлем була використана «в тандемі» з системою продажів банківських продуктів новим користувачам. У зовнішньому середовищі були знайдені споживачі, аналогічні за своїми характеристиками тим, кого зацікавив крос-сейл, і по відношенню до них проведені цілеспрямовані маркетингові кампанії. Банк отримав велике число надійних позичальників і нових вкладників.

міняйтеся даними

Базові математичні алгоритми, використовувані в DMP, загальні. Наприклад, це можуть бути багаторівневі, гіллясті дерева рішень. Або модні нині нейронні мережі - вони виглядають загадково, і для кого-то з замовників це плюс. Але при цьому їх важко інтерпретувати - на відміну від тих же дерев рішень, а розуміти, що і як робить цифрова платформа, для замовника важливо, особливо на етапі впровадження системи.

Реалізація алгоритмів - суто індивідуальна робота. Ніякого єдиного для всіх, що масштабується рішення для будь-яких видів бізнесу не може бути.

Споживча статистика дуже специфічна для кожної компанії. На продаж впливає багато факторів, які часом навіть важко собі уявити: розташування офісу, люди, які працюють в компанії, логотип - у одних він викликає довіру, у інших - ні.

Тому головна проблема при створенні ефективної цифрової платформи - дефіцит даних. Їм не страждають банки і телекомунікаційні компанії, які просто в силу вимог регуляторів зобов'язані вести докладні профілі користувачів. Немає дефіциту в мережах бутиків - вони звикли до індивідуальної роботи з споживачами. Взагалі, чим більше персоніфіковане компанія працює з споживачами, тим краще у неї йдуть справи з даними.

А ось в масовому сегменті торгівлі, як правило, справи йдуть гірше. У більшості ж B2C-компаній інформаційно бідні профілі клієнтів. Навіть в картах лояльності часто дуже мало даних.

Якщо власних даних недостатньо, потрібно їх збирати - в тому числі за допомогою цифрової платформи. На початковому етапі можна скористатися зовнішніми даними. Це дані з соціальних мереж, а також дані інших компаній.

Обмін знаннями - дуже перспективний напрямок, від которого віграють обмінюються. Наприклад, одна компанія говорить інший: у нас є люди, які купили наші товари, цілком ймовірно, що вони куплять і ваш. Це, до речі, дозволяє спільно знайти маркетингові події, які дозволять збільшити продажі обом фірмам.

При цьому мова не йде про передачу персональних даних. Для аналізу потрібні соціально-демографічні та споживчі характеристики покупців. Важливо, яка в нього освіта, сімейний стан. Наскільки він просунутий як споживач певних типів товарів, активний чи в інтернеті ...

Але чужі дані не можуть замінити власні. Щоб результат був релевантним, ядро ​​даних має бути «внутрішнє».

Big data в маркетингу

Завдяки Big data маркетологи отримали відмінний інструмент, який не тільки допомагає в роботі, але і прогнозує результати. Наприклад, за допомогою аналізу даних можна вивести рекламу тільки зацікавленої в продукті аудиторії, засновуючи моделі RTB-аукціону.

Big data дозволяє маркетологам дізнатися своїх споживачів і залучати нову цільову аудиторію, оцінити задоволеність клієнтів, застосовувати нові способи збільшення лояльності клієнтів і реалізовувати проекти, які будуть користуватися попитом.

Сервіс Google.Trends вам на допомогу, якщо потрібен прогноз сезонної активності попиту. Все, що треба - зіставити відомості з даними сайту і скласти план розподілу рекламного бюджету.

Застосування даних в рекламних розміщених

У будь-якому рекламному розміщенні маркетологи задають 2 основних питання: КОМУ і ЩО.

Кому конкретно (який цільової аудиторії) показати рекламне повідомлення і що саме повинно міститися в ньому, щоб досягти виконання конкретної маркетингової завдання, будь то підвищення впізнаваності або підвищення продажів з конкретного каналу.

Технології по роботі з даними допомагають відповідати на ці питання і досягати найкращих маркетингових результатів. На прикладі нашого кейса з компанією Asus з просування ігрових відеокарт розберемо кілька підходів, як технології аналізу великих даних дозволяють відповісти на питання «Кому показати рекламу».

По-перше, це звичайно використання власних даних (1st party data) рекламодавця для орієнтування в рекламних кампаніях. У випадку з Asus в таргетинг потрапили користувачі з цільового промо-сайту і відповідних розділів основного сайту.

По-друге, це застосування даних для пошуку цільової аудиторії виходячи з заданих наперед (сформульованих маркетологом або аналітиком) критеріїв. У разі Asus ми зібрали дві аудиторії: тінейджерів і геймерів.

По-третє, звичайно ж, це застосування Інтелектуальне алгоритмів для пошуку схожою аудиторії по навчається вибірці, так званий Look-alike. Для Asus ми на основі 1st party даних сформували look-alike аудиторію.

Нижче наведу зведену таблицю маркетингових результатів в розрізі кожного типу орієнтування.

Дані також можуть допомогти відповісти на питання «Що показати». Особливо цінність застосування великих даних зростає, коли потрібно вибрати для кожного конкретного користувача, який саме товар або послугу потрібно показати в банері. Найбільш часті разі застосування таких технологій - в динамічному ретаргетінге, товарних рекомендаціях на сайті і в персоналізації email-розсилок.

Застосування алгоритмів персоналізації дозволяє збільшити ROI кожного каналу на 15-100% +.

кадрова голодування

Ще в 2011 році McKinsey Global Institute в своєму звіті « Big data: The next frontier for innovation, competition, and productivity »Передбачив брак тільки в одних США 140-190 тисяч дата-аналітиків в області великих даних (Data Science фахівців) і більш 1,5 млн керівників, які будуть володіти необхідними навичками для застосування інформації, добутої за допомогою аналізу великих даних, з метою підвищення бізнес-показників своєї компанії.

Цей факт надає унікальний шанс багатьом фахівцям, які прагнуть до професійного (і матеріального) зростання. Тим, хто готовий вчитися і не боїться виходити із зони комфорту. Це особливо актуально сьогодні, оскільки в період кризи попит на фахівців, які приносять зрозумілий value для бізнесу, тільки зростає.

Так хто ж такий фахівець в data-менеджменті - маркетолог або математик? Коли мені задають таке питання, я ставлю зустрічне: «Як в наш час маркетолог може не знати математику?». У моєму уявленні data-фахівець - це маркетолог з хорошим розумінням математики на рівні 2 курсу університету. Ще непогано б мати технічний склад розуму, щоб розуміти обмеження, що накладаються конкретними технологіями по роботі з даними.

75% компаній заявили, що будуть збільшувати інвестиції в великі дані.

- Avanade.

Для того щоб стати частиною еліти нового часу, тих, хто на «ти» з технологіями великих даних, необхідно почати зі зміни своєї свідомості і сформувати підхід до прийняття рішень, грунтуючись на цифрах. І, якщо ви вирішили встати на цю стезю, вам обов'язково потрібно прочитати книгу «Lean Analytics: Use Data to Build a Better Startup Faster».

Щоб повноцінно працювати? потрібно, як мінімум, розуміти кілька ключових математичних моментів: що таке стандартне відхилення і поняття довірчих інтервалів (вкрай важливо для інтерпретації результатів A / B тестування) і, звичайно ж, базових понять теорії ймовірності. Для цих цілей є відмінний сервіс, який в доступній навіть гуманітаріям формі вчить цим знаннями.

Далі слід розібратися в основних концепціях і кейсах Big Data. Для цих цілей всім рекомендую до прочитання книгу «Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die».

Для тих же, хто хоче розвиватися як хардкорний data-scientist, на відомому сервісі Coursera є багато курсів, присвячених Data Science / Machine Learning, а сервіс DataCamp взагалі спеціалізується навчанні «вчених за даними».