Ефективна бізнес-аналітика та якісний аналіз даних. Аналіз бізнес інформації - основні принципи Конектори великих даних

Завантажте БЕЗКОШТОВНО повну версію Tableau Desktop, 14 днів і отримайте в ПОДАРУНОК навчальні матеріали з бізнес-аналітики Tableau

Доступна робота з Big Data за допомогою візуальної аналітики

Вдосконалюйте бізнес-аналітику та вирішуйте рутинні завдання, використовуючи інформацію, приховану в Big Data, за допомогою платформи TIBCO Spotfire. Це єдина платформа, яка надає бізнес-користувачам інтуїтивний, зручний інтерфейс користувача, що дозволяє використовувати весь спектр аналітичних технологій для Великих Даних без залучення ІТ-спеціалістів або наявності спеціальної освіти.

Інтерфейс Spotfire дозволяє однаково зручно працювати як з невеликими наборами даних, так і з багатотерабайтними кластерами великих даних: показань датчиків, інформації із соціальних мереж, точок продажу або геолокаційних джерел. Користувачі з будь-якими рівнями знань легко працюють зі змістовними панелями управління і аналітичними робочими процесами просто використовуючи візуалізації, які є графічним відображенням об'єднання мільярдів точок даних.

Предиктивна аналітика – це навчання у процесі роботи на основі спільного досвідуПідприємства прийняття більш аргументованих рішень. Використовуючи Spotfire Predictive Analytics, ви можете знаходити нові ринкові тренди з інформації, отриманої в результаті бізнес-аналітики та вживати заходів для мінімізації ризиків, що дозволить підвищити якість управлінських рішень.

Огляд

Підключення до Великих Даних для високопродуктивної аналітики

Spotfire пропонує три основні типи аналітики з безшовною інтеграцією з Hadoop та іншими великими джерелами даних:

1. Візуалізація даних на вимогу (On-Demand Analytics): вбудовані, налаштовані користувачем конектори даних, які спрощують надшвидкісну, інтерактивну візуалізацію даних
2. Аналіз у БД (In-Database Analytics): інтеграція з платформою розподільчих обчислень, що дозволяють робити обчислення даних будь-якої складності на основі великих даних.
3. Аналіз оперативної пам'яті (In-Memory Analytics): інтеграція з платформою статистичного аналізуяка бере дані безпосередньо з будь-якого джерела даних, включаючи традиційні та нові джерела даних.

Водночас всі ці методи інтеграції є потужним поєднанням візуального дослідження та просунутої аналітики.
Це дозволяє бізнес-користувачам отримати доступ, об'єднувати та аналізувати дані з будь-яких джерел даних за допомогою потужних, зручних у використанні панелей керування та робочих процесів.

Конектори великих даних

Конектори Spotfire для великих даних підтримують всі види доступу до даних: In-datasource, In-memory та On-demand. Вбудовані конектори даних Spotfire включають:

• Сертифіковані конектори даних Hadoop для Apache Hive, Apache Spark SQL, Cloudera Hive, Cloudera Impala, Databricks Cloud, Hortonworks, MapR Drill та Pivotal HAWQ
• Інші сертифіковані конектори великих даних включають Teradata, Teradata Aster та Netezza
• Конектори для історичних та поточних даних із таких джерел, як OSI PI сенсорні датчики

In-Datasource розподілені обчислення

На додаток до зручного функціоналу Spotfire візуального вибору операцій для SQL запитів, які звертаються до розподілених у джерелах даних, Spotfire може створювати алгоритми статистичного та машинного навчання, які функціонують усередині джерел даних та повертають лише необхідні результати для створення візуалізацій у системі Spotfire.

• Користувачі працюють з дешбордами з функціоналом візуального вибору, які звертаються до скриптів, використовуючи вбудовані можливості мови TERR,
• Скрипти TERR ініціюють роботу функціоналу розподілених обчислень у взаємодії з Map/Reduce, H2O, SparkR, або Fuzzy Logix,
• Ці програми, у свою чергу, звертаються до систем з високою ефективністю як Hadoop або інші джерела даних,
• TERR може бути розгорнутий як двигун розширеної аналітики у вузлах Hadoop, які управляються за допомогою MapReduce або Spark. Мова TERR також можна використовувати для вузлів даних Teradata.
• Результати візуалізуються на Spotfire.

TERR для просунутої аналітики

TIBCO Enterprise Runtime для R (TERR) – TERR є статистичним пакетом корпоративного рівня, який був розроблений компанією TIBCO для повної сумісності з мовою R, реалізуючи багаторічний досвід компанії в аналітичній системі, пов'язаний із S+. Це дозволяє замовникам продовжувати розробку додатків та моделей не лише використовуючи відкритий код R, але й інтегрувати та розгорнути свій код R на комерційній надійній платформі без необхідності переписувати свій код. TERR має більш високу ефективність і надійне управління пам'яттю, забезпечує більш високу швидкість обробки даних на великих обсягах у порівнянні з мовою R з відкритим кодом.

Поєднуючи весь функціонал

Об'єднання вищезгаданих потужних функціональних можливостей означає, що навіть у разі найскладніших завдань, що вимагають проведення аналітики з високим рівнем надійності, користувачі взаємодіють із простими та зручними у використанні інтерактивними робочими процесами. Це дозволяє бізнес-користувачам візуалізувати та аналізувати дані, а також ділитися результатами аналітики без необхідності знання деталей архітектури даних, що лежать в основі бізнес-аналізу.

Приклад: Інтерфейс Spotfire для конфігурації, запуску та візуалізації результатів моделі, що визначає характеристики втрачених вантажів. За допомогою цього інтерфейсу бізнес-користувачі можуть виконувати обчислення з використанням TERR та Н2О (фреймворк для розподілених обчислень), звертаючись до даних транзакцій та відвантажень, що зберігаються у кластерах Hadoop.

Аналітичний простір для великих даних

Просунута та передиктивна аналітика

Користувачі використовують дешборди Spotfire з функціоналом візуального вибору, щоб запустити багатий набір розширених можливостей, які дозволяють з легкістю робити прогнози, створювати моделі та оптимізувати їх під час роботи. Використовуючи великі дані, аналіз може бути проведений усередині джерела даних (In-Datasource), повертаючи лише агреговану інформацію та результати, необхідні створення візуалізацій на платформі Spotfire.

Машинне навчання

Доступний широкий набір інструментів машинного навчання у списку вбудованих функцій Spotfire, які можна використовувати за допомогою одного натискання. Статистики мають доступ до програмного коду, написаному мовою R і можуть розширювати функціонал, що використовується. Функціонал машинного навчання можна ділитися з іншими користувачами для легкого повторного використання.

Доступні такі методи машинного навчання для безперервних категоріальних змінних на Spotfire та на TERR:

• Лінійна та логістична регресія
• Дерева прийняття рішень (Decision trees), алгоритм випадкового лісу (Random forest), градієнтний бустинг машин (GBM)
• Узагальнені лінійні (адитивні) моделі ( Generalized Additive Models
• Нейронні сіті

Аналіз контенту

Spotfire забезпечує аналітику та візуалізацію даних, значна частина яких не використовувалася раніше – це неструктурований текст, який зберігається в таких джерелах, як документи, звіти, нотатки CRM систем, логи сайтів, публікації в соціальних мережахі багато іншого.

Локаційна аналітика

Багатошарові карти високого дозволує чудовим способом візуалізації великих даних. Багатий функціонал Spotfire для роботи з картами дозволяє Вам створювати карти з такою кількістю довідкових та функціональних шарів, яка Вам потрібна. Spotfire також дозволяє використовувати складну аналітику під час роботи з картами. Крім географічних карт система створює карти для візуалізації поведінки користувачів, складів, виробництва, сировини та багатьох інших показників.

Кожен великий бізнеста більшість середніх структур стикаються із проблемою надання керівництву неточних даних про стан справ компанії. Причини можуть бути різні, але наслідки завжди однакові - неправильні або несвоєчасні рішення, що негативно позначаються на результативності фінансових операцій. Для виключення подібних ситуацій призначена професійна система бізнес-аналітики або BI ( з англ. - Business Intelligence). Ці високотехнологічні помічники сприяють побудові системи управлінського контролю кожного аспекту всередині бізнесу.

За своєю суттю BI системи – це просунуте аналітичне програмне забезпечення для бізнес-аналізу та формування звітності. Ці програми можуть використовувати дані з різних джерел інформації та надавати їх у зручному вигляді та розрізі. В результаті керівництво отримує швидкий доступ до повної та прозорої інформації про стан справ компанії. Особливість звітів, отриманих за допомогою BI, – можливість самостійного вибору керівником, у якому розрізі отримати інформацію.

Сучасні Business Intelligence системи функціональні. Саме тому у великих компаніях вони поступово витісняють інші способи отримання бізнес-звітності. До основних можливостей фахівці відносять:

• Підключення до різних баз даних, зокрема до ;
• Формування звітів різної складності, структури, виду та компонування з високою швидкістю. Також є можливість задати розклад формування звітності за розкладом без безпосередньої участі та розсилки даних;
• Прозору роботу з даними;
• Забезпечення чіткого зв'язку між інформацією із різних джерел;
• Гнучке та інтуїтивно зрозуміле налаштування прав доступу співробітників у системі;
• Збереження даних у будь-якому зручному для вас форматі – PDF, Excel, HTML та багатьох інших.

Можливості інформаційних систем бізнес-аналітики дозволяють керівнику не залежати від IT-відділу або своїх помічників, які надають необхідну інформацію. Також це чудова можливість демонструвати правильний напрямок своїх рішень не словами, а точними цифрами. Багато великих мережевих корпорацій на Заході вже давно використовують BI-системи, серед яких всесвітньо відомі Amazon, Yahoo, Wall-Mart та ін.

Користь професійних систем бізнес-аналітики базується на принципах, що підтримуються у всіх передових BI додатках:

1. Наочність. Основний інтерфейс будь-якого програмного забезпечення для аналізу бізнесу повинен відображати основні показники. Завдяки цьому керівник швидко зможе оцінити стан справ на підприємстві та почати робити щось у разі потреби;
2. Кастомізація. Кожен користувач повинен мати можливість налаштувати інтерфейс та функціональні клавіші максимально зручним для себе чином;
3. Багатошаровість. Кожен набір даних повинен мати кілька розрізів (шарів) для надання деталізації інформації, яка необхідна на конкретному рівні;
4. Інтерактивність. Користувачі повинні мати можливість збирати інформацію з усіх джерел та за кількома напрямками одночасно. Необхідно, щоб система мала функцію налаштування оповіщення за ключовими параметрами;
5. Багатопоточність та розмежування доступу. У BI системі має бути реалізована одночасна робота великої кількості користувачів з можливістю встановлення різних рівнів доступу.

Вся IT-спільнота сходиться на думці, що інформаційні системиБізнес аналітики є одним із найперспективніших напрямів розвитку галузі. Однак їх впровадження часто ускладнюють технічні та психологічні перепони, неузгоджена робота менеджерів та відсутність прописаних сфер відповідальності.

При міркуванні про впровадження систем класу BI важливо пам'ятати, що успіх проекту багато в чому залежатиме від ставлення співробітників компанії до нововведення. Це стосується всіх IT-продуктів: скептичне ставлення та страх перед скороченням можуть звести нанівець усі зусилля щодо впровадження. Тому дуже важливо розуміти, які почуття викликає система бізнес-аналітики у майбутніх користувачів. Ідеальна ситуація складеться у випадку, коли співробітники компанії будуть ставитись до системи як до помічника та інструменту удосконалення роботи.

Перед початком проекту з впровадження BI технології необхідно провести ретельний аналіз бізнес-процесів компанії та принципів ухвалення управлінських рішень. Адже саме ці дані братимуть участь у аналізі ситуації у компанії. Також це допоможе зробити вибір BI системи разом з іншими основними критеріями:

1. Цілі та завдання впровадження BI систем;
2. Вимоги до зберігання даних та можливість ними оперувати;
3. Функції інтеграції даних. Без використання даних із усіх джерел у компанії керівництво не зможе отримати цілісної картини стану справ;
4. Можливості щодо візуалізації. Для кожної людини ідеальна BI аналітика виглядає по-різному, і система має задовольняти потреби кожного користувача;
5. Універсальність чи вузька спеціалізація. У світі існують як системи, спрямовані на певну галузь, так і універсальні рішення, що дозволяють зібрати інформацію в будь-якому розрізі;
6. Вибагливість до ресурсів та ціна на програмний продукт. Вибір BI системи, як будь-якого ПЗ, залежить від можливостей компанії.

Перераховані вище критерії допоможуть керівництву зробити усвідомлений вибір серед усього різноманіття відомих систем бізнес-аналітики. Існують інші параметри (наприклад, структура зберігання даних, веб-архітектура), але вони вимагають кваліфікації у вузьких IT-областях.

Недостатньо просто зробити вибір, купити ПЗ, встановити та налаштувати його. Успішне впровадження BI систем будь-якого напряму ґрунтується на наступних правилах:

• Коректність даних. Якщо дані для аналізу неправильні, існує ймовірність серйозної помилки системи;
• Повноцінне навчання кожного користувача;
• Швидке використання. Необхідно зосередитись на правильному формуванні необхідних звітів на всіх ключових місцях, а не на ідеальному обслуговуванні одного користувача. Скоригувати зовнішній виглядзвіту або додати ще один розріз для зручності завжди можна після впровадження;
• Усвідомлюйте окупність інвестицій у систему BI. Ефект залежить від безлічі факторів і в деяких випадках виявляється лише через кілька місяців;
• Обладнання має бути розраховане як на сучасну ситуацію, а й у найближче майбутнє;
• Усвідомлюйте, навіщо було розпочато впровадження системи BI, і не вимагайте від програмного забезпеченнянеможливого.

За статистикою лише 30% керівників компаній задоволені впровадженням BI систем. За довгі роки існування програмного забезпечення для аналізу бізнесу фахівці сформулювали 9 ключових помилок, які можуть знизити ефективність до мінімуму:

1. Неочевидність мети застосування керівництва. Найчастіше проект створюється силами IT-відділу без участі керівників. У більшості випадків у процесі впровадження та функціонування постають питання щодо мети та завдань BI системи, вигоди та зручності використання;
2. Відсутність прозорості в управлінні, роботі співробітників та прийнятті рішень. Менеджери можуть не знати алгоритмів роботи працівників на місцях, а управлінчеські рішенняможуть прийматися як на основі сухих фактів. Це призведе до неможливості збереження існуючої парадигми внаслідок впровадження BI системи. І найчастіше зламати культуру, що склалася роками. корпоративного управліннянеможливо;
3. Недостатня достовірність даних. Попадання хибної інформації до системи аналізу бізнесу неприпустимо, інакше співробітники не зможуть довіряти їй та користуватися нею;
4. Неправильний вибір професійної системи бізнес-аналітики. Багато прикладів в історії, коли керівництво наймає сторонню організацію для впровадження BI системи і не бере участі в її виборі, кажуть самі за себе. В результаті впроваджується система, яка не дозволяє отримати потрібний звіт або з якої неможлива інтеграція одного з існуючих у ПЗ;
5. Відсутність плану майбутнє. Особливість BI систем у тому, що це не статичне програмне забезпечення. Неможливо закінчити проект впровадження та не згадувати про нього. Виникає безліч вимог від користувачів та керівництва щодо доробок;
6. Передача BI системи сторонньої організаціїна підтримку. Як показує практика, найчастіше такі ситуації призводять до ізоляції продукту та відірваності системи від реального стану справ. Власна служба підтримки набагато швидше та ефективніше реагує на відгуки користувачів та вимоги керівництва;
7. Бажання заощадити. У сфері бізнесу це нормально, але BI аналітика працює лише якщо бере до уваги всі аспекти діяльності компанії. Саме тому найефективнішими є глибокі аналітичні системи з високою вартістю. Бажання отримати кілька звітів з областей, що цікавлять, призводить до частих помилок у даних і великої залежності від кваліфікації IT-фахівців;
8. Різна термінологія у компанії. Важливо, щоб усі користувачі розуміли основні терміни та їх зміст. Просте нерозуміння може призвести до неправильного трактування звітів та показників BI системи;
9. Відсутність єдиної стратегії аналізу бізнесу для підприємства. Без обраного єдиного всім співробітників курсу будь-яка система класу BI буде лише набором розрізнених звітів, які відповідають вимогам окремих керівників.

Впровадження BI систем – важливий крок, який може допомогти вивести бізнес на новий рівень. Але для цього вимагатиме не тільки досить великого вливання фінансів, а й часу та сил кожного співробітника компанії. Не кожен бізнес готовий грамотно закінчити проект впровадження системи аналізу бізнесу.

(Business Intelligence).

Як доповідачі на семінар запрошуються молоді фахівці, які роблять успішну кар'єруаналітиків у високотехнологічних компаніях, таких як Microsoft, IBM, Google, Яндекс, МТС та ін. На кожному семінарі студентам розповідають про деякі бізнес-завдання, які вирішуються в цих компаніях, про те, як відбувається накопичення даних, як виникають завдання аналізу даних, якими методами їх можна розв'язувати.

Всі фахівці, які запрошуються, відкриті для контактів, і студенти зможуть звертатися до них за консультаціями.

Цілі семінару:

• сприяти усуненню існуючого розриву між університетськими дослідженнями та вирішенням практичних завдань у галузі аналізу даних;
• сприяти обміну досвідом між сучасними та майбутніми професіоналами.

Програма семінару