Эффективная бизнес-аналитика и качественный анализ данных. Анализ бизнес информации — основные принципы Коннекторы больших данных

Скачайте БЕСПЛАТНО полную версию Tableau Desktop, 14 дней и получите в ПОДАРОК обучающие материалы по бизнес-аналитике Tableau

Доступная работа с Big Data с помощью визуальной аналитики

Совершенствуйте бизнес-аналитику и решайте рутинные задачи, используя информацию, скрытую в Big Data, с помощью платформы TIBCO Spotfire. Это — единственная платформа, которая предоставляет бизнес-пользователям интуитивный, удобный пользовательский интерфейс, что позволяет использовать весь спектр аналитических технологий для Больших Данных без привлечения ИТ-специалистов или наличия специального образования.

Интерфейс Spotfire позволяет одинаково удобно работать как с небольшими наборами данных, так и с многотерабайтными кластерами больших данных: показаний датчиков, информации из социальных сетей, точек продаж или геолокационных источников. Пользователи с любыми уровнями знаний с легкостью работают с содержательными панелями управления и аналитическими рабочими процессами просто используя визуализации, которые являются графическим отображением объединения миллиардов точек данных.

Предиктивная аналитика – это обучение в процессе работы на основе совместного опыта компании для принятия более аргументированных решений. Используя Spotfire Predictive Analytics, вы можете находить новые рыночные тренды из информации, полученной в результате бизнес-аналитики и принимать меры для минимизации рисков, что позволит повысить качество управленческих решений.

Обзор

Подключение к Большим Данным для высокопроизводительной аналитики

Spotfire предлагает три основных типа аналитики с бесшовной интеграцией с Hadoop и другими крупными источниками данных:

1. Визуализация данных по требованию (On-Demand Analytics): встроенные, настраиваемые пользователем коннекторы данных, которые упрощают сверхскоростную, интерактивную визуализацию данных
2. Анализ в БД (In-Database Analytics): интеграция с платформой распределительных вычислений, которая позволяют делать вычисления данных любой сложности на основе больших данных.
3. Анализ в оперативной памяти (In-Memory Analytics): интеграция с платформой статистического анализа, которая берет данные непосредственно из любого источника данных, включая традиционные и новые источники данных.

Вместе все эти методы интеграции представляют мощное сочетание визуального исследования и продвинутой аналитики.
Это позволяет бизнес-пользователям получить доступ, объединять и анализировать данные из любых источников данных с помощью мощных, удобных в использовании панелей управления и рабочих процессов.

Коннекторы больших данных

Коннекторы Spotfire для больших данных поддерживают все виды доступа к данным: In-datasource, In-memory и On-demand. Встроенные коннекторы данных Spotfire включают:

• Сертифицированные коннекторы данных Hadoop для Apache Hive, Apache Spark SQL, Cloudera Hive, Cloudera Impala, Databricks Cloud, Hortonworks, MapR Drill и Pivotal HAWQ
• Другие сертифицированные коннекторы больших данных включают Teradata, Teradata Aster и Netezza
• Коннекторы для исторических и текущих данных из таких источников, как OSI PI сенсорные датчики

In-Datasource распределенные вычисления

В дополнение к удобному функционалу Spotfire визуального выбора операций для SQL запросов, которые обращаются к распределенным в источниках данным, Spotfire может создавать алгоритмы статистического и машинного обучения, которые функционируют внутри источников данных и возвращают только необходимые результаты для создания визуализаций в системе Spotfire.

• Пользователи работают с дэшбордами с функционалом визуального выбора, которые обращаются к скриптам, используя встроенные возможности языка TERR,
• Скрипты TERR инициируют работу функционала распределенных вычислений во взаимодействии с Map/Reduce, H2O, SparkR, or Fuzzy Logix,
• Эти приложения в свою очередь обращаются к системам с высокой эффективностью как Hadoop или другие источники данных,
• TERR может быть развернут как движок расширенной аналитики в узлах Hadoop, которые управляются с помощью MapReduce или Spark. Язык TERR также можно использовать для узлов данных Teradata.
• Результаты визуализируются на Spotfire.

TERR для продвинутой аналитики

TIBCO Enterprise Runtime для R (TERR) – TERR является статистическим пакетом корпоративного уровня, который был разработан компанией TIBCO для полной совместимости с языком R, реализуя многолетний опыт компании в аналитической системе, связанный с S+. Это позволяет заказчикам продолжать разработку приложений и моделей не только используя открытый код R, но и интегрировать и развернуть свой код R на коммерческой надежной платформе без необходимости переписывать свой код. TERR обладает более высокой эффективностью и надежным управлением памятью, обеспечивает более высокую скорость обработки данных на больших объемах в сравнении с языком R с открытым кодом.

Объединяя весь функционал

Объединение вышеупомянутых мощных функциональных возможностей означает, что даже в случае сложнейших задач, требующих проведения аналитики с высоким уровнем надежности, пользователи взаимодействуют с простыми и удобными в использовании интерактивными рабочими процессами. Это позволяет бизнес-пользователям визуализировать и анализировать данные, а также делиться результатами аналитики, без необходимости знания деталей архитектуры данных, лежащих в основе бизнес-анализа.

Пример: Интерфейс Spotfire для конфигурации, запуска и визуализации результатов модели, которая определяет характеристики потерянных грузов. С помощью этого интерфейса бизнес-пользователи могут выполнять вычисления с использованием TERR и Н2О (фреймворк для распределенных вычислений), обращаясь к данным транзакций и отгрузок, хранящихся в кластерах Hadoop.

Аналитическое пространство для больших данных

Продвинутая и предиктивная аналитика

Пользователи используют дэшборды Spotfire c функционалом визуального выбора, чтобы запустить богатый набор расширенных возможностей, которые позволяют с легкостью делать прогнозы, создавать модели и оптимизировать их во время работы. Используя большие данные, анализ может быть проведен внутри источника данных (In-Datasource), возвращая только агрегированную информацию и результаты, необходимые для создания визуализаций на платформе Spotfire.

Машинное обучение

Доступен широкий набор инструментов машинного обучения в списке встроенных функций Spotfire, которые можно использовать с помощью одного нажатия. Статистики имеют доступ к программному коду, написанному на языке R и могут расширять используемый функционал. Функционалом машинного обучения можно делиться с другими пользователями для легкого повторного использования.

Доступны следующие методы машинного обучения для непрерывных категориальных переменных на Spotfire и на TERR:

• Линейная и логистическая регрессия
• Деревья принятия решений (Decision trees), алгоритм случайного леса (Random forest), градиентный бустинг машин (GBM)
• Обобщенные линейные (аддитивные) модели (Generalized Additive Models )
• Нейронные сети

Анализ контента

Spotfire обеспечивает аналитику и визуализацию данных, значительная часть которых не использовалась раннее – это неструктурированный текст, который хранится в таких источниках, как документы, отчеты, заметки CRM систем, логи сайтов, публикации в социальных сетях и многое другое.

Локационная аналитика

Многослойные карты высокого разрешения являются отличным способом визуализации больших данных. Богатый функционал Spotfire для работы с картами позволяет Вам создавать карты с таким количеством справочных и функциональных слоев, какое Вам необходимо. Spotfire также дает возможность использовать сложную аналитику во время работы с картами. В дополнение к географическим картам система создает карты для визуализации поведения пользователей, складов, производства, сырья и многих других показателей.

Каждый крупный бизнес и большинство средних структур сталкиваются с проблемой предоставления руководству неточных данных о состоянии дел компании. Причины могут быть разные, но последствия всегда одинаковы – неверные или несвоевременные решения, отрицательно сказывающиеся на результативности финансовых операций. Для исключения подобных ситуаций предназначена профессиональная система бизнес аналитики или BI ( с англ. – Business Intelligence ). Эти высокотехнологичные «помощники» способствуют построению системы управленческого контроля каждого аспекта внутри бизнеса.

По своей сути BI системы – это продвинутое аналитическое программное обеспечение для бизнес-анализа и формирования отчетности. Эти программы могут использовать данные из различных источников информации и предоставлять их в удобном виде и разрезе. В результате руководство получает быстрый доступ к полной и прозрачной информации о положении дел компании. Особенность отчетов, полученных с помощью BI – возможность самостоятельного выбора руководителем, в каком разрезе получить информацию.

Современные Business Intelligence системы многофункциональны. Именно поэтому в крупных компаниях они постепенно вытесняют другие способы получения бизнес-отчетности. К основным их возможностям специалисты относят:

• Подключения к различным базам данных, в частности, к ;
• Формирование отчетов разной сложности, структуры, вида и компоновки с высокой скоростью. Также есть возможность задать расписание формирования отчетности по расписанию без непосредственного участия и рассылки данных;
• Прозрачную работу с данными;
• Обеспечение четкой связи между информацией из различных источников;
• Гибкую и интуитивно понятную настройку прав доступа сотрудников в системе;
• Сохранение данных в любом удобном для вас формате – PDF, Excel, HTML и многих других.

Возможности информационных систем бизнес-аналитики позволяют руководителю не зависеть от IT-отдела или своих помощников, подающих требуемую информацию. Также это отличная возможность демонстрировать правильное направление своих решений не словами, а точными цифрами. Многие крупные сетевые корпорации на Западе уже давно используют BI-системы, среди которых всемирно известные Amazon, Yahoo, Wall-Mart и др. Вышеназванные корпорации тратят приличные деньги на бизнес-аналитику, но внедренные BI системы приносят неоценимую пользу.

Польза профессиональных систем бизнес аналитики базируется на принципах, которые поддерживаются во всех передовых BI приложениях:

1. Наглядность. Основной интерфейс любого ПО для анализа бизнеса должен отражать основные показатели. Благодаря этому руководитель быстро сможет оценить положение дел на предприятии и начать предпринимать что-либо в случае необходимости;
2. Кастомизация. Каждый пользователь должен иметь возможность настроить интерфейс и функциональные клавиши максимально удобным для себя образом;
3. Многослойность. Каждый набор данных должен иметь несколько разрезов (слоев) для предоставления той детализации информации, которая необходима на конкретном уровне;
4. Интерактивность. Пользователи должны иметь возможность собирать информацию из всех источников и по нескольким направлениям одновременно. Необходимо, чтобы система имела функцию настройки оповещения по ключевым параметрам;
5. Многопоточность и разграничение доступа. В BI системе должна быть реализована одновременная работа большого количества пользователей с возможностью установки им различных уровней доступа.

Всё IT-сообщество сходиться во мнении, что информационные системы бизнес аналитики являются одним из перспективнейших направлений развития отрасли. Однако их внедрение зачастую затрудняют технические и психологические преграды, неслаженная работа менеджеров и отсутствие прописанных сфер ответственности.

При размышлении о внедрении систем класса BI важно помнить, что успех проекта будет во многом зависеть от отношения сотрудников компании к нововведению. Это относится ко всем IT-продуктам: скептическое отношение и страх перед сокращением могут свести на нет все усилия по внедрению. Поэтому очень важно понимать, какие чувства вызывает система бизнес аналитики у будущих пользователей. Идеальная ситуация сложится в случае, когда сотрудники компании будут относиться к системе как к помощнику и инструменту усовершенствования работы.

Перед началом проекта по внедрению BI технологии необходимо провести тщательный анализ бизнес-процессов компании и принципов принятия управленческих решений. Ведь именно эти данные будут участвовать в анализе ситуации в компании. Также это поможет сделать выбор BI системы вместе с другими основными критериями:

1. Цели и задачи внедрения BI систем;
2. Требования к хранению данных и возможность ими оперировать;
3. Функции интеграции данных. Без использования данных из всех источников в компании руководство не сможет получить целостной картины положения дел;
4. Возможности по визуализации. Для каждого человека идеальная BI аналитика выглядит по-разному, и система должна удовлетворять потребности каждого пользователя;
5. Универсальность или узкая специализация. В мире существуют системы, направленные на определенную отрасль, так и универсальные решения, позволяющие собрать информацию в любом разрезе;
6. Требовательность к ресурсам и цена на программный продукт. Выбор BI системы, как и любого ПО, зависит от возможностей компании.

Вышеперечисленные критерии помогут руководству сделать осознанный выбор среди всего многообразия известных систем бизнес аналитики. Существуют и другие параметры (например, структура хранения данных, веб-архитектура), но они требуют квалификации в узких IT-областях.

Недостаточно просто сделать выбор, купить ПО, установить и настроить его. Успешное внедрение BI систем любого направления основывается на следующих правилах:

• Корректность данных. Если данные для анализа неверные, то существует вероятность серьезной ошибки системы;
• Полноценное обучение каждого пользователя;
• Быстрое внедрение. Необходимо сосредоточится на верном формировании необходимых отчетов на всех ключевых местах, а не на идеальном обслуживании одного пользователя. Скорректировать внешний вид отчета или добавить еще один его разрез для удобства всегда можно после внедрения;
• Осознавайте окупаемость инвестиций в систему BI. Эффект зависит от множества факторов и в некоторых случаях оказывается виден лишь через несколько месяцев;
• Оборудование должно быть рассчитано не только на современную ситуацию, но и на ближайшее будущее;
• Осознавайте, зачем было начато внедрение системы BI, и не требуйте от программного обеспечения невозможного.

По статистике всего лишь 30% руководителей компаний довольны внедрением BI систем. За долгие годы существования ПО для анализа бизнеса специалисты сформулировали 9 ключевых ошибок, которые могут снизить эффективность до минимума:

1. Неочевидность цели внедрения для руководства. Зачастую проект создается силами IT-отдела без тесного участия руководителей. В большинстве случаев в процессе внедрения и функционирования появляются вопросы по цели и задачам BI системы, выгоде и удобству использования;
2. Отсутствие прозрачности в управлении, работе сотрудников и принятии решений. Менеджеры могут не знать алгоритмов работы сотрудников на местах, а управленческие решения могут приниматься не только на основе сухих фактов. Это приведет к невозможности сохранения существующей парадигмы в результате внедрения BI системы. И зачастую сломать сложившуюся годами культуру корпоративного управления невозможно;
3. Недостаточная достоверность данных. Попадание ложной информации в систему анализа бизнеса недопустимо, иначе сотрудники не смогут доверять ей и пользоваться ею;
4. Неверный выбор профессиональной системы бизнес аналитики. Множество примеров в истории, когда руководство нанимает стороннюю организацию для внедрения BI системы и не принимает участия в ее выборе, говорят сами за себя. В результате внедряется система, не позволяющая получить нужный отчет или с которой невозможна интеграция одного из существующих в компании ПО;
5. Отсутствие плана на будущее. Особенность BI систем в том, что это не статичное ПО. Невозможно закончить проект внедрения и не вспоминать о нем. Возникает множество требований от пользователей и руководства в части доработок;
6. Передача BI системы сторонней организации на поддержку. Как показывает практика, чаще всего такие ситуации приводят к изоляции продукта и оторванности системы от реального положения дел. Собственная служба поддержки намного быстрее и эффективнее реагирует на отзывы пользователей и требования руководства;
7. Желание сэкономить. В сфере бизнеса это нормально, но BI аналитика работает, только если принимает во внимание все аспекты деятельности компании. Именно поэтому наиболее эффективны глубокие аналитические системы с высокой стоимостью. Желание получить несколько отчетов по интересующим областям приводит к частым ошибкам в данных и большой зависимости от квалификации IT-специалистов;
8. Различная терминология в компании. Важно, чтобы все пользователи понимали основные термины и их смысл. Простое недопонимание может привести к неверной трактовке отчетов и показателей BI системы;
9. Отсутствие единой стратегии анализа бизнеса на предприятии. Без выбранного единого для всех сотрудников курса любая система класса BI будет лишь набором разрозненных отчетов, удовлетворяющих требования отдельных руководителей.

Внедрение BI систем – важный шаг, способный помочь вывести бизнес на новый уровень. Но для этого потребует не только достаточно большого вливания финансов, но и времени, и сил каждого сотрудника компании. Далеко не каждый бизнес готов грамотно закончить проект внедрения системы анализа бизнеса.

(Business Intelligence).

В качестве докладчиков на семинар приглашаются молодые специалисты, делающие успешную карьеру аналитиков в высокотехнологичных компаниях, таких, как Microsoft, IBM, Google, Яндекс, МТС, и др. На каждом семинаре студентам рассказывают о некоторых бизнес-задачах, которые решаются в этих компаниях, о том, как происходит накопление данных, как возникают задачи анализа данных, какими методами их можно решать.

Все приглашаемые специалисты открыты для контактов, и студенты смогут обращаться к ним за консультациями.

Цели семинара :

• способствовать устранению существующего разрыва между университетскими исследованиями и решением практических задач в области анализа данных;
• способствовать обмену опытом между настоящими и будущими профессионалами.

Программа семинара