Аналитический обзор: BI в России 2009
Аналитики центра TAdviser завершили подготовку открытого обзора рынка платформ для бизнес-анализа (BI), представленных на российском рынке. На этой странице Вы можете прочитать наиболее интересные разделы обзора.
Преимущества использования BI-системы
Системы для бизнес-анализа решают очень широкий спектр задач. Так, «ближним горизонтом» является мониторинг, анализ и корректировка оперативных целей:
поддержка развития бизнес-процессов и структурных изменений предприятия;
возможность моделирования различных бизнес-ситуаций в единой информационной среде;
проведение оперативного анализа по нестандартным запросам;
снижение рутинной нагрузки на персонал и высвобождение времени для более глубокой аналитической работы;
устойчивая работа при увеличении объема обрабатываемой информации, возможность масштабирования.
В части поддержки стратегического развития предприятия BI-системы обеспечивают:
оценку эффективности различных направлений бизнеса;
оценку достижимости поставленных целей;
оценку эффективности использования ресурсов, в том числе дочерними предприятиями;
оценку эффективности операционной, инвестиционной и финансовой деятельности;
бизнес-моделирование и оценку инвестиционных проектов;
управление затратами, налоговое планирование, планирование капитальных вложений.
На сегодняшний день, по оценкам экспертов из Gartner, с BI-приложениями активно работают только 15-20% бизнес-пользователей, остальные же считают системы для бизнес-анализа чересчур сложными для использования. Однако активное развитие средств для интерактивной визуализации данных и дальнейшее распространение интернет-технологий должны будут в скором времени улучшить ситуацию.
По мнению аналитиков компании MiPro Consulting, внедрение в организации самостоятельной BI-системы обеспечивает целый ряд преимуществ перед использованием аналитических инструментов, встроенных в другие корпоративные информационные системы. Среди таких преимуществ BI-системы:
большая наглядность и удобство работы с информацией для бизнес-пользователей, в том числе из числа топ-менеджмента;
возможность использования несколько аналитических решений для различных направлений деятельности в масштабах всего предприятия, а не в рамках отдельных подразделений;
позволяет извлекать, анализировать и консолидировать данные практически из любых источников;
базируется на промышленной, поддерживаемой и развиваемой BI-платформе;
имеет статус самостоятельного, стратегического, критически важного для бизнеса приложения;
обеспечивает необходимую масштабируемость, эффективность, производительность;
позволяет выстраивать и поддерживать в масштабах всей организации сквозные процедуры и процессы обработки, единые централизованные аналитические модели и проекты;
содержит встроенные инструменты для решения различных и разнообразных аналитических задач, как с точки зрения бизнеса, так и с точки зрения ИТ;
обеспечивает доступ к данным и аналитическим инструментам большего числа пользователей.
Использование же аналитических инструментов, встроенных в другие корпоративные информационные системы, например класса ERP или CRM, имеет, как правило, следующие ограничения:
ограниченный набор реализованных аналитических инструментов, одинаковых для всех пользователей, независимо от их ролей и задач;
возможность использования для анализа только собственных, внутренних данных, при этом информация из других систем остается недоступной, а данные из различных источников не могу быть консолидированы;
отсутствие развитых встроенных инструментов для анализа приводит к тому, что система используется лишь для извлечения хранимых в ней данных, которые затем экспортируются и анализируются в Excel;
ERP и CRM системы, как правило, имеют ограниченное число пользователей, что «отсекает» от аналитики большое число сотрудников компании, которым эта информация была бы полезна и интересна (существенное увеличение же числа пользователей снижает производительность транзакционных систем);
транзакционные системы обычно не содержат всех необходимых для проведения анализа показателей, не включают в себя такие инструменты, как информационные панели (dashboards), ставшие уже стандартом для представления аналитической информации;
результаты анализа в таких системах представляются обычно в виде табличных отчетов или диаграмм, что не позволяет получить детального и всестороннего представления о реальном положении дел и не дает ответа на многие возникающие вопросы;
возможности создания гибких пользовательских (ad-hoc) запросов ограничена;
ограничено использование больших объемов накопленной исторической информации.
Выбирая или обновляя систему для бизнес-анализа следует продумать способы хранения и интеграции данных, средства визуализации и аналитики.
Хранение данных
Если перед компанией стоит задача выявления долгосрочных или периодических трендов, то есть пользователям необходимо анализировать исторические данные, поступающие из различных подразделений в течение последних 3-5 лет, то, скорее всего, следует тщательнее продумывать организацию ETL-операций для загрузки данных в хранилища данных.
Если же компании или какому-либо из ее подразделений необходимо анализировать информацию ежемесячно или еженедельно, то оптимальным решением будет выделение и организация для этих целей (для каждого из подразделений или для решения конкретных задач) отдельных витрин данных, также с применением ETL-инструментов.
Если же компания планирует анализировать оперативные данные в режиме, приближенном к реальному времени (то есть обновляемые несколько раз в течение дня), то, возможно, следует отказаться от организации хранилища данных и обратить внимание на проработку средств интеграции на основе промежуточного виртуального слоя метаданных с проработкой соответствующих интерфейсов и алгоритмов (по принципу EII).
Интеграция данных
Как уже отмечалось выше, если целью внедрения BI-системы является решение отдельных, конкретных задач, то целесообразно ограничиться организацией витрин данных. При этом использование никаких отдельных интеграционных алгоритмов не потребуется.
Если же, напротив, BI внедряется с целью получения единого, целостного взгляда на общее состояние бизнеса, то без создания централизованного хранилища данных и, соответственно, внедрения необходимых ETL-инструментов, пожалуй, не обойтись. Кроме того, для получения действительно адекватной картины бизнеса необходимо обратить особое внимание на обеспечение высокого качества анализируемых данных, а для этого потребуется внедрение расширенного набора средств для их «очистки» - выявления неполных или ошибочных данных, дублирующейся информации, приведения данных из различных источников к единому формату.
Если же в компании делают акцент на изучении оперативных данных, то следует продумать средства репликации и обеспечения доступа.
Визуализация и аналитика
В зависимости от поставленных задач, а также от квалификации пользователей, выбираются и средства для визуализации данных – контрольные панели, карты показателей, отчеты, OLAP-кубы.
Для опытных, квалифицированных пользователей оптимальным инструментом станут OLAP-кубы, которые позволят им проводить глубокий и развернутый бизнес-анализ, с необходимой степенью детализации.
Пользователи, которые в своей повседневной деятельности сталкиваются с необходимостью принятия управленческих решений, а также анализа эффективности бизнеса, заинтересованы в организации рабочего места в виде контрольной панели, на которой в виде наглядных шкал и индикаторов отображается состояние бизнеса в целом, с возможностью переключения между отдельными направлениями деятельности.
Рядовым менеджерам необходимы средства для решения своих текущих задач, контроля хода выполнения отдельных видов операций, а также для контроля деятельности своих сотрудников (каждого отдельного работника и команды в целом). Кроме того, для организации четкого взаимодействия со смежными подразделениями (или регионами) необходимо иметь возможность получать представление о ходе выполнения взаимосвязанных задач.
Вертикальное или горизонтальное решение
На рынке существуют как горизонтальные BI-решения, в которых реализован набор общеприменимых инструментов, так и специализированные вертикальные решения, «заточенные» под конкретные отрасли или задачи. И те, и другие имеют свои достоинства и недостатки.
Преимуществом горизонтальных решений может считаться их способность расти вместе с организацией. Такие решения обычно масштабируемы и могут охватывать все направления деятельности и все подразделения крупной компании, а также легче поддаются изменениям. Обратной стороной такой широты возможностей является необходимость более длительной и тщательной настройки решений, адаптации под конкретные требования. Проекты внедрения становятся более дорогостоящими, а требования к ИТ-специалистам – более высокими.
Вертикальные решения, со своей стороны, не требуют отдельной длительной и трудоемкой настройки для решения специфических задач и для соответствия требованиям отраслевых регламентирующих организаций (финансовых, медицинских и т.п.). Однако может оказаться, что различные подразделения в рамках одной структуры не смогут использовать единое решение, и потребуется освоение и интеграция нескольких различных систем для бизнес-анализа.
Те организации, которые и в настоящее время, и в будущем планируют заниматься своей специфической деятельностью, требующей соблюдения определенных строгих регламентов, скорее всего, выиграют именно от внедрения вертикальных решений. Если же уверенности в такой приверженности определенному виду деятельности в будущем нет, и велика вероятность того, что специализация компании значительно расширится, то выбор вертикального BI-решения является определенным риском.
В современном мире существуют определенные классы программного обеспечения, которое ориентированно в основном на корпоративный сегмент (крупный и средний бизнес) и соответственно не имеет широкого распространения. Но некоторые программные комплексы имеют достаточно интересные функции, которые можно применить не только в сфере мелкого бизнеса, но и в качестве персонального инструмента. Вот об одном из таких программных комплексов и пойдет речь в данной статье.
Примечание
Я являюсь техническим специалистом, соответственно статья имеет более технический уклон. Если есть желание почитать информацию по продукту, ориентированную на бизнес пользователей, то вам на офсайт IBM.Основная цель этой статьи, показать вам как сделать свой первый «Hello World» (по аналогии с программированием) в IBM Cognos BI.
Также хочу отметить, что я имею большой опыт написания пошаговых инструкций со скриншотами каждого шага. Но эта статья не будет очередной пошаговой инструкцией, здесь я хочу показать концепцию работы с системой, а не сделать еще один мануал.
Что такое BI?
Итак, что же такое BI система? Если в трех словах, то это продвинутая система отчетности. Что-бы было более понятно, ниже перечислю список основных функций, которыми располагают современные системы класса BI:- возможность подключения к различным источникам данных (от файла Excel до универсального ODBC подключения)
- возможность построения как простых отчетов (типа график или таблица), так и сложных параметризированных отчетов с комбинированной структурой и ссылочными связями (Drill-Trough, Drill-Up/Drill-Down)
- возможность прозрачной работы с разными источниками данных (например, Excel и SQL Server) с полноценной обработкой связей между ними
- возможность интерактивной работы с данными (формирование отчетов «на лету»)
- возможность представления реляционных данных как многомерные
- возможность распределения прав доступа используя как внутренние источники аутентификации, так и внешние (NTLM, LDAP и т. д.)
- возможность запуска формирования отчетов как вручную, так и автоматически по расписанию
- возможность автоматической рассылки сформированных отчетов
- возможность построения отчетов в различных форматах (Excel, HTML, PDF и т. д.)
Возможность применения BI системы в качестве персонального инструмента
Сразу становится вопрос, как можно использовать эту систему в качестве персонального инструмента? Отвечу по личному примеру, я использую IBM Cognos BI в качестве инструмента по анализу статистики в своих проектах и инструмента по анализу статистики домашней бухгалтерии.Тут конечно можно возразить, что-то в духе «я и обычным SQL запросами отлично анализирую статистику» или «встроенных функций Excel вполне достаточно чтобы проанализировать всю домашнюю бухгалтерию», но «все познается в сравнении». Как показывает практика, гораздо проще просто натаскать мышкой нужные элементы данных и получить результат в готовом виде, чем возится с написанием SQL запросов или перенастраиванием функций Excel.
Опять-таки, все написанное это лично мое мнение, с которым вы не обязаны соглашаться.
Архитектура IBM Cognos BI
Архитектура системы относительно несложная (как для системы корпоративного класса). Итак, ключевым элементом системы является IBM Cognos BI сервер (см. схему ниже), который работает с источниками данных, используя созданное пользователем описание (именуемое метаданными). Далее, посредством Web доступа, IBM Cognos BI сервер предоставляет доступ ко всем основным функциям системы.Концептуальная архитектура комплекса IBM Cognos BI (схема получилась весьма громоздкой)
Этапы работы с системой
Чтобы сделать свой первый отчет необходимо выполнить несколько основных этапов:- Создать подключение к источнику данных
- Сформировать описание источника данных, т. е. создать метаданные
- Создать и опубликовать пакет метаданных на IBM Cognos BI сервере
- Создать отчет
Структура тестового источника данных
Перед тем как приступить к реализации вышеописанных этапов, я хочу сказать пару слов об тестовом источнике данных. С одной стороны, структура тестового источника данных относительно простая (как для промышленного хранилища данных) с другой стороны она несколько сложнее чем простой лист Excel. Все данные в источнике являются синтетическими (сгенерированы алгоритмами на основе случайных чисел), из-за этого агрегатные показатели выглядят весьма ровно.
Как видно на схеме выше, в тестовой базе данных содержится 3 иерархических измерения: «Группа товара -> Товар», «Континент -> Страна -> Город -> Торговая точка», «Год -> Полугодие -> Квартал -> Месяц -> Дата»; 2 плоских (одномерных) измерения: «Кассир», «Региональный руководитель»; и 2 таблицы фактов: «Продажи», «План продаж».
Причем измерение «Кассир» расположено в одной из таблиц фактов в денормализованном виде, а измерение «Региональный руководитель» привязано к уровню «Страна» измерения «Торговая точка» связью «многие ко многим» (подразумевается, что один руководитель может управлять разными странами).
Подключение к источнику данных
В IBM Cognos BI все необходимые параметры для подключения к источникам данных хранятся в специальных объектах системы, которые так и называются «Data Source Connections». Чтобы создать новое подключение, необходимо выполнить несколько простых шагов: зайти на портал IBM Cognos BI, перейти в раздел «Администрирование» («Administration»), открыть вкладку «Конфигурация» («Configuration»), выбрать подраздел «Подключения источника данных» («Data Source Connections») и нажать кнопку «Новый источник данных» («New Data Source») в панели инструментов. Далее появится серия диалоговых окон, в которых будет необходимо задать несколько параметров, таких как название подключения, тип соединения, сервер, логин, пароль и т. д.Разработка метаданных
Разработка метаданных, это один из самых сложных и ответственных моментов. От качества метаданных зависит, как работоспособность системы (скорость формирования отчетов, корректность сформированных результатов и т. д.) так и удобство разработки отчетов. Но несмотря на вышесказанное, сложность разработки метаданных прямо пропорциональна сложности источника данных. Например, чтобы построить реляционное описание нашего тестового источника данных, достаточно запустить мастер построения метаданных, несколько раз кликнуть кнопку «Next», и метаданные готовы.Итак, как я уже писал ранее, метаданные – это описание источника данных. В IBM Cognos BI. Фундаментом метаданных являются объекты «Query Subject» и связи между ними. Объект «Query Subject» это синоним «View» из реляционных СУБД. Т. е. в основе «Query Subject» стоит запрос к СУБД, определяющий структуру объекта источника, а связи между «Query Subject» это описание логического взаимодействия между этими запросами.
Для создания метаданных в IBM Cognos BI используется отдельное приложение IBM Cognos Framework Manager (единственное не Web приложение в комплексе IBM Cognos BI). После запуска Framework Manager будет предложено создать новый проект (необходимо будет ввести наименование проекта и его расположение в локальной файловой системе).
Следует понимать, что проект Framework Manager (также именуемый как модель Framework Manager) это набор локальных файлов, с которыми работает локальная программа, а пакет метаданных это результат, который располагается на IBM Cognos BI сервере (если проводить аналогию с программированием, то проект – это исходный код, а пакет – это скомпилированное приложение). На базе одного проекта Framework Manager можно создать несколько наборов пакетов.
После того как проект Framework Manager создан, лучше всего начать работу с запуска мастера импорта метаданных (Action -> Run Metadata Wizard …). Мастер импорта предложит выбрать существующий источник данных или создать новый и позволит выбрать необходимые объекты для импорта. В простейшем случае (например, когда источником данных является файл Excel, который в 99,9% случаев содержит данные в денормализованном виде) нужно будет полям объекта «Query Subject» задать правильный тип использования (атрибут «Usage») и на этом работу с моделью Framework Manager можно заканчивать и приступать к формированию и публикации пакета метаданных. В более сложном варианте (как в нашем тестовом примере), необходимо будет проверить правильность импортированных связей между объектами «Query Subject», исправить некорректные и добавить недостающие. В более профессиональных вариантах есть возможность создавать вычисляемые поля, менять структуру «Query Subject», сформировать многомерное (multidimensional) представление, определить алгоритмы безопасности и т.д.
Создание и публикация пакета метаданных
После того как метаданные созданы, необходимо сформировать метапакет и опубликовать его на IBM Cognos BI сервере. Как я упоминал ранее, метапакет – это некоторое подмножество метаданных, которое публикуется на сервере и с которым работают все Web приложения комплекса IBM Cognos BI. Настройки метапакета позволяют скрыть или не публиковать некоторые объекты метаданных. Например, в тестовых метаданных есть некоторый «Query Subject» , который влияет на логику обработки данных источника (является связующим звеном между страной и региональным директором), но не представляет ценности при разработке отчетов, вот такой объект метаданных имеет смысл скрыть на уровне пакета. Или, например, поля с идентификаторами, их тоже имеет смысл скрыть от пользователей метапакетов.Чтобы создать метапакет необходимо в Framework Manager, в разделе «Packages» вызвать контекстное меню и выбрать пункт «Create -> Package», после чего появится мастер создания метапакета. После того как метапакет будет создан, система сразу предложит его опубликовать на сервере. Начинающему пользователю можно сильно не вникать опции мастера публикации пакетов (просто нажимать кнопку Next и Publish). Единственно что, на последней вкладке (где будет не кнопка Next, а кнопка Publish) будет птичка «Verify package before publish», она определяет проверять ли метапакет на наличие логических неоднозначностей перед публикацией и отображает список этих неоднозначностей, если они буду найдены. Настоятельно рекомендую никогда не пропускать этот шаг и исправлять все найденные неоднозначности перед публикацией.
Создание отчетов (анализ данных)
Вот мы потихоньку и подобрались к самому интересному и регулярному процессу – это создание отчетов. Так сложилось что инструменты для создания регулярных отчетов и инструменты для быстрого анализа данных в IBM Cognos BI одни и те же (несмотря на то что в одних удобнее проводить быстрый анализ, а в других удобнее формировать регулярные отчеты, все они позволяют сохранять свои результаты в виде отчетов).Лично я предпочитаю для всех BI задач использовать инструмент IBM Cognos Report Studio. Это наиболее универсальный инструмент, позволяющий строить отчеты фактически любой сложности и в тоже время предоставляет относительно удобные инструменты для быстрого анализа данных.
Предположим, что нам необходимо создать быстрый отчет, содержащий факт продаж в разрезе страны, товарной группы и периодичностью в квартал. Этот достаточно простой отчет можно сделать, выполнив следующие шаги:
- запустить веб приложение IBM Cognos Report Studio
- в окне приветствия нажать кнопку «создать» («create»)
- в списке базовых шаблонов выбрать «перекрестная таблица» («corsstab»)
- разместить элементы данных согласно схеме, представленной ниже
- запустить отчет на выполнение
После запуска отчета на выполнение, получится примерно такой результат.
Глядя на получившийся отчет можно смело сказать, что оформлен он откровенно плохо, числа не отформатированы, экономический смысл откровенно сомнителен и т. д. Но все эти недостатки оформления можно убрать путем задания свойств соответствующих элементов настроек, а чтобы экономический смысл был более интересен, можно, например, сделать план/факт анализ.
Например, чтобы сделать отчет, показанный ниже (на готовых метаданных) я, как специалист с опытом, потратил где-то 20-30 минут.
А чтобы его полностью переоформить в темную цветовую схему, я потратил где-то еще 10 минут.
Заключение
Я надеюсь, что в этой статье читатель смог получить общие сведения о BI системах и принципе их работы. Конечно в рамках небольшой статьи невозможно рассмотреть относительно подробно ни один из затронутых аспектов (например, о том, как правильно сформировать метаданные, можно написать целую книгу), но я думаю, что если вы решите попробовать, то эта статья подскажет с чего начать и какого результата ожидать.Также я совсем не затронул некоторые интересные механизмы и функции (например, механизм представления реляционного источника данных как многомерного), но это из-за того, что количество необходимого материала (минимум теории и минимум практики) потянет на отдельную статью.
Немного о лицензиях
Если вы решите купить отдельно систему IBM Cognos BI для персонального пользования или для небольшой фирмы, то наверняка цены вас неприятно удивят, но у IBM есть специальная комплексная система IBM Cognos Express, которая рассчитана на небольшие организации, содержит в себе несколько продуктов (включая BI) и стоит значительно дешевле.На большинстве предприятий по-прежнему падают продажи и производство, дорожают кредитные ресурсы, уменьшается потребление. Все это требует проведения срочных изменений в компании, и в частности, сокращения затрат. Именно поэтому, сейчас от управленца требуется использование при этом современного ИТ- инструментария. Можно даже сказать, что использование современных аналитических систем (Business Intelligence) является сегодня одним из условий выживания компании.
Business Intelligence — управление на основе информации
Еще в восьмидесятых годах прошлого века появились первые аналитические приложения, которые предназначались для поддержки принятия решений. Эти инструменты серьезно отличались от транзакционных учетных приложений, которые в первую очередь были сконцентрированы на операционной деятельности. Тот объем информации, который был сформирован благодаря использованию таких систем, дал серьезный импульс развитию нового класса приложений предназначенных для поддержки принятия решений менеджментом. Эти системы были названы системами оперативной аналитической обработки (Online Analytical Processing, OLAP ). Уже в начале девяностых годов компания Gartner Group, ввела термин бизнес-аналитика, который сегодня широко используется для обозначения аналитических приложений.
«Business Intelligence (BI)
превратилась в стратегическую инициативу, и теперь ИТ-директора и руководители бизнеса признают ее как средство повышения эффективности работы и инновационности предприятий», - считает вице-президент Gartner по исследованиям Андреас Биттерер.
По результатам опроса, проведенного этой компаний, в котором приняли участие более тысячи руководителей информационных служб, бизнес-аналитика была признана приоритетной технологией в 2008 году. При этом интерес к бизнес-аналитике сохраняется уже боле трех лет подряд. И только этот год показал изменение тренда интереса к данной теме, в 2009 году бизнес-аналитика стала восьмой с точки зрения приоритетов, и это связано с тем, что большинство зарубежных компаний уже включили данный инструмент в практику своей деятельности.
Однако российская практика применения BI-инструментария пока находится в зачаточном состоянии, и ближайшие пару лет можно не беспокоиться о спаде интереса к этим технологиям. Ведь, к сожалению, несмотря на достаточно высокий уровень существующей автоматизации российских компаний, большинство генеральных директоров еще пока не имеют компьютера на своих рабочих местах, и уж точно не принимают решения на основе анализа информации из аналитических систем. Внедренные во многих компаниях ERP-системы дали возможность планировать ресурсы компании и сделать ее прозрачнее. Но от этого принятие решений на высшем уровне не стало проще, и все еще важнейшим является такое качество руководителя, как интуиция.
Как не странно, но основным результатом прошедшего бума автоматизации российских компаний являются затраты в миллионы долларов, при этом стратегические решения все также принимаются по старинке. Многие генеральные директора сейчас задают вопрос: «Мы потратили не один миллион на автоматизацию, но почему я не вижу осязаемых результатов в моей деятельности». В большинстве случаев это связано с тем, что во многих компаниях есть ответственный за информационные технологии – директор по ИТ, но нет ответственного за информацию. Ведь сейчас в большинстве компаний накоплены «океаны информации», и для того чтобы ее обработать и применить для поддержки принятия решений необходимы специализированные технологии —.
Практика показывает, что в настоящее время с огромной скоростью растет объем хранимой и анализируемой информации во всех отраслях, при этом некоторые из них можно назвать явными лидерами. В банках, страховых компаниях, телекоммуникационных компаниях и розничной торговле объем обрабатываемых данных исчисляется терабайтами, а от правильности использования этих данных зависит уровень удовлетворения требований клиентов, а значит и конкурентные преимущества. Те, кто первые смогут преобразовать накопленные данные в информацию необходимую для принятия взвешенных решений смогут победить в конкурентной борьбе.
тоже время вместе с объемом информации растет и скорость ее генерации, а также ее разнообразие, что требует стратегического подхода к управлению информацией и внедрению BI инструментов. Ведь выбирая технологии для решения сегодняшних задач без учета будущих потребностей, можно столкнуться с их негодностью уже через пару лет. Еще одной сложностью для большинства компаний является низкое качество данных, а значит и недостаточная достоверность получаемой информации. Ведь если информацию вносить в систему раз в месяц и из недостоверных источников, то и решение, принятое на основе такой информации, скорее всего, будет уже «посмертным». В такой ситуации невозможно работать по старинке, рано или поздно понадобятся специализированные инструменты верификации и анализа информации.
Именно поэтому, аналитическая компания Gartner уже несколько лет отмечает общемировой интерес к аналитическим приложениям, а на российском рынке наблюдается огромное число проектов по внедрению данных инструментов. Это связано с тем, что от внедренных ERP-систем пока нет той отдачи, на которую все рассчитывали. И сейчас только BI технологии позволяют автоматизировать сбор и анализ информации, а также представление ее в виде удобном для менеджмента.
Задачи анализа информации настолько разнообразны, что помимо отраслевой специализации BI инструменты имеют различия по классу решаемых задач. При этом, как бы ни хотелось решить все задачи единым и универсальным BI инструментом – это невозможно. В настоящее время на российском рынке сейчас присутствует множество различных BI инструментов, закрывающие те или иные потребности компаний. Однако, покупка BI — инструмента, часто не дает ожидаемых результатов, ведь нужно не только купить инструментарий и развернуть его в своей компании, но и много времени уделить качеству существующих данных и способам их верификации. К сожалению, во многих компаниях сейчас еще нет той единой версии правды, которая необходима для принятия решения.
Именно поэтому, покупка инструментов Business Intelligence (BI)
не приведет компанию к успеху. Для эффективного внедрения BI-инструментов в компании необходимо создать соответствующие условия, и в первую очередь это поддержка руководителей. Ведь пользователями данных приложений должны быть первые лица компании, и если этого не будет, то инструменты, скорее всего, будут «пылиться на полке». Переломить привычку управлять по старинке, вот что нужно сделать в компании, а это не так просто.
Помимо изменений в управлении, необходимо согласование мероприятий по использованию BI-инструментов с существующей бизнес- стратегией компании.
Что и когда измерять? На каких показателях основывать стратегические и тактические решения? Кто отвечает за конкретные показатели? Без ответов на эти вопросы внедрение и развитие BI-инструментов может пойти неправильным путем.
И конечно для быстрого и эффективного развертывания технологий бизнес-анализа необходимо определение ответственного сотрудника и соответствующего центра компетенции, иначе ничего не выйдет. Ведь чтобы собрать воедино все потребности множества функциональных заказчиков и создать соответствующую информационную инфраструктуру, необходимо постоянная работа и принятие многих управленческих решений на уровне первых руководителей. Стратегия использования BI должна проходить сквозь всю компанию и начинаться от процессов сбора первичных данных и заканчиваться процессами принятия стратегических решений, иначе доверия к получаемой информации не будет, а значит, при принятии решений аналитическая информация не будет использована.
Внедрение Business Intelligence
Фактически для успешного внедрения BI-технологий в компании необходимо создание BIG team – Business Intelligence Governance , – т.е. центра компетенции по управлению информацией на уровне всей компании. Создание такого центра компетенции по BI позволяет централизовать ответственность и компетенцию за управление информацией в компании, а также навести порядок среди используемых BI инструментов.
Центр компетенции по BI может иметь стандартную структуру в которой объединяются бизнес- заказчики и сотрудники, зона ответственности которых лежит в области управления информационными технологиями и информацией (ИТ-директор, архитектор информации, бизнес-аналитики и т.д.). При этом в качестве основных задач центра компетенции можно выделить следующие: управление потребностями бизнес -заказчиков, выбор технологий управления информацией, методологическое руководство, стандартизация работ и используемых технологий, накопление компетенции, управление качеством данных.
Способы организации такого центра компетенции тоже могут быть разные:
· функциональное подразделение, подчиняющееся ИТ-подразделению;
· подразделение, подчиняющееся операционному управлению;
· распределенная структура с подчинением генеральному директору;
· виртуальная организация.
Форма организации может быть любая, главное чтобы в компании появились ответственные за управление информацией и бизнес-анализ. По информации компании Gartner, наиболее часто BIG team находится в ИТ-подразделении, что не всегда позволяет придать нужные приоритеты данным работам. Ведь создание такого центра компетенции в первую очередь необходимо для централизации ответственности за управления информацией и использование BI приложений. Поэтому наиболее эффективно, если центр компетенции будет подчиняться напрямую генеральному директору или его заместителю. При этом основополагающим вопросом, с точки зрения эффективности созданного подразделения, является присвоение ему соответствующих полномочий. На практике данные структуры существуют не более чем в одном проценте российских компаний, что еще раз подтверждает невысокую зрелость российского менеджмента в области управления информацией.
Для понимания стратегии развития данного направления первым результатом работы созданного центра компетенции должна стать стратегия в области управления информацией и использования инструментов бизнес-анализа. Без такого системного взгляда есть большая вероятность, что бизнес — заказчики будут использовать различные BI-инструменты с пересекающейся функциональностью, что в свою очередь увеличит затраты, и не позволит получить ожидаемые преимущества. Сейчас нет смысла тратить деньги без определения четкой стратегии развития, иначе возникнет зоопарк BI — приложений, который будет неуправляем.
Существующие сейчас тенденции развития рынка BI приложений заключаются в росте отраслевой и функциональной специализации BI платформ, а также к увеличению их числа. Таким образом, со стороны компании необходимо четкое понимание своих потребностей и выбор соответствующих BI-приложений, при этом учитывая рост числа пользователей BI-инструментов в компании, это становится все более и более критичным.
Как уже отмечалось, прошедшая волна внедрений ERP систем в российских компаниях создала платформу, на основании которой, с помощью BI-инструментов, можно и нужно выбрать необходимую для принятия решений информацию. Поэтому, с ухудшением внутренней ситуации, компании обратили внимание на вопросы своей внутренней организации и эффективности, и начали активно использовать BI приложения, которые раньше скорее были игрушкой бизнес-аналитиков, чем реальным инструментом.
Одной проблемой, которая сейчас требует решения при внедрении BI- инструментов — качество данных в компании. Аналитическая компания Gartner предлагает следующую классификацию в качества данных по уровням: оптимизированный, управляемый, упреждающий, реактивный, осведомленный. При этом чем выше качество данных в компании, тем больше выгода для бизнеса, что в свою очередь позволяет перейти от управления на основе интуиции к управлению на основе хорошего ощущения.
Преимущества Business Intelligence
В качестве преимуществ использования BI приложений можно выделить следующие. Прежде всего, Business Intelligence (BI) снижает расходы на управление информацией, поскольку избавляет от избыточных процессов извлечения данных и существующего дублирования информации. Системы BI экономят время сотрудников за счет более эффективной обработки информации, а возможность анализировать большие массивы данных позволяет уменьшить число сотрудников требуемых для обработки информации.
По мере развертывания средств бизнес-анализа в компании, пользователи начинают выполнять анализ и делать прогнозы, и тогда преимущества BI- приложений становятся еще заметнее. Например, применение Business Intelligence (BI)
на стратегическом уровне может позволить выйти на новый рынок, изменить направление развития компании или выпустить новую линию услуг.
С точки зрения развития BI-приложений, тренд развития этих систем направлен на усиление специализации. Уже появились системы анализа бизнеса в реальном времени Business Activity Monitor (BAM), которые позволяют предоставлять для принятия решений данные, которые появились несколько минут назад. Эти системы оказывают значительную помощь среднему уровню менеджмента, поскольку позволяют поддерживать принятие оперативных решений. Также в отдельный класс выделились системы анализа бизнес-процессов – Process Intelligence, которые позволяют осуществлять контроль и анализ (контроллинг) исполняемых бизнес-процессов, а также анализ организационной эффективности сотрудников.
Такое пересечение технологий управления бизнес-процессами (Business Process Management) и систем бизнес-анализа (Business Intelligence) позволяют не просто увидеть проблему, но и найти ее причину, что в свою очередь дает возможность ее исправить до наступления последствий.
В качестве заключения можно отметить, что рынок BI-инструментов растет, и на нем происходят серьезные поглощения. Крупные игроки, такие как SAP, Microsoft, Oracle покупают наиболее перспективные BI-технологии, и интегрируют их в свои решения. А это явный знак востребованности BI инструментария и показатель того, что ближайшее годы развитие компаний будет идти в этом направлении.
Андрей Коптелов, Журнал Генеральный Директор
Что такое BI-система, и как она работает
Чтобы построить высотку, директор строительной компании должен знать о проекте все до последнего шурупа: количество этажей, объем необходимых материалов, проверенный макет здания. А еще нужно адаптироваться к сокращающимся графикам постройки, позаботиться о сдаче площадей, уладить множество вопросов с государственными органами.
Этап №2. Организация данных
Тут тоже можно пойти двумя путями: от общих бизнес-требований или от нужд каждого подразделения. В первом случае нужно сначала проанализировать все бизнес-требования, затем проработать нужды каждого департамента. Второй подход итеративный – мы разбиваем весь объем работ на отдельные области, и в деталях описываем, как будут выглядеть аналитика и отчеты для отдела маркетинга, затем для финансов, HR и дальше идем итерациями по всем отделам.
Если хотите быстрее получить результат в виде первых отчетов, то второй вариант подойдет больше – при работе итерациями, пока следующая модель проектируется, первая уже работает. При общем подходе вы быстрее получите конечный результат, то есть общую аналитику по всем отделам.
Этап №3. Выбор стека технологий
Тема безграничная. Кратко опишем, что важно сделать на этом этапе: определить источники данных и уточнить, есть ли в них необходимая информация и показатели. Очень часто приходится дорабатывать учетные системы, чтобы показатели заводились. Когда пул источников собран, можно переходить к учетным системам, веб-ресурсам и внутренним системам компании, чтобы покомпонентно спроектировать архитектуру и прописать роль источников для трансформации данных. Любые сведения в BI-систему поступают в сыром виде, и на этом этапе только от нас зависит, насколько точные и удобные для восприятия данные менеджеры получат на выходе.
Этап №4. Проектирование интерфейсов
Сотрудники, которые пользуются системой, ценят удобный и приятный глазу интерфейс возможно так же глубоко, как и возможности, которые решение дает. Поэтому на проектах часто вводится этап прототипирования, когда мы отрисовываем формы интерфейса. Причем, если внедряем систему SAP, то UX и UI стараемся делать в интерфейсе этой системы, если Qlik, то рисуем в интерфейсе этой платформы. Благодаря такому этапу клиент понимает, какие графики лучше использовать для визуализации тех или иных показателей, какие цвета подобрать, как удобнее расположить фильтр и т.д. После этапа трансформации данных этот прототип достаточно будет наполнить. В остальном он полностью соответствует ожиданиям бизнес-пользователей.
Этап №5. Тестирование системы
Если вы меняете существующую BI-систему, то убедить пользователей в точности данных и дополнительно проконтролировать расчеты, будет несложно. Нужно взять отчет из одной системы бизнес-аналитики, взять разработанный ответ в новой, и, если все цифры совпадают, то программой можно пользоваться - данные верные. Сложнее, когда разрабатываются новые отчеты или внедряется первая система бизнес-анализа, потому что сравнивать данные не с чем.
В этом случае нужно разработать сценарии тестирования. Возьмите выгрузки по одному из направлений за заданный период и точность сведений на этом же срезе данных из той же учетной системы. Например, вы взяли из системы отчет по остаткам с 1 по 15 февраля, и он был равен 1000 единиц. На этом же срезе данных в учетной системе остаток тоже 1000 единиц. Значит, системе можно верить – данные корректные. По-другому найти эту точку сходимости, на мой взгляд, невозможно.
Отдельная тема – внедрение системы на динамически меняющийся источник данных, или когда мы внедряем решение на данных Excel, но этап загрузки данных необходимо перенести на вновь внедренный источник, в котором могло поменяться все от структуры хранилища до самих сведений. Здесь внедрение и тестирование будет идти по иным правилам.
Этап №6. Обучение команды
На проектах мы стараемся обеспечить максимальный результат от использования системы. Для этого проводим обучение финансистов, маркетологов, IT-специалистов и управленцев: знакомим с платформой, возможностями доработки и управления нашим решением, учим менеджеров максимально использовать все возможности программы. В помощь администраторам и пользователям разрабатывается сопроводительная документация: классические «Руководство администратора» и «Руководство пользователя», а часто и обучающие видеоролики. Самый детальный и сложный, но полезный материал – тот, что обычно называется «Техпроект» или «Спецификация отчетов». Он описывает весь процесс движения данных от источников до конечных отчетных форм. Не пренебрегайте этим документом. С его помощью любой новичок в команде сможет разобраться, как данные попадают в первый слой загрузки, и где они находятся в выходных отчетных формах. С помощью этого материала любое изменение или просьба по доработке системы займут минимальное количество времени.
Частые ошибки при внедрении
Как мы уже говорили, популярная ошибка при построении дерева решений - это движение от потребностей низших уровней к верхним. Но есть еще несколько критичных моментов, на которых чаще всего «прокалываются» неопытные внедренцы.
- Не разбираться в типах платформ. Существуют системы класса in-memory, которым не нужны системные хранилища данных; и платформы, которые требуют двухкомпонентную архитектуру, то есть отдельное хранилище и отдельный BI-инструмент для визуализации.
- Работать крупными мазками. Этапы загрузки, трансформации и последующей загрузки данных в приложение всегда стоит максимально детализировать и разбивать на более короткие отрезки. Многие в одном скрипте загружают, трансформируют данные, и делают последующую выгрузку. С гигантскими кусками кода не справится ни подрядчик, ни клиент. Но если код разбит на маленькие кусочки, определить, что вышло из строя, будет легко. Это сэкономит время и деньги на последующую поддержку.
- Сразу автоматизировать . Нельзя сразу отдавать в разработку отчеты от бизнес-пользователей. Возможно, они не видели других, более удобных форматов. Может быть, раньше они сталкивались с техническими ограничениями и не могли представить анализ по-другому. Простая разработка не решает задач бизнеса – нужно глубже погружаться в отрасль и процессы в компании, выяснять, в чем заключаются проблемы и целенаправленно с ними работать.
Сколько это стоит и от чего зависит
Стоимость готовой системы начинается с маленьких проектов до миллиона рублей и заканчиваются крупными внедрениями под сотню миллионов. Цифры привязаны к объемам работ - количеству отделов и количеству необходимых отчетов. Случается, что клиент хочет очень компактный по времени проект. Такая срочность тоже повлияет на общую стоимость, потому что увеличит затраты на команду и оптимизацию ресурсов.
Чем помогут консультанты
Часто консультанты самостоятельно выполняют весь объем работ и минимально привлекают сотрудников клиента. Но случается, что объем работ собственных сотрудников соизмерим с объемом работ интегратора. В зависимости от задач и финансовых возможностей клиента, компания-консультант может участвовать в проекте в нескольких форматах.
Платформа не справляется с задачей. Неоправданно долгая загрузка, технические ограничения на ввод данных, инструменты визуализации не позволяют давать нужный результат – такие сложности решаются с помощью аудита систем. Консультант знает, как подобные проблемы решаются в других компаниях, много работал с разными платформами. Он разберется в корне проблем и предложит наиболее удачное решение.
Недостаток ресурсов. Чтобы проворно систематизировать требования и не менее стремительно построить на их основе систему, могут потребоваться дополнительные ресурсы, поскольку новые запросы появляются постоянно. Часто для анализа в компании используют один инструмент, для финансовой аналитики – другой, а маркетинговую эффективность считает третий. Целый штат IT-специалистов содержать бессмысленно и неэкономно. Здесь поможет подрядчик, который уже вырастил квалифицированные кадры и умеет оптимизировать затраты на подобные задачи.
Новая задача. Если внедрением IT-решений раньше вы не занимались и не очень четко понимаете, с какого конца начать, стоит хотя бы проконсультироваться со специалистом. Риск потери возможной прибыли и времени абсолютно точно окупит затраты на эту консультацию.
Выводы
Создать любую информационную систему непросто. Проектирование аналитических решений затрудняется капризным и сложным в работе элементом – данными. Команда с опытом решит эту задачу быстрее и без приключений. Независимо от того, предпочитаете ли вы одиночные спуски по порогам Амазонки или контролируемые инструктором, уделите наибольшее внимание действиям с данными. Тогда технические и методологические сложности будут представлять меньшую угрозу, а будущая система сможет решать сложные аналитические задачи без ошибок.
Использование бизнес-аналитики повышает качество и оперативность управленческих решений, а также помогает управлять бизнес-процессами, что приводит к повышению конкурентоспособности компании. Это стало одной из главных причин значительного всплеска интереса к решениям класса BI (business intelligence), который IDC отмечает в России с 2010 года.
Эксперты спорят о функциональности информационных систем, позволяющих проводить бизнес-анализ. Но сам процесс работы с аналитическими данными и предназначенное для этих целей ИТ-решение – совсем не одно и то же. Прежде чем приступать к внедрению BI-системы, компания должна подготовиться к ее использованию: формализовать бизнес-процессы, определить точки сбора информации, типы собираемых данных и цели, с которой эта информация будет использоваться. После этого можно говорить о конкретных инструментах BI, необходимых бизнесу.
Бизнес-аналитика отличается от ручного анализа показателей в таблицах Excel примерно как самолет от дельтаплана. Вопрос далеко не только в скорости. Ведь BI – это автоматизация процесса сбора информации и построения отчетности. В то время как работа с Excel предполагает, что анализируемые данные кто-то должен собрать из всех информационных источников компании, привести к единому шаблону и уже потом формировать отчеты.
Велика и разница в результатах работы с этой информацией. BI – это многомерность используемых данных и возможность оперативно формировать отчеты в любом разрезе, используя для этого любую имеющуюся в компании информацию. Иначе говоря, задачу, с которой люди будут справляться сутки (например, высчитывать зависимость продаж магазином определенных моделей одежды от демографического состава населения и транспортной инфраструктуры района), система решит за минуты.
Долгое время в основе решений BI лежали так называемые OLAP-кубы. Применение таких систем продолжается и по сей день. Они представляют находящуюся в хранилище информацию таким образом, что в любой момент можно взять любые имеющиеся показатели в качестве осей «куба» и сделать по нужным срезам анализ, построив плоскую таблицу или график зависимости одного показателя от другого. Что немаловажно, анализ происходит в режиме реального времени, о чем и говорит аббревиатура OLAP – online analytical processing.
Среди других признаков выделим наличие функций управления метаданными, средств разработки, инструментов для совместной работы и управления процессами, средств создания отчетов, продвинутой визуализации, функций предиктивного моделирования и интеллектуального анализа (data mining), карт показателей.
Сейчас на рынке продолжают расти продажи BI-систем, в которых реализованы технологии іn-memory. Основная идея in-memory заключается в принципе постоянного хранения данных в оперативной памяти. Это дает пользователям возможность получать ответы моментально – за доли секунды – даже в случаях, когда они работают с огромными объемами данных. Однако такие решения с технической точки зрения подходят не всем, и многие заказчики продолжают использовать технологию OLAP.
Наличие online analytical processing является одним из признаков аналитической системы, позволяющей ей называться полноценной BI-платформой по версии Gartner.
Помимо различной технологической архитектуры, системы BI отличаются набором инструментов для разных категорий бизнес-пользователей.
Например, полноценные BI-платформы сильно отличаются с точки зрения функциональных возможностей от BI-модулей, встроенных в некоторые корпоративные информационные системы и имеющих ограниченные возможности представления.
Для каждой роли пользователя существуют свои информационные панели, представляющие нужные именно этим сотрудникам ключевые показатели бизнеса в виде таблиц или инфографики. Инструментарий BI предусматривает также средства построения отчетов и интерфейс для их просмотра: в окне системы, через web или на мобильном устройстве пользователя. В построении отчетов помогают инструменты для определения корреляции данных.
Одна из доминирующих тенденций последних пяти лет на рынке BI – это рост спроса на мобильную аналитику. Пользователи BI-систем, оценившие их значение для бизнеса, поняли также и ценность постоянного доступа к такому инструментарию. Практически каждый крупный BI-вендор сегодня готов предоставить пользователям средства онлайн-аналитики. При этом мобильные рабочие места ориентированы не только на топ-менеджеров, но и на ряд других категорий пользователей, которым необходимо постоянно иметь актуальную информацию о состоянии тех или иных бизнес-процессов. Так что из «привилегии начальника» BI-мобильность стала средством быстрого реагирования на события для руководителей среднего звена и аналитиков. Поскольку BI-система предусматривает работу с большими массивами данных, поступающими в хранилище из различных информационных систем и в неструктурированном виде, она может использоваться для работы с «большими данными» (big data), которыми в последние годы так интересуется бизнес. Это и неудивительно, поскольку объемы хранимой и обрабатываемой информации растут опережающими темпами, следовательно, компании вынуждены думать о приобретении дополнительных вычислительных мощностей. При этом в реальном бизнесе обычно используются до 30% всей хранимой информации, остальная же часть становится только источником затрат на ее хранение.
Наличие больших объемов неструктурированной и потенциально полезной информации в компаниях, а также большие возможности, предоставляемые аналитикам системами BI, стали одним из драйверов прогресса в этой области. Сегодня все больше аналитиков ищут более гибкие инструменты, которые бы позволили изучать любые данные и строить бизнес-гипотезы. Это привело к появлению нового класса инструментов - data discovery. Они базируются на гибкой модели данных и интерактивных пользовательских интерфейсах, более удобных бизнес-пользователям, чем аналитикам. На примере data discovery мы видим, как инструментарий постепенно вырастает в самостоятельное направление ИТ-систем для аналитики.
Поскольку BI – это не только анализ текущей ситуации, но и прогнозирование, для аналитиков и руководителей разработаны продвинутые средства для проверки выдвинутых ими гипотез. А контролировать ключевые показатели при анализе поможет нотификация о достижении ими пороговых значений.
Как будет развиваться инструментарий BI-систем и его использование российскими компаниями в будущем? Появятся ли новые роли пользователей, новые интерфейсы, станут ли топ-менеджеры больше работать с бизнес-аналитикой? Консультант аналитического отдела компании Softline Мария Голикова убеждена, что один из векторов развития связан с растущим спросом на “облака” и средства визуализации: «С развитием облачных технологий многие крупные разработчики BI стали предлагать дополнительные возможности, доступные именно в облаке.
Если в компании существует “традиция” готовить отчеты в виде статичных Excel-таблиц, то многим сотрудникам будет сложно от этого отказаться. Однако надо надеяться, что со временем будет расти число компаний, которые будут получать исчерпывающую информацию, пользуясь информативными дашбордами».
Также, по мнению эксперта, росту популярности BI будет способствовать внимательное отношение разработчиков к дружественности интерфейсов и созданию мобильных рабочих мест: «BI-инструментарий сейчас движется в сторону самостоятельного анализа – решения становятся максимально простыми в использовании. Это дает возможность бизнес-пользователям за счет интуитивно-понятного интерфейса самостоятельно изменить текущие отчеты либо создать новые. Топ-менеджмент сегодня также привлекает возможность использования мобильных BI-решений. Руководитель может уехать в командировку, но при этом на экране портативного устройства видеть основные показатели деятельности своего бизнеса».
Говоря о том, какие инструменты, предоставляемые BI-платформами, в наибольшей степени востребованы российскими заказчиками, директор департамента ИТ и облачных сервисов J’son & Partners Consulting Александр Герасимов отмечает: «То, что используется сейчас, - это инструменты формирования разнообразной управленческой и маркетинговой отчетности постфактум на основе анализа данных транзакционных систем, таких как ERP, OSS/BSS (биллинг в частности), автоматизированные банковские системы и т. п.
То, что имеет хорошие перспективы, - это технологии анализа больших данных: не только структурированной информации транзакционных систем, но и слабо (или сложно) структурированных данных, таких как, например, логи и геоданные пользователей смартфонов и многое другое. Сейчас подобная информация используется в основном для обогащения и улучшения качества отчетности постфактум. В перспективе они могут применяться уже непосредственно в системах управления - с целью их интеллектуализации».
Некоторые BI-системы предлагают использовать больше инфографики вместо классических табличных отчетов. Но далеко не все готовы воспринимать графическую информацию.
