Использование внешних данных

Хорошо структурированный план использования внешних данных может обеспечить организации конкурентное преимущество.

Многие компании добились успехов в сборе и использовании данных о собственной деятельности. Остался нераскрытым потенциал связывания внутренних данных с данными, предоставленными третьими сторонами, - поставщиками или общедоступными источниками данных. А это упущенная возможность.

Организации, которые успешно интегрируют широкий спектр внешних данных в свою деятельность, могут превзойти другие компании за счет улучшения показателей роста, показателей производительности, а также за счет лучшего управления рисками.

Хотя источники внешних данных обладают огромным потенциалом, они же создают проблемы. Даже простое понимание, - какие данные доступны, а какие нет, - требует значительных усилий. Плюс к тому, что среда внешних данных фрагментирована и быстро расширяется. Также труден анализ качества и экономической ценности информационных продуктов. Внешние данные можно получить через множество каналов. Это брокеры данных, агрегаторы данных и аналитические платформы. Для эффективного использования внешних данных может потребоваться обновить существующие программные и технические ландшафты организации, могут потребоваться изменения в системах и инфраструктуре. Необходимо также помнить о проблемах конфиденциальности в связи с использованием внешних данных.

Проблемы значительны, но преодолимы.

Таблица с описанием источников внешних данных

Геопространственные и спутниковые данные	Достопримечательность, маршрут	Недвижимость
Частный бизнес	Доходы, численность работников, размещение	Отраслевые классификации, технография
Потребитель	Транзакции, пользовательские панели	Поиск трендов, перепись
Сеть интернета и приложения	Список вакансий и продуктов	Трафик данных, метрики приложений
Погода	Температура и осадки, штормы и неблагоприятные события, прогнозы
Новости, IP, юридические сведения	Новостные сервисы, каналы научных журналов	Патенты, юридические действия
Публичные данные	федеральные, государственные и местные документы, макроэкономические индикаторы
Отраслевая специфика	Торговые потоки и доставка, бронирование гостиниц и путешествий	Запросы здравоохранения, сельское хозяйство/зерновые культуры

Внешние данные могут помочь компаниям создавать добавленную стоимость в нескольких ключевых областях:

• Клиентская аналитика. 
• Определение идеальных потенциальных клиентов для B2B.
• Выявление быстрорастущих потребительских тенденций и маркетинговых возможностей с помощью поиска данных, анализа социальных сетей, панелей транзакций и панелей заказов.
• Стратегический анализ. 
• Сравнение требуемой квалификации сотрудников, вакансий и существующих предложений квалификации. 
• Выявление возможностей улучшения продукта в ходе анализа откликов в социальных сетях и на платформах электронной коммерции.
• Операции и прознозирование. 
• Прогноз изменения цен, основываясь на данных локальных рынков и демографических сдвигах. 
• Прогноз потребительских ожиданий и отзывов, используя инфографику и данные компании.
• Риск менеждмент. 
• Снижение операционных рисков, основываясь на анализе новостей, данных социальных медиа, прогнозе цен поставщиков материалов. 
• Снижение репутационных рисков, рисков сбоев поставок, рисков владения, урона от новостей, юридических рисков.

Три шага к созданию ценности с помощью внешних данных

1. Создание команды для работы с внешними данными.

Ключевая роль команды - специалист по разведке данных или стратег, которые сотрудничают с группой анализа данных и бизнес-подразделениями для определения операционных затрат, улучшений, факторов роста, которые могут быть обеспечены в силу использования внешних данных. Этот специалист также будет нести ответственность определения возможностей внешних данных, будет ответственный за планирование вариантов использования источников данных, за определение приоритетности источников данных, а также за оценку добавленной стоимости  в силу использования внешних данных. Идеальные кандидаты на эту роль - интрепретаторы данных и аналитики данных. Другие члены команды - эксперты по закупкам, инженеры и специалисты обработки данных, аналитики, функциональные и технологические эксперты.

На протяжении всего процесса поиска и использования внешних данных следует помнить о конфиденциальности и защите персональных данных. Специалисты по анализу данных, в число которых обычно входят руководители юридических служб, риск-менеджеры должны тщательно проверять новые наборы данных, в которых содержатся сведения о потребителях - например, данные о финансовых транзакциях, данные о занятости, данные сотовых телефонов и иная информация. Процессы проверки должны гарантировать, что все данные были собраны в соответствии с соответствующими разрешениями, в соответствиии с соответствующими законами о конфиденциальности данных и с согласия потребителей.

2. Развитие отношений с торговыми площадками и агрегаторами данных.

Хотя поиск в Интернете может показаться простым способом поиска отдельных наборов данных, этот подход не всегда эффективный. Хорошие данные не бесплатны. Поэтому нужно искать поставщиков и договориваться с ними. А это приводит к дискуссиям и переговорам с поставщиками: процесс изучения наборов данных, получение пробного доступа, заключение соглашений часто занимает месяцы.

Более эффективная стратегия - использование рыночных агрегаторов данных. Агрегаторы данных специализируются на объединении данных из сотен источников данных. Часто данные собираются и агрегируются в определенных областях. Например, агрегаторы данных - потребители, недвижимость, правительство, компании. Такие агрегированные наборы данных дают организациям свободный доступ к широкой экосистеме данных посредством интуитивно понятной платформы, ориентированной на поиск нужных данных. Это позволяет быстро протестировать нужные наборы данных, оставаясь в рамках одного контракта или соглашения. Агрегаторы - ценные партнеры и могут сэкономить время и усилия. Эти распространители данных могут помочь идентифицировать нужные информационные продукты и выступить в качестве брокера данных.

После определения потенциального набора данных работа переключается на потребителей (заинтересованные стороны) и на специалистов обработки данных. На этом этапе оценивается ценность данных и их полезность для бизнеса. Тут устанавливаются критерии оценки данных по множеству факторов для определения наличия необходимых ценностных характеристикам наборов данных.

Критерии внешних источников данных:

1. Глубина данных.
2. Широта даннах.
3. Рентальность затрат по обработке данных. Достаточен ли доход чтобы покрыть инвестиции в получение данных.
4. Профиль данных. Имеется ли хорошее описание данных, частотность значений в колонках, пропущенные переменные, изменчивость переменных, достоверность данных.
5. Покрытие данными. Достаточно ли покрытие данными географии, популяции, а также предвзятость в наборах данных.
6. Своевременность данных. Насколько изменчивы во времени данных, как части пополняются данные, какая задержка в регистрации данных.
7. Поставка данных. Как поставляются данные, в каком формате, есть ли API, как подтверждается успешность передачи данных.
8. Потенциальное воздействие. Может ли с помощью данных выполнен предполагаемый анализ и моделирование, возможно ли повторное использование данных в моделях.
9. Суммарные затраты. В дополнение к затратам на поставку данных какие требуются затраты для получения приемлемого для бизнеса результата.
10. Приобретение и контрактование. Как быстро могут быть законтрактованы данные для их использования.
11. Риск. Насколько этично и легально использовать данные и результаты, полученные на основе их.

Оценка данных должна включать в себя изучение показателей качества, таких как заполняемость, охват, систематическая ошибка и показатели профилирования. Оценка выполняется в контексте варианта использования данных. Например, поставщик данных о транзакциях может утверждать, что у него есть сотни миллионов транзакций, которые помогают выявить потребительские тенденции. Однако, если данные включают только транзакции потребителей определенной возрастной категории, то набор таких данных не очень полезен для компании, стремящейся понять поведение потребителей всех возрастных категорий.

3. Подготовка архитектуры данных для новых потоков внешних данных.

Для получения положительного дохода от инвестиций за счет внешних данных необходимо предварительное планирование структур данных. И тут требуется гибкая архитектура этой самой структуры данных. Также необходимо постоянное тестирование качества данных.

Планирование начинается с оценки существующей среды. Hужно определить возможности поддержки процессов приема, хранения, интеграции, управления и использования данных. Оценка охватывает такие вопросы, как частота поступления данных, объем данных, способ защиты данных, способ интеграции внешних данных с внутренними данными. Тогда нужно понять - потребуются и какие изменения в текущей архитектуре данных.

Архитектура данных должна быть достаточно гибкой для поддержки конвейера входящих из различных источников данных. Например, иметь интерфейса прикладного программирования (API) для интеграции с данными, поступающими из внешних источников. В других случаях может потребоваться инструментарий для поддержки широкополосного приема данных, выполнения запросов и анализа. Архитектура данных и базовые системы могут обновляться с течением времени по мере изменения потребностей.

Далее - обеспечение соответствующего и постоянного уровня качества данных путем мониторинга используемых данных. Это включает регулярную проверку данных на соответствие установленной структуре, проверку качества и оценку характера изменения данных. Если изменение данных значительно, возможно потребуется переобучить или перестроить алгоритмические модели, использующие эти данные.

Резюме

Сведение к минимуму риска, с одной стороны, и создание добавленной стоимости, с другой стороны, на основе использования внешних данных требует сочетания творческого подхода к решению проблем и наращивания организационного потенциала, ориентированного на использование результатов анализа.

Согласно материалов статьи "Использование возможностей внешних данных 3 февраля 2021 г. | Статья"

Harnessing the power of external data February 3, 2021 | Article

https://www.mckinsey.com/business-functions/mckinsey-digital/our-insights/harnessing-the-power-of-external-data