Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Текстовая аналитика
Copyr i g ht © 2013, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
BIG DATA НЕСТРУКТУРИРОВАННЫЕ ДАННЫЕ
• в 2013 г. 25% населения земного шара использовали социальные сети
• Yandex обрабатывает более 100 млн поисковых запросов в день
• 200 млн человек используют VK, более 1 млрд - Facebook
• Каждые 60 сек на YouTube загружается 60 часов видео
• В колл-центрах крупных корпораций одновременно работают тысячи
операторов
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Структурированные
данные
Полуструктурированные
данные
Неструктурированные
данные
5%
25%
70%
ИНФОРМАЦИЯ
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Мониторинг Интернета
Мониторинг динамики
упоминаемости тем, личностей,...
• Выделение сообщений по
интересующим темам: статьи,
комментарии
Выделение фактов, например:
• Мероприятия
• Люди
• С кем встречался
• Интересы человека/ сообщества
• Места
• Даты
Анализ мнений – выделение
позитива/негатива
• В целом, к заданным объектам, к
характеристикам объектов
• Сравнение мнений о компании и о ее
конкурентах
• Мониторинг динамики позитива/негатива
Аналитика:
• Выявление факторов и анализ динамики
возникновения общественного резонанса
• В том числе с отображением на графе и
выделением ролей сайтов/людей/...
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Выбор
тем
Динамика числа
статей
Позитив/
негатив в
статьях
Динамика числа
комментариев
Выбор
источников
Позитив/ негатив
в комментариях
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Что конкретно
пишут
Динамика
сообщений/
комментариев
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Динамика позитика/
негатива
Выбор тем
Выбор года
Сравнение
динамики позитива/
негатива по годам
Copyright © 2011, SAS Institute Inc. All rights reserved.
СВЯЗЬ АКТИВНОСТИ ПОЛЬЗОВАТЕЛЕЙ ИНТЕРНЕТ И
СОЦИАЛЬНЫХ ПОКАЗАТЕЛЕЙ
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
ИНФОРМАЦИОННЫЕ ВОЛНЫ
Информационная волна
заранее спланированное распространение провокационной информации через соцсети
Доколе ...?
Верно говорят –
правительство ...
И снова правительство не
смогло решить...
Ну правда, когда уже
правительство ... ?
Правительство – одно
разочарование. Вот опять...
Правительство
неспособно! ...
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
АНАЛИЗ ИНФОРМАЦИОННЫХ ВОЛН
ИДЕНТИФИКАЦИЯ
Как выявить сообщенияв одной информационной волне?
АНАЛИЗ
- Кто является источником?
- Кто наиболее эффективныйраспространитель?
- Как волна распространяетсяво времени?
Текстовая аналитикаSAS Text Analytics
Анализ социальных сетейSAS Social Network
Analytics
Copyr i g ht © 2013, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
МОНИТОРИНГ
ИНТЕРНЕТROYAL BANK OF SCOTLAND: ВЫХОД НОВОГО ПРОДУКТА
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
ТАМОЖНЯ
ШВЕЦИИ
”Package” - ”Canada”, ”Vacuum containers”, ”tupperware containers”
АНАЛИЗ ТЕНДЕНЦИЙ
”Упаковка” - ”Канада”, ”Вакуумные контейнеры”, ”контейнеры Tupperware”
Copyr i g ht © 2013, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
United States Department of Defense
inspection and audit office FEDERAL GOVERNMENT
BUSINESS GOALS
• Reduce resource strain on audits and investigations
• Analyze hot line information and prioritize investigative activities
• Seamless integration across numerous sources of data, both
structured and unstructured
RESULTS and EXPECTED RESULTS
• Better use of resources
• Faster completion of audits
• Fully auditable investigative trail
“We now can greatly increase auditing and investigation efficiencies and productivity while maintaining a high level of integrity in their chain-of-custody process. This will result in recovering greater amounts of taxpayer dollars.”Senior Auditor
United States
Department of Defense
Customer
Validated
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
• Письма с жалобами, предложениями, гарантийные обращения
• Данные с форумов в Интернет
• Записи операторов call-центров
• Анализ• Выявление ключевых тем жалоб
• Выявление предметов жалоб, обстоятельств инцидента/ поломки
• Анализ взаимосвязей между предметами жалоб
• Автоматизация• Настройка разбиения новых жалоб на категории
• Автоматическое распределение жалоб по подразделениям
• Мониторинг динамики числа жалоб по категориям
Анализ жалоб и обращений
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS Text Miner
SAS Business Analytics АНАЛИЗ ЖАЛОБ И АВТОМАТИЧЕСКАЯ
ДИСПЕТЧЕРИЗАЦИЯ
Организация
• Hong Kong Efficiency Unit – объединенный колл-центр
правительственных структур и организаций
Задача
• Быстрая обработка огромного объема структурированного
и неструктурированного текста на нескольких наречиях
китайского и английском языках
Решение
• Построение интеллектуальной системы обработки жалоб
• Нахождение корневой причины жалобы в
неструктурированной информации
• Принятие решений и выработка стратегий на основе
проанализированной информации от населения
ФАКТЫ И РЕЗУЛЬТАТЫ
Обработка ежегодно около
2,65 миллиона звонков и
98 000 электронных писем
Прогноз и предотвращение
будущих жалоб, благодаря
нахождению корневой
причины
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Текстовая аналитика SAS ПРИМЕРЫ ИСПОЛЬЗОВАНИЯ
Анализ причин жалоб и их автоматическая маршрутизация
• Банки: ABSA bank, RSB
• Телеком: Bell Canada, Grameenphone Limited
• Гос. учреждения: HONG KONG EFFICIENCY
• UNIT, Government Accountability Office, US
• Прототип для РЖД
АНАЛИЗ ЖАЛОБ
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS Text Analytics
ПОВЫШЕНИЕ КАЧЕСТВА
AMERICAN HONDA
• Выявление серьезных проблем до
момента, когда хотя бы один клиент
столкнулся с ними.
• Целостное представление всех
имеющихся данных: текстовых и
структурированных.
• Повышение надежности
автомобилей.
• Снижение расходов на доработку
автомобилей и корректировку процесса
сборки.
• Как следствие, снижение стоимости
владения для клиента и повышение его
лояльности клиентов.
• Отсутствие интеграции
между различными источниками
информации:
• БД гарантийных обращений.
• Call-центр тех. помощи.
• Call-центр для клиентов.
• Структурированные
источники.
• Данные о продажах
запчастей.
• Отсутствие возможности
выявления и предотвращения
поломок и неисправностей до
момента, когда они получат
широкое распространение.
ПРОБЛЕМА РЕЗУЛЬТАТЫ
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS Text Analytics
ПОВЫШЕНИЕ КАЧЕСТВА
HP
• Детальный анализ жалоб и постов
клиентов относительно конкретных
продуктов и их составляющих
• Формирование требований к
следующим моделям на основе «слов»
клиентов.
• Увеличение на 50% выполненных
заказов.
• Увеличение дохода от HPDirect.com на
50%.
• 20% увеличение ROI по кампаниям.
• 42% увеличение ROI по
маркетинговым активностям.
• Отсутствие возможности
анализа всех доступных данных:
• 900 Тб
• 2.5 млрд взаимодействий с
клиентами: сайт, call-центр,
чаты с клиентами.
• Отсутствие возможности
углубленного анализа текстовых
источников.
ПРОБЛЕМА РЕЗУЛЬТАТЫ
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
ОБОГАЩЕНИЕ
ИНФОРМАЦИИ
ПО КЛИЕНТАМ:
КОНЦЕПЦИЯ
Интересы Социальный
сегмент
Важные события в жизни
Профиль личности
Новые
характеристики
клиентов
Повышение
точности
моделей
Целевой маркетинг Риск-менеджмент
+ ищет кредит онлайн+ увлекается экстримом- алкоголик- тунеядец
+ Data Mining(SAS EM)
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
ПРОВАЙДЕРЫ ТЕКСТОВЫХ ДАННЫХ – ПАРТНЕРЫ SAS
1. Liveinternet: поисковые запросы и посещенные web-страницы клиентов за последние 84 дня. Сервис работает в реальном времени (отклик - менее 1 сек)
2. Sociohub: Унифицированное содержимое страниц клиентов из 4 соцсетей VK + FB + Одноклассники + Мой Мир + [позже] hh.ru Посты (last 50), названия и описания групп, интересы и др.
3. Центр Речевых Технологий: Автоматический перевод в текст записей разговоров из колл-центра и голосовая биометрия
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS Text Analytics РАЗЛИЧНЫЕ ПОДХОДЫ К АНАЛИЗУ ТЕКСТОВ
лингвистические методыnatural language processing
статистические методымашинное обучение
Enterprise
Content
Categorization
Text MiningSentiment
Analysis
Ontology
Management
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
ПОЧЕМУ SAS TEXT ANALYTICS
Самый широкий на рынке набор алгоритмов для работы с текстовыми данными “Who is who in Text Analytics” - Gartner, 2012
Легкая интеграция SAS Text Analytics с SAS Enterprise Miner: непрерывный процесс анализа текстовой информации и её использования в аналитических моделях
Интуитивно понятный интерфейс: получение моделей оптимального качества и ключевых фактов даже неспециалистом в лингвистике
Интеграция с SAS RTDM для принятия решений в реальном времени
Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .SAS.com