Анализ данных в статистическом смысле. Сложный анализ данных. Особенности научного метода в управлении
Лекция 1
АНАЛИЗ ДАННЫХ: ИНФОРМАЦИЯ И ПРИНЯТИЕ РЕШЕНИЙ
План лекции
1. Анализ данных в управлении: наука или искусство?
2. Анализ данных в статистическом смысле. Сложный анализ данных. Научный метод в управлении
3. Классификация методов анализа данных
4. Виды и свойства информации
5. Принятие управленческих решений. Классификация задач принятия решений
Анализ данных в управлении: наука или искусство?
В любой сфере человеческой деятельности — в предпринимательстве и бизнесе, науке, культуре, искусстве, управлении — накапливается огромное количество самой разнообразной информации. Реальные успехи в каждой из этих сфер во многом зависят от того, насколько правильно используется эта информация. Чтобы успешно решить эту задачу, необходимо обратиться к к специальным методам анализа и обработки информации. Здесь недостаточно располагать информационными технологиями. Классические информационные технологии позволяют эффективно хранить, структурировать и быстро извлекать информацию в виде, удобном для пользователя, но это — только половина дела. При решении задач управления необходимо выяснить скрытые закономерности, установить силу связи между различными характеристиками, выявить информативные показатели, классифицировать исследуемые статистические объекты — т.е. все то, что принято называть термином «анализ данных».
|
|
|
Сложность алгоритмов современных методов анализа данных, основанных, как правило, на теории вероятностей и математической статистике, во многом ограничивает их использование на практике. Не очень «выручает» и наличие на компьютерном рынке таких «продвинутых» программных комплексов, как пакет статистического анализа данных общественных наук SPSS, являющийся самой распространенной программой для обработки статистической информации. Этот программный комплекс, развиваемый уже на протяжении 35 лет (11-я версия выпущена в мае 2002 г.) и недавно принятой в России в качестве «стандартного» для региональных органов государственной статистики, предоставляет широкий охват существующих статистических методов, который удачно сочетается с большим количеством удобных средств визуализации результатов обработки.
Однако недостаточно располагать самым совершенным программным продуктом. Анализ данных — это не только наука, но и искусство, и как любое искусство, требует таланта и интуиции, но главное — опыта. Многолетняя работа автора в области анализа данных убеждает: интуиция может развиться только на основе опыта, путем многократных проб и ошибок. Современные пакеты статистических программ позволяют ускорить этот процесс, а наличие удобных средств визуализации результатов обработки — сделать его наглядным и привлекательным для пользователя с гуманитарным складом мышления. Тем самым анализ данных становится и наукой, и искусством.
|
|
|
Что же следует понимать под термином «анализом данных» в управлении? Подойдем к этому с двух точек зрения — «статистической», что соответствует междисциплинарному подходу, и «социологической», учитывающей человеческий фактор.
Анализу данных известный специалист в области социологии управления В.А. Ядов в своей книге посвящает отдельную главу «Анализ эмпирических данных». Определение термина «анализ данных» не приводится, однако представление о его смысловом содержании можно получить из перечисления стадий анализа данных и их последовательности (табл. 1.1).
Таблица 1.1
Последовательность стадий анализа данных
| Стадии анализа данных | Исследовательская задача стадии анализа | Основные приемы анализа |
| 1 | Выявление аномалий, ошибок и пропусков в исходных данных, коррекция выборки, описание простых распределений | Качественное осмысление сгруппированных данных; использование приемов описательной статистики, расчет средних тенденций, вариации, параметров |
| 2 | Уплотнение исходной информации и ее описание в зарегистрированных показателях с тем, чтобы избавиться от излишней детализации, избежать ошибок последующего анализа вследствие «провалов» в исходных распределениях, повысить уровень обобщения | Приемы укрупнения исходных шкал, логические комбинации частных признаков, построение индексов, эмпирическая и теоретическая типологизация, факторный анализ |
| 3 | Выявление прямых и косвенных связей, интерпретация и объяснение основных зависимостей и свойств изучаемых явлений, проверка главных и второстепенных гипотез исследования | Построение двумерных, многомерных таблиц, расчет корреляций, регрессий, энтропии и ассоциации распределений, использование корреляционных графов, детерминационных моделей |
| 4 | Прогноз изучаемых процессов и явлений на основе объяснительных гипотез | Приемы мысленного и, если возможно, натурного экспериментирования, повторные и сравнительные исследования, контрольные опросы экспертов для проверки итоговых выводов, моделирование динамических процессов |
Эта последовательность отражает цикл качественно-количественного анализа эмпирических данных исследований социальных процессов и явлений, начиная от первичной статистической обработки и «ремонта» выборки до последнего шага — социального прогноза.
|
|
|
|
|
|
Первая стадия — описание всей совокупности данных — в математической статистике носит название «описательная (дескриптивная) статистика». На этой стадии осуществляется общий контроль качества информации: выявляются ошибки и пропуски, допущенные при сборе данных и их вводе в ЭВМ для дальнейшей обработки и анализа, производится коррекция выборки: бракуются элементы выборочной совокупности, не отвечающие модели выборки и т.п. Затем аппарат дескриптивной статистики используется для упорядочения всех данных по отдельным признакам, изучаются простые (линейные) распределения, выявляются т.н. «выбросы», определяются числовые статистические характеристики (показатели средней тенденции, вариабельности, показатели характера распределения).
Основная цель первой стадии анализа эмпирических данных — общая оценка выборочной совокупности и ее подмножеств (частных подвыборок) с тем, чтобы понять, каким образом особенности выборок будут сказываться на интерпретации того или иного частного вывода и обобщающих заключений. Результаты этого этапа необходимо иметь в виду во всех последующих операциях с данными.
Вторая стадия анализа данных — «уплотнение» исходной информации, под которой понимается укрупнение шкал, формирование агрегированных признаков-индексов, выявление типических групп и т.п. Основная цель при этом — сокращение числа признаков, необходимых для итогового анализа, попутно достигается первичное обобщение данных. Вторая стадия «перекликается» с третьей стадией анализа эмпирических данных, поскольку при уплотнении исходной информации могут быть использованы «сильные» методы многофакторного статистического анализа (факторный, кластерный), специфические приемы типологизации.
Особое значение имеет формирование сводных, агрегатных признаков. При этом исследователь не только «уходит» от малосущественных частностей, но и повышает уровень обобщений, что приводит к более емким теоретическим умозаключениям. На этом этапе выполняются необходимые промежуточные истолкования агрегируемых показателей, строятся интерпретационные схемы.
Третья стадия анализа как бы вклинивается в предыдущую. Ее сущность — углубление интерпретации и переход к объяснению социальных фактов путем выявления возможных прямых и косвенных влияний на агрегированные свойства, социальные типы, устойчивые образования. На этой, вероятно самой ответственной, стадии анализа данных должны быть получены основные выводы, получены главные гипотезы, необходимые для разработки практических рекомендаций и для теоретического осмысления проблемы.
Заключительная четвертая стадия— попытка прогноза развития изучаемого процесса, событий, явлений при определенных условиях. Лучшим образом решению этой задачи отвечает повторное обследование. При невозможности его осуществить и для оперативности прогноза используют модели мысленного экспериментирования, регрессионные, детерминационные, стохастические и др.
Итак, на всех этапах анализа данных в управлении мы сталкиваемся с необходимостью применения приемов и методов статистической обработки: в самом начале — методов дескриптивной статистики, затем, вплоть до заключительной стадии, более сложных методов, в основном, многомерного статистического анализа — корреляционного, факторного, кластерного, регрессионного.
Анализ данных в статистическом смысле. Сложный анализ данных. Особенности научного метода в управлении
За прошедшие годы многое изменилось. Компьютеры в виде ПЭВМ «пришли» практически на стол каждого специалиста в сфере управления, доступным стало самое разнообразное программное обеспечение, исчезло деление специалистов на «компьютерщиков» и специалистов в конкретной области. Изменилось и само понятие «анализ данных». Теперь компьютер может не только перерабатывать информацию, но и производить ее.
Приведем определение термина «анализ данных» в современном статистическом смысле. Родоначальником этого термина является Дж. Тьюки, известный специалист в области математической статистики. В.В. Пржиялковский дает следующее развернутое определение: на стыке математики и информатики (исследование операций, математические методы оптимизации, распознавание образов, искусственный интеллект) уже давно существует много разных течений и направлений, ориентированных как раз на анализ данных. К ним относятся все виды визуализации данных, методы предварительной обработки данных (слияние, редактирование, преобразование, фильтрация, получение выборок), проектирование данных, средства и методы исследования данных, машинное обучение, нейронные сети, нечеткая логика, статистические и другие методы распознавания образов, фильтрация знаний и многое другое. В совокупности эти методы и алгоритмы можно назвать средствами сложного анализа, или обработки, данных. Общий принцип такого анализа иногда формулируют как получение знаний (информации) из данных.
Термин «сложный» в этом определении не случаен. Речь идет о новых возможностях ввода и обработки информации, предоставляемых современными компьютерными технологиями. Если раньше стремились к «свертыванию» значительных объемов информации не только для удобства анализа, но и для сокращения объема «вторичных» данных, поступающих на дальнейшую «высокую» статистическую обработку, то с появлением и широким распространением ПЭВМ, равных по своим возможностям переработки информации бывшим «суперкомпьютерам», стало возможным непосредственно работать с объемами информации, достигающими 1 Тбайта. Тем самым удается сохранить исходный массив данных, не сводя его к сравнительно небольшому числу итоговых средних, при подсчете которых аналитик всегда исходит из своей концепции группировки, необходимой ему для решения ситуативной задачи.
Однако признания необходимости использования информационных компьютерных технологий в управлении в настоящее время уже недостаточно. Центральный пункт науки управления состоит в том, чтобы обеспечить руководителей научной базой для разрешения проблем. Отличительные особенности науки управления как подхода таковы:
1) использование научного метода;
2) системная ориентация;
3) использование моделей.
Научный метод состоит из трех этапов.
1. Наблюдение. Речь идет об объективном сборе и анализе информации по проблеме и ситуации.
2. Формулирование гипотезы. Формулируя гипотезу, аналитик выявляет имеющиеся альтернативы — варианты действий и их последствия для ситуации, делает прогноз, основанный на этих наблюдениях. Цель данного этапа — установление взаимосвязи между компонентами проблемы..
3. Верификация. На этапе верификации, или подтверждения достоверности гипотезы, аналитик проверяет гипотезу, наблюдая результаты принятого решения. В случае, если гипотеза признается недостоверной, следует вернуться к первому этапу, добавить имеющуюся информацию, собранную на этапе проверки гипотезы, после чего сформулировать новую гипотезу.
Применяя научный метод для решения проблем управления, необходимо помнить, что любой социально-экономический объект — это открытая система, состоящая из взаимосвязанных частей. Поэтому второй особенностью научного подхода к управлению является системная ориентация.
Третья особенность науки управления — использование моделей. Моделирование необходимо в силу сложности проблем управления и трудности проведения экспериментов в реальной жизни.
Реализация всех трех этапов научного подхода к решению конкретных задач управления требует привлечения математических и, прежде всего, статистических методов анализа данных.
Дата добавления: 2018-04-15; просмотров: 409; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!