воскресенье, 29 апреля 2018 г.

Исследование данных - модель CRISP-DM

Жизненный цикл исследования данных
CRISP-DM

В моделях исследования данных, в частности DATA MINING, на сегодняшний момент устоялась методология, получившая обозначение CRISP-DM - Cross-Industry Standart Process for Data Mining - межотраслевой стандартный процесс для исследования данных.

В этой методологии определяется модель жизненного цикла исследования данных, которая состоит из шести фаз.
  • Понимание бизнес-целей (Business Understanding) 
  • Начальное изучение данных (Data Understanding) 
  • Подготовка данных (Data Preparation) 
  • Моделирование (Modeling) 
  • Оценка (Evaluation) 
  • Внедрение (Deployment)
Взаимосвязь фаз приведена на рисунке


Содержание фаз (задачи и результаты) приведены на следующих рисунках.








среда, 25 апреля 2018 г.

Контроль реализации проекта


Употребление с самого начала технических терминов ничего не добавляет к знаниям, 
но оно приводит уже известные знания в строго компактную форму, 
пригодную к использованию в качестве отправного базиса для дальнейших исследований.
А.Маршалл


Что является объектом контроля релаизации проекта?

Информация.

Информация включает в себя:
  • Результаты проекта, перечень результатов проекта (продукты, услуги, требования) отражаются в плановой документации.
  • Исполнение расписания.
  • Соответствие требованиям к качеству.
  • Использование ресурсов.
Что входит в содержание контроля?

Контрол должен обеспечить:
  • Мониториг - систематическое и планомерное наблюдение.
  • Выявление отклонений от целей реализации.
  • Прогнозирование последствий сложившийся ситуации.
  • Обоснование необходимости принятия корректирующего воздействия.
Отчетность, генерируемая в ходе контроля:
  • Отчеты о состоянии проекта.
  • Отчеты о прогрессе проекта.
  • Прогнозы.
Элементы системы контроля, которые должны быть определены вначале:
  • Состав и уровень детализации работ, подлежащий контролю.
  • Состав показателей и формы представления информации.
  • Сроки представления информации и отчетности.
  • Лица, ответственные за полноту, достоверность и своевременность представления данных.
  • Состав, методы и технологии построения отчетности.
В качестве примера технологии, используемой при контроле реализации проекта рассмотрим метод освоенного объема (Earned Value Analysis - EVA).
Данный метод основан на той посылки, что управлять возможно только оставшейся частью проекта и поэтому более практично оценивать не степень готовности проекта, а объем ресурсов, который осталось потратить - бюджет по завершению проекта.

Учебное описание данного метода можно посмотреть в лекциях НОУ ИНТУИТ - Управление стоимостью (НОУ ИНТУИТ)

В рамках метода определяются четыре показателя:
  • PV - Planned Value - плановый объем - плановая (сметная) стоимость запланированных работ на определенный момент времени.
  • EV - Earned Value - освоенный объем - плановая стоимость выполненных работ на тот же момент времени.
  • AC - Actual Cost - фактическая стоимость - фактическая стоимость выполненных работ.
  • BAC - Budget at Completion - бюджет по завершению проекта.



Расчет показателей отклонений:
  • SV - Schedule Variance - отклонение по срокам: SV = EV - PV.
  • SPI - Schedule Performance Index: SPI = EV / PV.
  • CV - Cost Variance: CV = EV - AC.
  • CPI - Cost Performance: CPI = EV / AC.
  • EAC - Estimate to Completion: EAC = BAC / CPI.

Принятие решение проводится в соответствие со следующим рисунком.





вторник, 17 апреля 2018 г.

Интернет за стеной

Парадокс - видимо это фундаментальное основание жизни. Настолько фундаментальное, что нет парадокса - нет жизни.

И вот такой парадокс по моему разумению я обнаружив в отчете о глобальных рисках 2018 года, подготовленного экспертами Всемирного форума в Давосе.

Экспертами заявлен риск - фрагментация интернета.

Регулирование интернета, мероприятия кибербезопасности и протекционизм приводят к фрагментации Интернета.

Распространение разрушительных трансграничных кибератак может стать наиболее вероятным триггером развала так называемого "электронного правительства", реализуемого под под руководством правительства специально "огороженных" сегментах национального или регионального интернета.
Но те только кибератаки представляют угрозу развития "электронного правительства". Еще имеются "классический" экономический протекционизм, несогласованность законадательства, низкая конкурентоспособность по сравнению с глобальный онлайн-фирмами, цензура, самоцензура пользователей (что приводит к потере восприятия реального мира), подмена реального мира виртуальным миром и возможно еще и еще.

Фрагментация Интернета может включать, помимо прочего, прерывание технических функций Интернета в силу возникновения барьеров для потока контента и транзакций, в силу роста обходных решений, включая незаконные. Барьеры приведт к замедлению темпов технологических решений, а также к изменению направления технологического развития.

Противоложная тенденция, описываемая достижениями в области кибербезопасности, в развитии соответствующих технологий может снизить риски, связанные с  кибер-сбояи и кибер-кражами. Технологические решения в этом случаем может обеспечить развитие интернет-технологий, направленных на создание политического устойчивого контекста, формируемого на основе разделяемых ценных и согласованных обязательств правительств и технологических компаний. Однако такое предположение находится на грани или в области утопичных идей и предположений. Всмоминая С.Лем, если человек что-то может разрушить, он это обязательно разрушит, еще более укрепляешься в утопичности сотрудничества в рамках глобального и свободного интернета.

Но так ли опасна фрагментация интернета, как ее описывают эксперты, и в частности эксперты Всемирного экономического формума в Давосе (http://reports.weforum.org/global-risks-2018/)?

Возможно, что с учетом рисков, вызванных киберпреступностью, Искусственным интеллектом - это возможность справится с другими, более грозными рисками, порожденными свободным интернетом?

Если в обществе культура призвана ограничивать зверя в человеке, что является аналогом сдерживающего фактора культуры в свободном интернете?

Да, безусловно, ограничение свободы интернета обязательно имеет свои недостатки, несет вредные эффекты, но также и абсолютная свобода интернета имеет свои недостатки и вредные эффекты.

Да и вообще, требование свободы c позиции логики приводит к уничтожению свободы. Так как устанавливает диктатуру свободы. Но это логически, а если рассуждательно не формально - то к хаосу. Хаос воплощает собой свободу реализации всех структурных частей, освождаясь от всякой структуры, оставляя единственную структуру - структуры свободы реализации любых конфигураций. А хаос - это разве не смерть? Включая, смерть интернета.

Исходя из сказаного, уже не выглядит безусловным суждение, что фрагментация интернета может рассматриваться как риск в общем смысле. Скорее наоборот, фрагментация возможно является одним из способов обороны, так как  затрудняет ведение информационных войн: надо же, раньше тут было поле, а теперь крепость!

Вот такой вот парадокс.

И не один.
Открытый интернет наводнент идея как выдающихся, так и заурядных людей.
И заурядных идей настолько много, что выдающиеся идеи можно найти отнюдь не с помощью поисковой машины.
Но не это тоже плохо.
Плохо наличие идей заурядного человека и исчезновение культуры.
Вот что об этом говорил Ортега-и-Гассет в своей работе "Восстание масс".

Идеи заурядного человека — не настоящие идеи, они не свидетельствуют о культуре. Кто хочет иметь идеи, должен прежде всего стремиться к истине и усвоить правила игры, ею предписываемые. Не может быть речи об идеях и мнениях там, где нет общепризнанной высшей инстанции, которая бы ими ведала, нет системы норм, к которым можно было бы в споре апеллировать. Эти нормы — основа нашей культуры. Речь не о том, какие они; я лишь утверждаю, что там, где норм нет, там нет и культуры. Нет культуры там, где нет начал гражданской законности и не к кому апеллировать. Нет культуры там, где в решении споров игнорируются основные принципы разума. Нет культуры там, где экономические отношения не подчинены регулирующему аппарату, к которому можно обратиться. Нет культуры там, где в эстетических диспутах всякое оправдание для произведения искусства объявляется излишним.
Когда все эти нормы, принципы и инстанции исчезают, исчезает и сама культура и настает варварство в точном значении этого слова.
Степень культуры измеряется степенью развития норм.
Открытость интернета не способствует созданию идей, потому что

Чтобы иметь или создать идею, надо, прежде всего, верить, что есть какие-то основания или условия ее существования, т. е. верить в Разум, в мир идей, отвлеченных истин. Имея идеи, составляя мнения, люди обращаются к высшей инстанции, подчиняются ей, признают ее кодекс и ее решения; верят в то, что наивысшая форма общения — диалог, в котором обсуждаются основы наших идей. Но для человека массы принять дискуссию значит идти на верный провал, и он инстинктивно отказывается признавать эту высшую объективную инстанцию. Отсюда модный в Европе лозунг: "Хватит дискуссий!" — и отказ от всяческих форм духовного общения, предполагающих признание объективных норм, начиная с простого разговора и кончая парламентом и научными обществами. Это равносильно отказу от культурной общественной жизни, построенной на системе норм, и возврату к варварскому образу жизни.

пятница, 13 апреля 2018 г.

Запутанная сеть

В числе рисков предстоящих лет обозначен новый риск, связанный с Искусственным интеллектом. Риск, довольно правдоподобный.

Это риск связан с ростом "компьюторных сорняков", удущающих работу Интернета.
Это риск не связан с компьютерным сверхинтеллектом, контролирующим всех людей, а связан с "цифровыми водорослями" - низкоуровневыми алгоритмами, медленно занимающими полосу пропускания Интернета, тихо и незаметно удушующего инфраструктуру Интернета.

Такие алгоритмы уже размножаются.
Становятся все более и более изощренными.
А мы становимся все более зависимыми от кода, который пишет код.
В такой ситуации взрывной. - экспоненциальный, суперэкспоненциальный, - весьма вероятный сценарий.
Уже ощущается разрыв, расхождение между нашей способностью понимать, отслеживать и контролировать созданный нами же код. А этот код создан не человеком.

Снижение эффективности интернета подорвет предоставление услуг в бесчисленных бизнесах. Это отразится на Интернете Вещей (IoT). Это обескуражит пользователей.
Искусственные сорняки Искусственного интеллекта смогут преодолевать запреты и проникать в защищенные сегменты интернета (закрытые фрагменты интернета), и возможно, если могут использоваться как оружие.

Для борьбы с Искусственными сорняками придется вводить что-то подобное гигиене, только в этом случае мы будем иметь что-то подобное цифровой гигиене.
Придется разрабатывать нормы, положения, структуры как для управления Искусственным интеллектом, так и для управления пользователями.
Уже мы имеем глобальные требования к Интернету, но они должны увеличиться как в масштабах, так в сложности, что также не будет способствовать удобствам пользования интернетом.

А точнее, существует риск вытеснения людей из Интернета.

Вот такой расклад.

четверг, 5 апреля 2018 г.

Эмоция - путаница в понятиях

Эмоция употребляется в разных "ракурсах", что порой не возможно четко понять, о чем идет речь и чему все клонится.
Между тем, все упрощается если эмоцию понимать буквально как значение латинского слова: состояние организма, побуждающее его к тому или иному действию или сопровождающее это действие.
... в биологическом понимании, эмоция — всего лишь самоощущение организмом того или иного состояния.

Традиционная психология обычно отказывает в праве на эмоции существам с простой нервной системой определяя эмоции как очень сложный психический процесс, возможный лишь у некоего существа (не будем показывать пальцем), исключительно обладающего в высшей степени развитой нервной системой. На мой взгляд это определение безосновательно и антропоцентрично.

А вот это камешек в огород психологии
Впрочем, психология — явление очень полиморфное и неоднородное, в ней самой нет единства в определении этого термина. Столь же любимые психологами тонкие нюансы различий между понятиями «эмоция», "страсть", «ощущение», "чувство" и тому подобное полагаю сугубо искусственными, и стало быть копаться в них — совершенно излишним.

Весьма примечательный пример.
...эталон примитивности — виноградная улитка с её нервной системой из 9 нейронов может теоретически испытывать 29 = 512 различных эмоций! Пусть фактически их на порядок меньше, но всё же больше, чем самостоятельных слов в любом человеческом языке, описывающих эмоциональные состояния.
Примечание. Эмоция определяется именно как состояние организма, отсюда 512 различных состояний.

Инстинктивные программы весьма похожи с реализацией самообучающихся программ, например, программ распознавания образов.
Судите сами и попытайтесь абстрагировать данный текст до уровня формального алгоритма.
Этологические сигнатуры нельзя буквально отождествлять с психологическим понятием «архетип», хотя К. Юнг, предложивший этот термин, скорее всего думал именно об них. Во-первых, сам Юнг не вполне однозначно сформулировал то, что он хотел сказать этим термином (может быть потому, что не смог до конца осознать его физическую природу и биологический смысл), а во-вторых последующее употребление этого термина сделало его семантику и вовсе расплывчатой; архетипом сейчас могут назвать решительно любой непонятный феномен в поведении человека, да и не только в поведении.
 Сигнатура, может трактоваться и как паттерн...
Крайне важным для понимания инстинктивных странностей является также понимание принципов их функционирования. Нервные структуры, реализующие сложное врождённое поведение (у млекопитающих это главным образом лимбическая система и гипоталамус), возникли в глубочайшей древности; рассуждать, что-то анализировать и даже просто экстраполировать — для них непосильная задача. Им лишь по силам довольно формально сравнить обстановку с неким известным им схематичным и статичным шаблоном, состоящим из набора сигнальных признаков, которые могут случайно походить на реально требуемые. И возбудить соответствующую эмоцию. Такой шаблон называется сигнатурой, а отдельные ключевые (сигнальные) признаки, из которых она состоит — релизерами.
 Здесь же, если сравнить поведение собаки с конечным автоматом, то ее поведение выглядит "естественно-алгоритмическим"
Собака, облаивающая проезжающие автомобили, ведёт себя вроде бы бессмысленно, однако если знать о сигнатурности работы инстинктивных механизмов, то ничего удивительного в этом не будет. Есть большой движущийся объект — возникает желание погавкать (сторожевой инстинкт). Аналогично у людей бессмысленной может выглядеть, например, немотивированная жестокость.
Согласно - Анатолий Протопопов. Трактат о любви, как ее понимает жуткий зануда.