?

Log in

No account? Create an account

Предыдущий пост Поделиться Следующий пост
Об алгоритме восстановления хронологии
Веселый
chispa1707
Суть дела: обязана существовать хронологическая связанность событий разного типа:
- сначала к городу подступает армия, и лишь потом заводят речь об откупе от штурма;
- сначала вводят новые юридические нормы, и лишь потом заводят речь о выкупе ленов;
- сначала инквизицию вводят, и лишь потом она приступает к сожжениям еретиков.

Поскольку в каждом случае мы видим два этапа единого процесса, она происходят почти одновременно, местами с разницей до года. То есть, что в половине случаев связанные процессы будут зафиксированы в одном календарном году, а в половине случаев - в двух сопредельных, и второй этап не может наступить раньше первого.

Если сопоставить все индексы со всеми в одном году и в двух сопредельных, будет получена выборка с числовыми значениями, в целом, верными. В тех местах, где итоговые правила последовательности соблюдаться не будут, наиболее вероятно, расположен "шов" между разными массивами. Я, к примеру, держусь гипотезы о 6-летнем шаблоне, и эта гипотеза подтвердится, если "швы" лягут каждые 6 лет. Однако, на деле, где швы лягут, там и будет реальная граница. Те же блоки данных, в которых все правила будут уверенно соблюдены, можно будет сопоставить и точно сказать, которые из них логические дубликаты друг друга.

Задачу можно и укрупнить: ввести индексы регионов, сверить не только сопредельные годы, но и разделенные 1, 2, 3 и так далее годами (лучше, если не более 5). Можно сверять сам факт события, а можно учитывать их общее число в году. Каждая новая порция сверямых данных лишь добавит точности.

Я этот путь уже прошел до конца - успешно. Помеха: трудоемкость. Я сверил массив по одному индексу типа событий, а таковых в моей базе 879, и полная выборка должна составить 879 в квадрате вариантов по всей шкале из 2,5 тысяч дат. Это порядка 2 млрд ячеек, и такой объем Эксель заведомо не тянет. Плюс, моими методами на это надо лет пять )))

Потребуется оптимизация, а еще лучше - новые способы сортировки. Но главное здесь то, что этот подход, вне всяких сомнений, вполне рабочий. Хронология действительно восстановима математическими методами.

  • 1
"сначала инквизицию вводят, и лишь потом она приступает к сожжениям еретиков."
А почему не наоборот? Вначале, кто то объясняет кто такие еретики, почему их нужно сжигать и начинает это делать.
Затем власти институционализируют движение низов и организуют инквизицию, и люди ранее сжигавших еретиков становятся инквизицией. А может и до этого так себя называли, зачем придумывать новое слово.
Я еще с истории статистики СССР эпохи Сталина помню, вначале низовые руководители что то тихой сапой вводили, а потом решением Верховного совета/Съезда Советов СССР это все узаконивалось. Почему бы тоже самое не предположить для других архаичных образований?

А нет разницы в обработке. Я рассматриваю оба варианта очередности для каждой пары индексов. Неверная очередность дает отрицательное значение.

осознание истории

Андрей, я написал короткий текст про осознание истории здесь https://thinking-tools.livejournal.com/66990.html
Надеюсь, что обсуждение текста вызовет к жизни развертывание и углубление материала. т.е. пока обозначил главные реперные точки.

Re: осознание истории

Прочел. В целом понятно, хотя порой у меня есть сложности с пониманием терминов )
На мой взгляд, упоминание меня в тексте слабо оправдано, главным образом, потому, что я как-то внутренне дистанцирован от всего этого понятийного блока. Точнее объяснить не могу.

Re: осознание истории

я недавно закончил свое расследование на тему хронологии, немного с другой стороны.
Мне была бы интересна ваша точка зрения, и ваших читателей, и любые комментарии, особенно критические.

предупреждение:Я думаю, что некоторые люди после получения информации не смогут вернуться к общепринятому взгляду на историю, со многими последствиями.


Часть 1
https://lipot.livejournal.com/1798.html
Часть 2
https://lipot.livejournal.com/2119.html


Re: осознание истории

За этим материалом ощущается большой труд, но изложено слишком уж конспективно.
А подробнее это где-то расписано?

Re: осознание истории

пока нет. Не хотели бы попробовать распределить собранную вами подробную историческую информацию в соответствии со временной шкалой таблицы и посмотреть что из этого получится?

Re: осознание истории

Картинки нечитаемы.

Re: осознание истории

если вы о таблицах в тексте - это промежуточные логические шаги, рабочие варианты для того чтобы проказать как получилась последняя таблица-https://lipot.livejournal.com/1441.html

Как я понял, у вас есть своя система хронологии, намного более сложная чем рассматриваемая мной. Под свою систему хронологии вы собираете исторические события, чтобы потом из них сложить полную картину.

Я подумал, возможно, было бы интересно попробовать сложить собранные вами исторические события на базе таблицы из моего сообщения, и посмотреть какая получится полная картина в результате.

признаюсь подобные посты вызывают ощущение дежавю. простите за возможное хамство, но все ваши теории о шаблонах мало доступны интересующемуся обывателю. в целом согласны. все ждут от вас движения на новые горизонты. чем представляется общая историческая картина, либо точечная аргументированная критика офиц. хронологии.

на мой взгляд до уровня математической безупречности взлететь невозможно. даже если будет совершено невозможное, вряд ли это будет принято безусловно.

извиняюсь за возможное хамство.

Не извиняйтесь, Вы не нарушили никаких границ.
На деле, описанное мной этим постом - завершение примерно 6-8-летних поисков алгоритма. В своей правоте уверен, и даже имею черновые результаты со зверскими по силе последствиями.

Когда начну расписывать, многое станет понятнее - гарантированно.
Да, читателя следует щадить, я знаю. В меру сил щажу.

С Big Data очевидно придется начинать работать на PostgresQL https://www.postgresql.org/
Написать стандарты для открытого проекта
Поставленная задача решится в определенном объеме попутно, а за 5 лет пытливые люди такого насопоставляют о чем и не мечтаем

Big Data позволяет обрабатывать большие объемы?

Big Data это такой бренд, фигурально выражаясь. Броский заголовок с не совсем определенным смыслом. За ним стоят конкретные и разные технологии. По факту, может быть и никакой "бигдаты" не нужно, обычной "даты" хватает.

Нужен расписанный по шагам четкий план, что нужно делать на каждом шаге. В элементарных действиях, без крупных мазков. И обязательно без экселевской специфики и терминологии, это будет сильно мешать. Что-то вроде :
- берем первый год из списка, n
- подсчитываем количество событий по каждому индексу и региону
- подсчитываем то же самое по году n+1 и n-1
- производим какое-то, непонятное мне сейчас сравнение
- результат записываем в столбец (столбцы) с названием название_столбца
-------------
- ищем в итоговом столбце (что?)

После проработки этого алгоритма и нужно будет под него искать инструмент, а что за инструмент уже вторично, может эксель справится с минимальной автоматизацией.

Нет-нет... описанный Вами сейчас подход строго математический, этим путем я никуда не пришел. Я думаю, что смогу описать то, чего хочу. Сначала покажу первые результаты, а потом сформулирую задачу.

Главное то, что вчера я этим способом решил задачу восстановления хронологии. Действительно. Процесс поисков завершен.

Edited at 2018-10-12 07:27 (UTC)

Никакой это не математический подход, обычный единственно верный.
Результаты нужны? Их воспроизводимость нужна? Значит нужно описание процесса, что и как делается. Есть описание - будет результат, положительный или отрицательный это другой вопрос.

Рекомендую по диагонали просмотреть страницу 53 в этом издании:
http://webirbis.kgmu.kz/irbis64r_11/books/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D0%B4%D0%BE%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B5%D0%B4%D0%B8%D1%86%D0%B8%D0%BD%D1%8B_%D0%93%D1%80%D0%B8%D0%BD%D1%85%D0%B0%D0%BB%D1%8C%D1%82_%D0%A2.pdf

Книга называется "Как читать научные статьи". Интересное еще там со стр. 92.

Я поясню.
Я смотрю, какова вероятность того, что за событием А последует событие Б. В каждом году бывает до 50 и более свидетельств, с 50-80 и более типами событий. И каждый требуется сверить с каждым, чтобы найти является ли хронологически наступление события Б следствием того, что перед этим случилось А.
Вчерновую у меня все получилось, но по небольшой выборке. Имеет смысл сделать то же самое со всем массивом. И, важно, я чувствую, что этим способом возможно восстановить подлинную хронологию - именно потому. что успешно разыскиваются причинно-следственные связи.
Я чуть позже распишу то, что уже получил. Чрезвычайно любопытные результаты.

Определение "вероятность" подразумевает расчет вероятности. Вероятность совместного наступления двух независимых событий равна произведению вероятностей двух этих событий.
Для зависимых событий все сложнее, так что имеют значение и такие нюансы.

Изложу простыми словами - постом.

  • 1