?

Log in

No account? Create an account

Обсуждается создание сайта
Веселый
chispa1707
Речь - о специализированном сайте, как минимум, указывающем на ресурсы основных исследователей, а в идеале, и объединяющим их. Человек, создающий сайт, выглядит вполне непредвзятым; затраты на создание целиком берет на себя, каких-либо условий не выдвигает. Вопросы пока обсуждаются большей частью структурные и технические, пока в закрытом режиме, - это самое начало.

Что думаю на это счет я?
Мне нравится сама эта возможность. Лично я хотел бы время от времени просматривать свежие новости по всему спектру исторических исследований.
Сайт не должен дублировать авторские сайты. Ни один автор не откажется от своей территории, и это ожидаемо.
Сайт должен иметь удобную архитектуру, позволяющую найти ссылки на любое направление - быстро.
На сайте должны быть, как минимум, краткие аннотации на каждую работу, предложенную каждым исследователем.
Возможны и полные публикации, но именно этот вопрос обсуждать рано, пусть вызреет структура.

Жду ссылок на интересных авторов.
Безусловно требуется понимать, насколько нас много, и какие направления исследований в тренде.

ТЕКУЩЕЕ:
Спешно пересматриваю базу; индексы, на мой сегодняшний взгляд, плохо приспособлены к матобработке.
Формирую список идей, как прийти к финалу. Меня достали промежуточные итоги; мне нужен результат.
***
Правлю базу и невольно натыкаюсь на имена столпов науки. конец 19 и первая половина 20 веков это выходцы из Восточной Европы: из Венгрии (много), Словакии, Польши... Если челнок ткацкого станка модифицировать, нужен британец. а чтобы синхрафазотрон разработать, - без условного венгра или румына - никак. И масштабы этой статистики вызывающе велики. Вывод: именно в Восточной Европе долго оставалось что-то от прежней модели образования плюс именно Восточная Европа - некий эпицентр развития технологий. Иначе феномена не объяснить.

Греческая технология на Амуре. (лучшее - коммент под катом)
Веселый
chispa1707
https://oko-planet.su/history/historyriddles/457535-tainstvennaya-drevnyaya-civilizaciya-v-dalnevostochnoy-tayge.html



Читать дальше...Свернуть )

Текущее
Веселый
chispa1707
Требуется изобрести работающий микс из уже существующих подходов к обработке данных.

1. Число совпадений событий разного типа в одном году дает представление о родственности
2. Можно разбить события на группы - родственные внутри и разные меж собой. Это укажет на разные исторические этапы
3. Можно сопоставить эти группы со сдвигом в 1-6 лет, это укажет на причинно-следственные связи. Я это делал вручную с катастрофами; результат прекрасный
4. Можно вывести число совпадений событий через известные сдвиги, например, в 59 лет. Сделал. Куски хронологии четко очерчены
5. Можно просмотреть плотность точных дат (до дня). Это указало мне на начало наблюдений за вулканами - 1840 год, но сфера применения подхода заведомо шире
6. Можно сделать микс из индекса места и индекса типа события, тогда повторы вообще исключатся.
7. Вообще число возможных миксов такого типа, как минимум, - 11, и каждый имеет особенности.

Нам требуется совместить, образно говоря, "перпендикулярные" подходы, типа совпадения родственных индексов типа события и сдвига в 59 лет. Но этот взгляд - очень общий. Нам надо представить себе главное - каким должен выглядеть итоговый результат. И все срастется.

Обновленная База данных и уточненный Техфайл
Веселый
chispa1707
База данных на 16 октября 2018 года: https://my-files.ru/thnl5j
Техфайл с учетом последних исправлений: https://my-files.ru/q5jxth

№ базы это:
1 - Общие
3 - Изобретения
4 - Катастрофы
5 - Суэцкий канал
7 - Водные системы
8 - Эмиграция
9 - Не обработано

Агент это страна, активная в данном районе, например, Британия в условной Кении.
Если агент - местный, то речь идет о революции или оборонительной войне.
В техфайле индексы места даны в четырех вариантах:
- со штатами (областями, землями, провинциями) там, где они указаны;
- то же, но унифицированное до уровня страны;
- то же, но унифицированное до уровня региона (например, Западная Сибирь);
- то же, но унифицированное до уровня части света (например, Центральная Америка).
Это все имеет смысл, если хочется глянуть, как все обстоит по большому счету. В Африке, например, мы не обнаружим изобретений, и это чрезвычайно важно, поскольку показывает, что историческое развитие движется асинхронно. У колонизатора одна логика исторического развития, а у колонизуемого - другая.

ОСНОВНОЕ:
Вот эта информация - все, что у нас есть. Принципиальных улучшений уже не будет.
Хронологию придется восстанавливать из этого; из того, что есть. И это пора делать.

Техфайл для себя: https://my-files.ru/k3dfa0
Метки:

Последние солнечные деньки
Веселый
chispa1707
Требуется собрать семян полевых цветов (аналог подмаренника). У дома доминирует флора строительных пустырей, а километрах в трех есть чудесные полевые цветы - неприхотливые и великолепно цветущие по осени. Есть смысл частично сменить во дворе биоценоз. Но времени осталось в обрез: если к субботе семена созреют, все получится, а если не успеют, - я даже не знаю, как быть. Синоптики обещают перемены.
Похоже, у земли, по которой я гуляю, появился собственник. Печалька. Прежде на 15 км пешего пути можно было не встретить никого. Теперь на полпути ухожу к трассе, - там все общее.
Есть и хорошее: маргаритки мои не просто прижились, а стали на своем газоне  доминантой.
Впереди - укоренение глицинии. Интересно: в открытом грунте ей раз в 10 лучше, чем в специально ей выделенном огромном ведре. Воля она и есть воля.


Одна тех.проблема решена
Веселый
chispa1707
Число совпадений индексов удобно считать формулой СУММЕСЛИ. Пишут, что она тянет лишь 255 строк, но на практике она потянула 2045 строк, - я так понимаю, Эксель-2007 такие объемы тянет. В результате я получил намного больше, чем рассчитывал: учтены даже количественные значения. Причем, здесь у меня количественные значения не простые, и повторов нет: если какое-то событие произошло 14 раз в году, это, на деле означает, что оно произошло на 14 разных территориях - странах или штатах.
Рабочий файл выложил здесь: https://my-files.ru/qf70x8

Нет никаких проблем и с тем, чтобы получить то же самое со сдвигами: то, на что по прежней методике мне требовалось 5 лет, считается теперь за 15 минут.

Хронология разных типов событий теперь легко поддается количественным оценкам.
Осталось решить проблему сортировки индексов на родственные группы. Можно сделать и руками, но Экселем лучше; с ним труднее спорить; ему не скажешь "сам дурак".

Фантастика!

Еще раз поясню что случилось. Мы теперь можем дать количественную оценку связи упоминаний например, о цехах и гильдиях с упоминаниями, например, о монетных дворах. И прямо сейчас такие количественные оценки уже есть для 616225 пар имеющих историческое значения типов событий. И, да, это поддается дальнейшей обработке.

Техфайл
Веселый
chispa1707
Для желающих лично оценить масштабы сортировочной проблемы, выкладываю техфайл.
Эксель-2007. https://my-files.ru/qwyi0r
Данные позже 1852 года можно и удалить, там все ясно.

Первичная задача: установить число совпадений разных индексов год в год.
Позже можно опробовать и со сдвижкой в 1-5 лет.
Здесь у меня пять вариантов: индексы типа события в разных сочетаниях с индексами места.
"Штаты" - территории учтены до уровня штатов (областей), там, где они указаны.
"Регионы" - территории укрупнены до регионов типа "Западная Сибирь", это тоже имеет свой смысл.
Если бы сортировка шла быстро, я бы обкатал все пять вариантов.
***
Сам я сейчас усиленно поправляю индексы в базе.
***
Размещаю свой рабочий файл здесь: https://my-files.ru/em9hqo
Все получилось, но этот путь ужасно трудоемкий.

Текущие проблемы
Веселый
chispa1707
Вывел результат на график. В результате обнаружил новый принципиальный момент: ипотека и сберкассы, однажды появившись, более не прекращаются, и граница исторического этапа сползает в настоящее время. Это доставляет трудности, но в целом, очень хорошо, поскольку появляется понимание, как именно следует изменить индексацию базы. Начинаю менять.

Когда будет решен вопрос с обработкой на порядок больших массивов (не 85, а 879 индексов), введу индексы места события, увеличу число индексов на порядок и получу заметно более точный результат. Удовлетворен.


О предстоящих технических задачах
Веселый
chispa1707
Пост для желающих знать, чем я озабочен.
Предстоит следующий набор работ:

Вот есть у меня в Экселе табличка:
1-й столбец - год
2-й столбец - двухбуквенный индекс места события
3-й столбец - двухбуквенный индекс типа события
Индексы места можно пока не рассматривать. Оставлю на сладкое.
Типов событий у меня сейчас 879.
Свидетельств в базе - 145 тысяч строк

Первая задача.
Требуется выяснить, например, как часто разные события встречаются в одном и том же году году. Для 85 индексов я это в Экселе сделал, но для 879 мне не потянуть. В итоге должна получиться табличка 879 строк на 879 столбцов, а на пересечении в ячейке - цифра, говорящая, сколько раз индекс столбца встретился в одном году с индексом строки.
Если все получится, то для тех же 879 индексов сверяем совпадения со сдвигом в год, два, три, четыре и пять. Но это - задача-максимум.
Вторая задача.
Берем эту таблицу 879 на 879, и выводим процент совпадений. Например, если индекс столбца всего встречается 100 раз, а с выбранным индексом строки он встретился 14 раз, то частота совпадений именно с этим индексом - 14 %. Это сделать легко.
Третья задача, важная. Некоторые индексы будут тяготеть один к другому, встречаться часто. В итоге индексы, на деле, составят несколько групп с высоким процентом совпадений внутри группы и с малым процентом совпадений с индексами из других групп. Число этих групп отразит число разных этапов развития цивилизации.
Четвертая задача несложная. Я добавлю в базу столько столбцов, сколько вышло групп-этапов, и в каждом столбце размещу те индексы, что относятся к выбранной группе - напротив тех дат, которым они отвечают. И моя база данных покажет, какие блоки данных каким иным блокам родственны, и как именно сделан хронологический подлог, и как, соответственно, его исправлять.
Никак не могу привыкнуть к состоянию победы. Словно не со мной это случилось )

Результаты 2
Веселый
chispa1707
Как сделать точную математическую сортировку, пока не придумал, а потому поступил нагло: выкрасил самые малые и самые большие значения таблицы в разные цвета и вручную их разделил. Результат: я получил четко отделенные один от другого два этапа исторического развития цивилизации. В традиционной хронологии они оба идут вперемешку с 822 года по 1852 год, а я уже вижу, что есть что. События каждого этапа тесно меж собой связаны. Я и так уже знал, что это разные этапы, но теперь это подтвердилось математически. Подход оказался работающим. В принципе, хронологию можно уже начинать восстанавливать. Спешить не стану, но принципиальных препятствий больше нет - только технические. Выложу результат под катом.

Читать дальше...Свернуть )