-
2022-09-27 08:21:27+00:00
Не ожидала, что так быстро, но группа набрана😊 Можете попробовать записаться в резерв на случай, если кто-то передумает до конца недели. Планирую, что будут еще запуски курса, плюс всегда есть опция договориться на консультацию в личке
-
2022-09-27 06:00:05+00:00
Всем привет!
Открываю регистрацию на тестовый поток онлайн-курса по Пространственному анализу на Python.
Страница курса: http://geopython.tilda.ws/
Количество мест: 15. Доступ получают первые 15 зарегистрировавшихся. При наборе меньше 7 человек курс не состоится
Дата окончания регистрации: 30 сентября.
Старт курса: 3 октября
Понимаю, многие из вас решают сейчас пространственные задачи другого характера - желаю, чтобы все получилось🙏. С другой стороны, меня все-таки убедили запустить курс именно сейчас, потому что в условиях изменений, как никогда, актуально получать недостающие для работы знания и осваивать скилы, которые востребованы в любой стране мира.
С моей стороны, я постараюсь сфокусироваться, в-первую очередь, на тех практических навыках и знаниях, которые легко адаптировать для решения рабочих задач
-
2022-09-09 09:49:55+00:00
О чем пост: Выше написала про методику, теперь пример использования данных Meta для анализа потоков беженцев из Украины. В статье анализируют куда и почему направились основные потоки.
Что в исследовании хорошо:
1.Попытка честно оценить изменения в населении и снизить влияние временных притоков беженцев, например, следующих транзитом, на него. Для этого они а) определили бейзлайн - население 2020 года по данным Мета) , б) считают среднее по неделям, а не по дням в) смотрят на относительные изменения вместо абсолютных
2. Весь анализ построен в формате: гипотеза - проверка ( через графики или метрики). Это сильно облегчает чтение статьи, учитывая, что авторы задают в ней несколько вопросов, несильно связанных между собой
3. Помимо количественных изменений, авторов интересует изменение в структуре. Как меняются возрастной и гендерный состав, а также уровень безработицы с притоком/оттоком беженцев. Для этого они используют данные Евростат (например, но формат csv)
4. Авторы пытаются( на мой взгляд некорректно) методами регрессионного анализа найти факторы, объясняющие размер потока мигрантов в каждую страну. Некоторые из выводов :
-чем моложе население в городах, тем выше уровень притока мигрантов ( исключение составляет Италия)
-чем больше в стране украинская диаспора, тем выше уровень притока мигрантов
Что в исследовании странно:
1. Абсолютно упущены факторы дистанции и общих границ между странами, а в идеале еще и размеры авто- и жд сообщения.
2. Как следствие первого, авторы некорректно указывают на влияние текущего числа резидентов из Украины в стране на число беженцев. Принебрегая фактором дистанции и доступности локации из Украины авторы совершают типичную ошибку, путая корреляцию с причинно-следственной связью. То,что в Польше больше всего беженцев, связано в первую очередь с близостью страны, а не с тем, что там живет много украинцев - это важный фактор, но он сам является следствием из близости.
В данном случае, чтобы правильно оценить значимость влияния числа украинского населения в составе страны на миграцию нужно было делать регрессию не из одного параметра, а из нескольких и смотреть на статистический вклад этого признака - сила явно была бы меньше указанной
3. Меня несколько подмораживает, когда говорят об изменениях или влиянии ( impact) чего-то, не делая статистического подтверждения. Не зная уровень исторической миграции Украины в страны Европы от года к году, нельзя говорить про то, насколько серьезны изменения в 2022 году ( идея, что 3% прироста для Турции могут быть значительнее 10% для Польши). Здесь уместно было бы сделать difference in difference analysis ( тут можно посмотреть). Идея: есть тренд и его прогноз, насколько от него отклонились. Ну или как минимум t-test, чтобы убедиться, что это не сезонная динамика.
4. Напрашивается для сравнения городов сделать тест на пространственную автокорелляцию ( Global Moran's и local moran's) и посмотреть, верно ли, что помимо доступности и соц-дем факторов действует правило "иду за толпой". Еще в таком анализе интересно найти непопулярные районы , расположенные среди самых популярных и разобрать причины, почему беженцы их избегают.
5. Нет обсуждения limitations данных. Используя данные пользователей facebook, авторы не обговаривают, что выборка может быть смещенной, как минимум, на возраст и доход.
Предполагаю это исследование - только начало и будет еще много более интересных и методологически выверенных исследований в этой области.
-
2022-09-08 14:56:50+00:00
FACEBOOK DISASTER MAPS. Инструкция от Meta по обработке данных о перемещениях.
О чем пост: пост про то, как собирают карты катастроф Facebook. Их основная идея : отразить на карте изменения в населении и качестве связи, произошедшие благодаря катастрофе. Карты находятся в открытом доступе. Данные доступны по запросу тут.
Почему: источник актуальный, потому что их уже во всю используют для оценки перемещений беженцев из Украины (например) . При этом их методология может служить учебником по тому, как корректно делать выводы на геоданных - есть и про стат значимость и про набор репрезентативной выборки.
где посмотреть: Meta выпускает 5 типов карт. Конкретно, в оценке последствий Украинского кризиса используется тип "Displacement" ( куда переместилось население затронутое кризисом) , поэтому ниже приведу этапы расчетов только для этого типа. Его методология описана здесь, про остальные и общую идею читать тут ( либо дождаться моего курса😁)). Интересно, что с 2019 по 2020 методология для этого типа изменилась, причем математически она стала проще, но добавили новые фильтры - изначально не было фильтра на ночное время.
Методология
Подготовка данных .Общее для всех типов карт
1. Выбор подхода для определения локации : либо используют плитку, либо фактические регионы
2. Устанавливаются временные и пространственные границы - что есть место катастрофы, что считаем временем до катастрофы, что временем после. В последней версии для displacement используют только ночной интервал
3. Обеспечивают защиты персональных данных . Убираются районы с сигналом меньше 10 человек, делается пространственное сглаживание и добавляется небольшой шум, чтобы избежать возможности идентифицировать перемещения людей из малонаселенных районов
Формирование выборки юзер - домашняя локация
1. Определяют "дом" пользователя до катастрофы. Берут только тех, у кого в течение 15 дней есть геосигнал, смотрят ночную локацию - откуда чаще всего был ночной сигнал. Из самых частых берут последнюю.
2. Определяют норму перемещений для человека : какое среднеквадратичное отклонение у расстояния от дома и времени вне дома ночью за последние 30 дней. Нужно, чтобы убедиться, что человек действительно "переместился", а не уехал на ночь в гости
3. Проверяют, что человек был дома или в пределах стандартного отклонения во время катастрофы
Определение типа перемещения
Пользователей разделяют на 3 группы : перемещенные, неперемещенные, неизвестно.
1. Во-первых, смотрят на частоту сигнала. Если есть данные за меньше, чем 7 из 14 дней, то статус "неизвестно".
2. Во-вторых, на удаленность сигналов от дома : чтобы быть "перемещенным", юзер должен находится 3 из 14 дней дальше 2 км и 7 из 14 на расстоянии> 2* средняя дистанция от дома. Если одно из условий нарушается, то юзер считается "неперемещенным"
Определение долгосрочного типа перемещения
Каждый день Мета проверяет гипотезу: а не поменялся ли статус перемещения у человека для групп "неизвестно" и "перемещенные". Если в течение 3 дней, обнаружена смена статуса, то человек переходит в новую группу. Соответственно переходя из "перемещенных" в "неперемещенные", он меняет статус на "вернувшегося".
-
2022-09-02 07:45:12+00:00
Сегодня я впервые пишу про что-то, не имеющий прямого - на первый взгляд - отношения к "городам и данным". Я хочу порекомендовать канал https://t.me/productpath и ее автора, Асю, продуктового менеджера образовательных проектов.
Как вы уже поняли, я готовлю курс по геоанализу в Python, и у меня в голове миллион и один вопрос, к которым жизнь,а точнее мое техническое образование меня не готовило. Ася разложила мне все по полочкам: от выделения ЦА до организации процесса обучения - и вуаля, миллион превратился в единицы, за что ей спасибо:)
А теперь поясню, почему только на первый взгляд считаю управление продуктом темой далекая от темы канала. Дело в том, что в основе подготовки любого продукта, будь-то онлайн-курс, элитный ЖК или градостроительная норма, лежит предпроектное исследование.
И от его дизайна напрямую зависит качество финального проекта. То, какие гипотезы вы сформулируете перед исследованием, какие вопросы подготовите для респондентов, как будете их искать - от этого будет зависеть, насколько полной и честной будет картина по вашим клиентам и проблеме ( если вы, конечно, не ВЦИОМ, и у вас не другие цели).
То есть, например, если ваша задача предложить решение городской проблемы, хорошая подготовка позволит вам, а ) проверить и уточнить истинную проблему, б) выделить аудиторию,на которую эта проблема больше всего влияет в) выяснить, какого решения ждут разные сегменты этой аудитории
Вобщем, для меня эта область новая,поэтому пошла читать канал Аси и выбирать только самый полезный контент для курса:)