-
2020-11-30 12:00:49+00:00
Как обещала - пост об одном из методов, которые я использовала в дипломе, чтобы понять пространственные взаимосвязи между пешеходами, инфраструктурой и музеями. На мой взгляд, сильно недооцененный в России метод при анализе социально0экономических показателей регионов.
Global Moran's индекс (Moran's I)- индекс пространственной автокорреляции. Он показывает насколько расположенные рядом с друг с другом объекты схоже себя ведут или похожи друг на друга по определенному параметру - чем больше схожесть, тем выше значение индекса. Значения индекса измеряются от -1 до 1, где -1 - это шахматная доска ( соседи полностью отличаются друг от друга), а 1 - это российский флаг( идеальное разделение на группы с одинаковыми значениями).
При расчетах индекса ориентируются еще на z-score и pseudo p-value - как и в обычных статистических тестах, они показывают вероятность достичь полученного значения индекса в случае его рандомного распределения между регионами. Подробнее написано здесь: https://mgimond.github.io/Spatial/spatial-autocorrelation.html.
Расчет индекса зависит от того как будут определены соседи - в одном случае это могут быть только объекты имеющие общую границу( метод "ладьи") или общую точку ( метод "королевы") , в другом соседями будут считаться все в рамках заданного расстояния, при этом чем дальше они от анализируемого региона, тем меньше их вес.
Moran's I - индикатор того нужно ли включать пространственные факторы в анализ. Это первый этап перед тем как искать локальные кластеры и "горящие точки" или строить пространственные регрессии.
Индекс обычно используют не для оценки распределения самого показателя, а для оценки распределения остатков модели, которая пытается его объяснить. Инсайт: при оценке социо-демографических показателей регионов, например стоимости жилья или уровня безработицы - Moran's I показывает наличие кластеров ( групп) в распределении или, проще говоря, что соседи важны.
Интуитивно понятный пример : средний доход населения российского региона. Очевидно, что доход жителей Подмосковья или Ленинградской области зависит не только от количества рабочих мест или инвестиций в них, но и от дохода жителей столиц - они служат индикатором столичных зарплат, которые получают многие из жителей областей.
В случае моего диплома, индекс (= 0.42) показал , что количество пешеходов зависит не только от инфраструктуры и транспортной доступности, но и от количества пешеходов в соседних районах. Это совпадает со словами датского урбаниста Jehn Geil ,о том, что "люди привлекают людей на улицы". К слову, с включением пространственных факторов в модель ее точность модели ( R^2) улучшилось с 46% до 86%. Для наглядности прикладываю карту остатков линейной регрессии, прогнозирующей число пешеходов, по районам - пространственная взаимосвязь на лицо.
Инструменты для расчета индекса:
1. Geoda (https://geodacenter.github.io/ ) - программа от "создателя"локальной версии индекса. Мощный инструмент для пространственного анализа экономических показателей, не требующий навыков программирования. Ссылка на серию лекций автора: https://www.youtube.com/channel/UCzvhOfSmJpRsFRF2Pgrv-Wg
2. Инструмент в ArcGIS в разделе Spatial Statistics Tools
3. R - Moran.I из библиотеки ape
4. Python - метод Moran из библиотеки pysal
-
2020-11-28 08:19:53+00:00
"Схемотехника" возвращается после долгого перерыва, пока в online.
В Европе проходит ежегодная главная конференция "State of the map", в US тоже и также масса мероприятий вокруг проектов Openstreetmap (в конце октября там проводили Connect).
В России – одна единственная серия митапов "Схемотехника", где участники могут без церемоний познакомиться с OSM, c проектами по открытым геоданным и друг с другом. Регистрируйтесь на https://schemo.ru/
Мы там расскажем про проект Open Urban Mapping
-
2020-11-27 09:35:11+00:00
https://urban.hse.ru/mirror/pubs/share/335358948
-
2020-11-27 09:35:11+00:00
чудесный документ с источниками открытых данных России для аналитики и городского планирования от экспертов из ВШЭ. Спасибо, Дане, за наводку
-
2020-11-26 14:34:29+00:00
Области с повышенным уровнем экономически-активного населения на юге Москвы до и после локдауна. Синим подсвечены музеи
-
2020-11-26 14:33:05+00:00
Продолжая пост про роль культурных объектов в экономике города.
Мне стало интересно может ли это быть правдой и для России, поэтому в рамках диплома я сделала исследование экономической ценности московских музеев для районов, в которых они находятся, фокусируясь при этом не на их туристическом потенциале, не актуальном сегодня, а на их способности привлекать деньги местных жителей.
Для этого я взяла классическую идею урбанистов, что экономически привлекательный район - это " пешеходный" район с высоким уровнем внешнего и функционального разнообразия. В таком районе приятно неспешно гулять, поэтому деньги тратятся чаще и в больших объемах. Опираясь на это, я предположила, что если музей способен усилить привлекательность пешеходного места для экономически активных граждан, то тогда его можно считать экономически полезным для района.
Чтобы оценить по этому параметру московские музеи, я сначала зафиксировала пространственные характеристики участков (радиусом - 175 м) , такие как пешеходность, транспортная доступность и плотность улиц,а потом добавила к ним количество музеев в пешей доступности и оценила, как последний фактор влияет на число пешеходов из категорий "богатые" и "активная молодежь". Идея следующая: эти группы генерируют основной доход для уличных бизнесов, поэтому, если вокруг музея их значимо больше, чем в похожем месте, но где музея нет, то значит, музей способен их привлекать и тем самым повышать привлекательность района для бизнесов
Основные результаты:
1. В целом нельзя ожидать, что любой музей сделает район экономически привлекательным, что ставит под вопрос европейскую концепцию "культурной регенерации" городов. Локальные особенности и инициативы вокруг, т.к. уровень инфраструктуры, застройка, демография крайне важны
2. Все позитивные кейсы были найдены в спальных районах Москвы. Среди них : галереи Шаболовка и Беляево на юге Москвы, Дарвиновский музей на Академической и Еврейский музей в Марьиной Роще. Помимо того, что эти музеи находятся среди жилых домов, их всех еще объединяет большое число проводимых мероприятий и высокий уровень технического развития
3. В радиусе 1 км эффект заметен выше, чем в радиусе 350 м, что говорит о том, что люди покидают локацию не сразу, а проводят какое-то время поблизости, вероятно обедая или посещая магазины, и бизнесы, расположенные по-соседству могут этим пользоваться
4. После локдауна (в июле) в центре, доля экономически активных граждан выросла, но вокруг музеев она выросла значительно ниже, чем в других местах. При этом в спальных районах, наоборот, - позитивный эффект от музеев только усилился + добавились музеи в парках: Коломенское, Царицыно, Кусково. То есть больше "денег" стало оставаться в местах жительства людей.
5. Одной из наиболее вероятных причин позитивная ассоциации музеев с "богатой" аудиторией является более дорогое жильем вокруг этих объектов. Однако это требует дополнительного исследования
На основе этих результатов, конечно, нельзя утверждать, что любой районный более-менее технологически развитый музей служит центром притяжения экономически активного населения, но что такие предпосылки есть это факт. На мой взгляд, задача властей развивать, а не закрывать, такие культурные центры в жилых районах , поскольку это полезно не только для роста социального развития района, но и для его экономики.
О методах и данных будет отдельный пост, если кратко, то центральной моделью была географически взвешенная регрессия. Данные об инфраструктуре были выгружены с datamos.ru, данные о пешеходах получены от компании Locomizer.
-
2020-11-25 08:33:22+00:00
Департамент информационных технологий Москвы разместил на сайте госзакупок тендер о разработке системы, непрерывно отслеживающей активность жителей на территории Москвы и в городских объектах. Внимание на закупку стоимостью 280 миллионов рублей обратили «Открытые медиа».
В рамках «информационной системы мониторинга и анализа интернет-активности» (ИС СТАТС) предлагается создать подробные профили пользователей всех городских услуг. Профили среди прочего будут содержать сведения об оплате услуг, задолженностях, штрафах, например, за нарушение ПДД и правил парковки, данные о проездном документе и социальной карте.
Система СТАТС будет сопоставлять эту информацию с данными, полученными из общественных точек доступа к вайфаю и от операторов связи. Также она станет отслеживать территориальные запреты, «медицинские ограничения» и «лояльность» (что это такое, в документации закупки не уточняется). Кроме того, система будет учитывать данные соцопросов по вопросам здравоохранения, образования, ЖКХ и работы общественного транспорта в отдельных районах Москвы.
https://openmedia.io/news/n3/meriya-zakazala-rasshirennoe-cifrovoe-dose-na-moskvichej-budut-otslezhivatsya-loyalnost-dolgi-i-bolezni/
-
2020-11-23 16:01:04+00:00
Вчера я смотрела британский сериал про политиков Roadkill, и мое внимание привлек одна интересный факт. Только что заняв пост министра юстиции, главный герой - отрицательный персонаж- намеревается выпустить часть заключенных, с тем, чтобы снизить кост на их содержание. В качестве поддержки он приводит цифру ежегодной смертности в тюрьмах, которую посчитал, просто умножив 2 ( столько кейсов было опубликовано в газете на той неделе) на количество недель в году. За такой подход он был сильно раскритикован своими сотрудниками, которые требовали получения достоверных исторических данных и проведения тщательного анализа причин смертей. Выглядит резонно, но правильно ли я думаю, что случись эта ситуация в России мало бы кто в принципе подумал привести цифры в качестве аргумента?
Этот эпизод отсылает к основополагающей идее британской политической системы - evidence-based policy или по-русски
"Доказательной политике", то есть политике решения в которой принимаются на основе анализа научных исследований и предыдущего опыта. Кратко в ней есть 2 основных этапа :
- Appraisal stage - предварительное исследование, проверка гипотез и формирование окончательного решения и его KPI.
- Impact evaluation - оценка процесса и результатов реализации политики. Причем результатов не с точки зрения исполнения бюджета, а с точки зрения выполнения поставленных целей и возможных побочных эффектов
Забавно, что такой подход к принятию решений настолько естественен для Британии, что когда я спросила члена шотландского правительства, приглашенного к нам на семинар "чем это объяснить и почему другие страны пренебрегают анализом", он так растерялся, что отвечать пришлось его коллеге. Ее ответ был такой : политики - лишь одна из составляющих власти в Британии - большую роль играют НКО и социальные институты, поэтому чтобы решения политиков были поддержаны, а это важно для сохранения должности, они обязаны их обосновывать.
Отсюда, видимо, и вытекает такое количество открытых данных по UK. Будь их меньше, это вызвало бы недоверие к властям общественных организаций, которые бы не смогли убедиться в справедливости сделанных выводов.
Конечно, случается, что британские политики "грешат" использованием статистики в свою пользу. Но рано или поздно доблестные общественные организации выводят их на чистую воду, и тогда они становятся темой обсуждения на семинарах по policy making, а их карьере приходит конец. Самый известный британский фейк - это программа бывшего премьер-министра Джеймса Камерона по работе с troubled families. Например, при анализе ситуации он подменил понятия и вместо troubled families, семей с низким финансовым и соц. положением, оценивал troubling families, семьи, потенциально угрожающие общественному порядку. Почитайте, интересно : https://www.centreforwelfarereform.org/library/the-great-troubled-families-fraud.html
В России идеи доказательной политики пытаются двигать ЦПУР (https://cpur.ru/grants/konkurs-grantov-czpur-dokazatelnaya-politika-2020/) и Счетная палата, но учитывая, уровень государственных информационных систем и их открытость даже между собой - пока это параллельный мир..
-
2020-11-23 09:17:39+00:00
Немного культуры в канал.
Проведя полсубботы в Эрмитаже и сейчас возвращаясь в Москву на заполненном на 100% Сапсане, меня не оставляет вопрос : почему именно Московские музеи оказались крайними в ситуации с вирусом? Неужели частота контактов людей в них выше, чем в переполненном кафе или поезде ? Есть подозрение, что дело в слабой оценке властями их экономической и социальной значимости для города. Не беря во внимание Эрмитаж и пару других музеев, привлекающих толпы туристов, в России не принято рассматривать музеи как объекты генерирования дохода, скорее наоборот, — их видят как вынужденную трату на культурное образование жителей. И тем более, никто не ожидает, открывая музей, что он принесет свежий поток денег в район.
На западе же ситуация обстоит иначе. Имея примеры музея Гуггенхайма в Бильбао и культурного квартала в Альберт доке в Ливерпуле, которые дали своим городам вторую жизнь, европейские власти и особенно Британские, рассматривают музеи как потенциальные драйверы экономического развития территории. Перед тем как открывать музей власти просто обязаны сделать его технико-экономическое обоснование (study its feasibility), то есть дать прогнозные цифры, которые покажут ценность инициативы для города. Обычно ожидаемые результаты - это рост числа туристов,новые рабочие места за счет прихода крупных компаний, развитие локальных бизнесов, доп поток инвестиций и, как результат, рост дохода населения.
Самое интересное и спорное - это то, как предлагается измерять эффект. За 30 лет, как эта теория развивается, было сделано несколько попыток - наиболее масштабной была программа CASE Британского департамента культуры, медиа и спорта в 2012 году. она оценивала ценность культурных объектов в Англии на основе опросов и региональной статистики за 2007-2012 по 7 показателям от образования и демографии до размера инвестиций на реставрацию.
К экономическим параметрам (детально здесь ) в них относились :кол-во бизнесов , вовлеченных в деятельность культурных учреждений и их оборот, число рабочих мест в сфере, размер привлекаемых инвестиций, а также число, полученных грантов на поддержку культурного наследия и музеев . Целью программы было дать регионам информационную базу для принятия решений в сфере культуры.
Сам факт того, что к "гуманитарной" проблеме подошли количественно, конечно, здорово. Однако программа встретила много критики, в первую очередь, из-за того, что оценивала только прямой эффект и только в краткосрочной перспективе. Кроме того, агрегированные показатели не позволяли понять роль других локальных инициатив и характеристик в оцениваемых параметрах, тогда как обычно открытие музея - это только часть стратегии города. Например, в том же Бильбао вместе с открытием музея было проведено масштабное благоустройством, улучшено внутреннее и междугороднее сообщение, созданы программы поддержки бизнеса.
Получается, что несмотря на всю "подкованность Британии в оценке всяких локальных решений", методы данной программы статистически были довольно слабыми, а данные верхнеуровневыми. И лучшей альтернативы до сих пор предложено не было.
Учитывая все это, мне стало интересно во -первых, подойти к решению этой задачи, используя пространственные данные и методы, а во-вторых решить ее для московских музеев. О том, что получилось, я расскажу в следующем посте.
-
2020-11-17 11:20:16+00:00
Давно здесь не было новых постов, поэтому постараюсь наверстать упущенное, рассказав, про те задачи, которые решала за последний месяц.
Начну с конца. На этих выходных мы с друзьями участвовали в хакатоне, где на данных банка о транзакциях клиентов нужно было создать продукт для микро-малого и среднего бизнеса. Наша команда решила сделать интерактивную карту которая бы показывала социально-демографический портрет людей в разрезе районов города ( на примере Москвы), а также информацию об успешности прямых конкурентов в этом районе. Использовать такие инсайты, на наш взгляд, можно для развития сети, как в офлайн, так и в онлайн. Если наша перепись не предоставляет такие данные , то почему бы банкам этим не воспользоваться ?
Использованные данные :
1.Из открытых данных : границы районов Москвы, кол-во food/non-food магазинов, численность населения района
2. Данные банка : транзакции по клиентам с расшифровкой категории магазинов и названием сети
Технологии:
Python - здесь мы связывали клиентов и бизнесы с локацией, считали метрики по клиентам и делали их кластеризацию; строили прогнозные модели по оборотам в районе
CartoDB - на нем рисовали frontend - интерактивную карту.
В этом кейсе, хочу остановиться на двух пунктах:
1. Связка клиентов, магазинов и районов.
У банка не всегда есть фактический адрес проживания клиента, как и адрес платежного терминала, поэтому чтобы понять, какие из них находятся рядом с друг с другом мы использовали граф, в котором вершины - это клиенты и точки платежей, а связи - это транзакции в них (чем больше транзакций в месяц, тем крепче связь).
Логика здесь следующая : если два человека часто ходят в один продуктовый, значит они живут недалеко от него, а если один из них еще часто ходит в аптеку, значит она находится недалеко от продуктового. Так, разделив граф на сильно связанные communities, мы получили группы объектов, которые привязаны к одной локации. Чтобы понять какой, достаточно иметь адреса для пары объектов и например выбрать точку между ними. Это будет центр кластера, от которого мы зададим нужный нам радиус, так чтобы такими локациями покрыть всю территорию города.
2. Использование CartoDB. Здесь я должна поблагодарить @alexradchenko за наводку в чате канала на этот чудесный сервис.
Во-первых, у них есть огромное количество видео и текстовых материалов практически под любую компанию. Например, нам очень помогло в плане идеи это видео, где DS сети британских продуктовых, рассказывают как они делают разметку по регионам на основе соц-демо портрета жителей и сезонности покупательского поведения. Поэтому если у вашего бизнеса есть проблема и она связана с необходимостью анализировать пространства ( логистика, клиенты, недвижимость, развитие сети и т.д.) , почти со 100% в их материалах вы найдете готовое решение.
Во-вторых, он не требует сверх навыков программирования. Имея только 5 часов на создание карты, предобработанный в питоне датасет и знание html на уровне 3 уроков информатики, с помощью этого сервиса и готовых примеров, мне удалось создать пусть "стремную", но информативную карту. Надо сказать, эта карта неплохо смотрелась на фоне явно готовых решений других команд хакатона и совместно с предиктивной аналитикой моего гениального сокомандника принесла нам 3-ье место.
Вывод: очень рекомендую попробовать тем, кто ищет инструмент для визуализации на картах.