-
2021-02-27 10:15:55+00:00
Всем привет!
1-6 марта Инфокультура отметит Международный День открытых данных 2021.
Накануне Дня открытых данных, с 1 по 5 марта, проведем серию практических мастер-классов по работе с открытыми данными в онлайн. Приглашаем участвовать всех желающих 🙂
— 1 марта, 18:00, мастер-класс дата-журналиста Алекся Смагина «Вскрываем декларации. Как при помощи регулярных выражений привести Word’овскую табличку к пригодной для анализа форме».
— 2 марта, 18:00, мастер-класс дата-сайентиста Дмитрия Сергеева «О чем говорят депутаты Госдумы? Анализ текстовых данных на Python».
— 3 марта, 18:00, мастер-классы по работе с геопространственными данными и картами для новичков и профи: создание карты с помощью unfolded.ai и затем краткий обзор OS-фреймворков для сетевого анализа городской среды на примере задачи построения изохрон.
— 4 марта, 15:00, мастер-класс по поиску открытых данных от DataMasters.
— 5 марта, 16:00, мастер-класс «Российская официальная статистика: как сделать работу с данными удобнее, а данные — понятнее?».
— 5 марта, 18:00, мастер-класс «Визуализация данных в ObservableHQ». После мастер-класса состоится подведение итогов Moscow Dataviz Awards 2021 — ежегодной международной премии за достижения в области инфографики, визуализации данных и дата-арта (moscowdatavizawards.com).
Программа и регистрация: https://opendataday.ru/msk. Присоединяйтесь!
-
2021-02-11 06:31:36+00:00
Сегодня еще один проект нашего студента - Артема Панкина
Он подготовил карты, где мы изучали плотность жилья и насколько плотность влияет на пасспоток. Основная гипотеза заключалась в поиске мест, где число пассажиров на остановке значительно превосходит число жителей вокруг. А значит требуется дополнительный анализ и усиление работы транспорта. Часто такие полигоны лежат рядом с метро или другими точками притяжения, но чаще есть другой источник спроса, про который перевозчик и комитеты по транспорту не знают.
Отношение числа пассажиров к числу жителей:
https://studio.unfolded.ai/public/daae3cad-087a-425e-a752-ad4950ed0782
Плотность населения:
https://studio.unfolded.ai/public/6f13c7b1-4a20-4adf-aea5-12fa4b241a9f
Питер в целом очень интересный для геоанализа: большое число открытых данных и масштаб города с одной стороны, огромные проблемы и потенциал развития наземного транспорта с другой. Даже невооруженным взглядом видны огромные районы высокой плотности, вообще не покрытые автобусами. Странно.
-
2021-02-10 14:57:37+00:00
Для тех, кто хотел бы освоить ГИС — в рамках Дистанционной программы Высшей школы урбанистики им. А.А.Высоковского пройдёт онлайн-курс «Геоинформационные методы анализа городских данных». Егор Котов приглашает на онлайн-презентацию курса 11 февраля в онлайне:
https://urban.hse.ru/announcements/440588837.html
-
2021-02-09 13:43:39+00:00
Для тех, кто интересуется data science и анализом данных рекомендую подписаться следующие каналы, авторы - мои коллеги из Сбербанка, люди, знающие про большие данные не понаслышке) :
@start_ds Роман (@RAVasiliev) делится полезными материалами для подготовки к собеседованиям в ДС
@dataviznews Никита (@nikitarokotyan) рассказывает о визуализации данных
@botka_chronics Алексей (@shpacman) о математике в ДС
@moir_x Мария ( @izomeraz4 ) дата инжениринг , математика , ДС
@data_events Николай (@NikolayKrupiy) держит в курсе ДС (и других data-тематических) событий в Москве и онлайне
@sv9t_channel Святослав ( @IggiSv9t) : лучший канал в тг по ДС, графам , визуализациям
Места общего сбора : @sberloga и @sberlogajobs
-
2021-02-07 18:41:45+00:00
word clouds для 2 и3 кластеров
-
2021-02-07 18:41:16+00:00
word clouds для 0 и 1 кластеров
-
2021-02-07 18:40:40+00:00
Карта кластеров на основе открытых данных о расположении магазинов
-
2021-02-07 18:39:17+00:00
#spatialmodels
На днях увидела интересную работу(https://ieeexplore.ieee.org/document/8406847), где довольно простым способом авторы автоматически выделяли функциональные зоны в городе. Имея под рукой данные по инфраструктуре Москвы с data,mos.ru захотела повторить подобный эксперимент.
Алгоритм следующий:
1. Выгружаются списки POIs для каждой локации, все слова нормализуются и удаляются "стоп-слова". На первый раз взяла только данные магазинов .
2. Вычисляется матрица tf-idf (https://ru.wikipedia.org/wiki/TF-IDF). Пример на python здесь
3. С помощью алгоритма кластеризации ( для пробы взяла k-means) локации делятся на кластеры
4. Для каждого кластера составляются облака слов, показывающие самые частые словосочетания
5. Кластеры отображают на карте разными цветами
.Заранее скажу, что это пробная попытка, цель которой - увидеть насколько хорошо можно выделять зоны в Москве ( в пределах МКАД), не погружаясь в детальный анализ и обработку "грязных" данных.
Хотя, безусловно, это может быть первым шагом в задачах не соответствия инфраструктуры потребностям жителей, например, в обнаружении, так называемых, "food deserts" - мест без продуктовых магазинов в шаговой доступности. Также для бизнеса - это быстрый способ оценить уровень конкуренции в определенном районе.
Результаты анализа:
- Карта с кластерами сформированными на основе наименований магазинов. Единица оценки - гексагон системы H3 радиусом 174 метра.
- Облака слов, позволяющие понять специфику каждого кластера из магазинов- показывают 100 самых частых слов в списке POIs.
Выводы:
1. Территория делится на 4 кластера - это оптимальное число, определенное "методом локтя"
2. Порядка 8% территории ( кластер №1) не покрыты никакими магазинами. Большая часть это парковые зоны, однако есть и жилые районы.
3. Центр города и, похоже, торговые центры- ( кластер №0) зона высокого разнообразия магазинов. Нет одного ярко выделенного сегмента
4. 50% территории приходится на жилые районы. Из них на 32% ( кластер №2) преобладают продуктовые магазины, и на остальных 20% ( кластер №3) магазины одежды. Причем кластер 2 распределен равномерно, то участки, относящиеся к кластеру №3 представляют собой островки.
Потенциальное улучшение : добавление данных о других POIs, использование других типов кластеризации, например, иерархической, разделение центральных зон и жилых за счет добавления координат и флага центральности района в модель кластеризации.
Я пока не стала добавлять новые данные по инфраструктуре, но мне стало интересно наложить получившиеся кластеры на кластеры, построенные на интересах людей в городе, рассчитанных компанией Locomizer. Что получилось - следующий пост + с меня ссылка на Github с кодом проекта