Datasheet for Dataset

Для какой цели был создан набор данных?

AirData.kz был создан для восполнения критического пробела в общедоступных данных о качестве воздуха в Казахстане. Данные государственного мониторинга были разрозненны между ведомствами, представлены в несогласованных форматах и единицах измерения, зачастую недоступны для исследователей и общественности. Исторические показания регулярно удалялись после короткого срока хранения. Набор данных создан для сбора, гармонизации, очистки и постоянного архивирования измерений качества воздуха из всех доступных источников — с открытым и бесплатным доступом для исследований, журналистики, анализа общественного здоровья и гражданской осведомлённости.

Кто создал набор данных и от имени какой организации?

Набор данных создан и поддерживается волонтёрами из Global Shapers Almaty Hub — инициативы Всемирного экономического форума. AirData.kz работает как некоммерческий проект открытых данных без корпоративной аффилиации.

Кто финансировал создание набора данных?

Проект полностью финансируется волонтёрами. Расходы на инфраструктуру (сервер, домен, доступ к API) покрываются за счёт личных взносов и разовых пожертвований. Гранты, корпоративные спонсоры и государственное финансирование отсутствуют.

Что представляют собой экземпляры данных?

Каждый экземпляр — это одно измерение качества воздуха или метеорологический параметр: один показатель, на одной станции, в один момент времени. Например: «PM2.5 = 45,2 мкг/м³ на станции KGMT-040 15.01.2024 в 14:00 UTC+6».

Сколько всего экземпляров данных?

По состоянию на март 2026 года набор данных содержит приблизительно:

• 45+ миллионов необработанных показаний КГМТ (государственная сеть)
• 2,3 миллиона показаний WAQI (международный агрегатор)
• 60 000+ показаний OpenAQ
• 664 000+ очищенных часовых показаний PM2.5 по Алматы
• 1 094 станции мониторинга в реестре станций

Набор данных непрерывно растёт — новые данные поступают каждые 20 минут из активных источников.

Набор данных содержит все возможные экземпляры или является выборкой?

Набор данных стремится быть полной переписью, а не выборкой — мы собираем каждое доступное измерение из каждого источника. Однако он неизбежно неполон: государственные станции простаивают, датчики отключаются, часть исторических данных была утеряна до начала архивирования в 2019 году. Охват различается по городам и периодам. Алматы имеет наибольшую плотность покрытия (5 источников, 200+ станций). Другие города зависят преимущественно от государственных станций КГМТ.

Из чего состоит каждый экземпляр данных?

Каждая запись измерения содержит:

• Идентификатор станции и географические координаты (широта, долгота)
• Временная метка (UTC и местный часовой пояс)
• Код параметра (напр., pm25, no2, co, temperature)
• Измеренное значение в унифицированных единицах (мкг/м³ для концентраций)
• Исходное необработанное значение и исходная единица измерения (для проверяемости)
• Идентификатор источника данных (kgmt, kgmt_auto, airgradient, openaq, waqi, airkaz)
• Флаг контроля качества (необработанный, чистый, подозрительный, невалидный)
• Код причины QC при наличии флага (напр., spike, stuck_sensor, cluster_outlier)

Есть ли метка или целевая переменная для каждого экземпляра?

Нет. Это наблюдательный набор данных, а не размеченный для обучения с учителем. Однако каждое измерение содержит флаг контроля качества (чистый / подозрительный / невалидный), присвоенный автоматизированным конвейером очистки, который может использоваться как метка для исследований качества данных.

Отсутствует ли информация в отдельных экземплярах?

Да. Типичные причины отсутствия данных: простой датчиков (нет записи), сбои сети при передаче данных, работа государственных станций только в рабочее время (ранние данные КГМТ), параметры, измеряемые не всеми станциями (напр., H₂S и SO₂ измеряет только КГМТ, CO₂ и TVOC — только AirGradient). Пропущенные значения представлены как NULL — мы никогда не интерполируем и не восстанавливаем данные.

Есть ли ошибки, источники шума или избыточность?

Да, подробно задокументированные. Известные проблемы: дрейф и ошибки калибровки датчиков (особенно бюджетных), зависание датчиков с повторением одного значения часами, внезапные всплески от электромагнитных помех, смена единиц измерения государственными станциями без уведомления, перекрытие данных между источниками (напр., станции КГМТ также присутствуют в фидах WAQI). Наш 7-этапный конвейер очистки специально нацелен на эти проблемы, и все флаги сохраняются в публикуемых данных.

Является ли набор данных самодостаточным?

Да. Публикуемый набор данных (файлы CSV и GeoJSON) полностью самодостаточен и не требует внешних ресурсов. Реестр станций включает все необходимые метаданные (координаты, источник, оператор). Исходные данные из API архивированы в нашей базе данных — публикуемые файлы не зависят от доступности этих API.

Содержит ли набор данных конфиденциальную информацию?

Нет. Все данные представляют собой экологические измерения с фиксированных станций мониторинга в общедоступных местах. Персональные данные не собираются. Координаты станций являются публичной инфраструктурной информацией.

Содержит ли набор данных оскорбительный контент?

Нет. Набор данных содержит только числовые измерения и метаданные станций.

Как были получены данные?

Данные напрямую наблюдаются физическими приборами (аппаратные датчики и референсные мониторы). Они получены через автоматический опрос API пяти источников: КазГидроМет (государственный REST API), AirGradient (публичный API датчиков), OpenAQ (API открытых данных), WAQI/aqicn.org (публичные фиды), AirKaz (исторические CSV-архивы). Кроме того, исторические государственные данные (2018–2022) были извлечены из Excel-таблиц, предоставленных непосредственно КазГидроМетом по официальному соглашению об обмене данными.

Какие механизмы использовались для сбора данных?

Механизмы сбора по источникам:

• КГМТ — референсные анализаторы (BAM, хемилюминесценция, УФ-флуоресценция) в климатически контролируемых станциях. Данные передаются на центральный сервер, доступ через REST API.
• AirGradient — бюджетные оптические счётчики частиц (PMS5003) с датчиками CO₂ (SenseAir S8) и TVOC. Данные загружаются через WiFi в облачный API AirGradient.
• OpenAQ — платформа агрегации данных из государственных и исследовательских сетей. Мы опрашиваем их API v3.
• WAQI — платформа агрегации на основе государственных фидов. Мы опрашиваем их JSON API.
• AirKaz — историческая сеть бюджетных датчиков (2017–2020) с ежедневным экспортом CSV.

Кто участвовал в сборе данных?

Первичный сбор данных выполняется эксплуатирующими организациями (КазГидроМет, владельцы датчиков AirGradient и др.). Роль AirData.kz — агрегация, а не первичный сбор. Наш автоматизированный конвейер получает, гармонизирует и архивирует данные. Разработка и обслуживание конвейера осуществляется волонтёрами проекта.

За какой период были собраны данные?

Самые ранние записи: март 2017 (датчики PM2.5 AirKaz в Алматы). Данные КГМТ: июнь 2020 — настоящее время (с дозагрузкой Excel-данных с 2018 года). AirGradient: непрерывный опрос в реальном времени. OpenAQ: с 2024 года. WAQI: с октября 2025 года. Сбор непрерывный — новые данные поступают каждые 20 минут.

Проводилась ли предобработка/очистка данных?

Да, обширная. Конвейер очистки включает 7 этапов для всех параметров:

• S1: Фильтрация отрицательных и NULL-значений — на этапе вставки в базу данных
• S2: Жёсткое ограничение — физически невозможные значения помечаются как невалидные (напр., PM2.5 > 1 000 мкг/м³)
• S3a: Обнаружение постоянных станций — станции, выдающие одинаковые значения ≥70% месяца
• S3b: Неправдоподобный базовый уровень — месячные медианы станций, превышающие реалистичные пороги
• S3c: Обнаружение мёртвых датчиков — станции с >80% нулевых значений
• S4: Обнаружение статистических выбросов — робастные Z-оценки (на основе MAD) с частичным пулингом
• S5: Обнаружение одиночных всплесков — изолированные скачки >10× от соседних показаний
• S6: Обнаружение зависших датчиков — идентичные последовательные значения ≥6 часов
• S7: Обнаружение кластерных выбросов — суточные средние станций >3 робастных Z от медианы географического кластера

Также проводится гармонизация единиц: КГМТ мг/м³ → мкг/м³ (×1000), WAQI индекс AQI → мкг/м³ (обратное преобразование по точкам излома EPA), КГМТ давление мм рт. ст. → гПа.

Были ли сохранены необработанные данные?

Да. Необработанные данные хранятся в точности как получены в выделенных таблицах Слоя 0 (по одной на источник). Каждое опубликованное измерение сохраняет связь с исходным источником, включая оригинальное значение и единицу измерения. Необработанные данные никогда не модифицируются.

Доступно ли программное обеспечение для очистки?

Да. Весь конвейер, включая все этапы очистки, является открытым исходным кодом и доступен в репозитории проекта на GitHub.

Использовался ли набор данных для каких-либо задач?

Да:

• AirData-AI — инструмент аналитики на основе ИИ, отвечающий на вопросы о качестве воздуха на естественном языке
• Тепловые карты-календари на airdata.kz, показывающие ежедневные уровни PM2.5
• Калькулятор сигаретного эквивалента (методология Berkeley Earth) для повышения осведомлённости
• Оценщик персонального воздействия на основе дневного распорядка
• Внутренние исследования сезонных и географических закономерностей загрязнения воздуха

Для каких ещё задач может использоваться набор данных?

Эпидемиологические исследования связи качества воздуха со здоровьем. Анализ городского планирования и транспортной политики. Изучение климатических и погодных закономерностей. Исследования в области машинного обучения: обнаружение аномалий во временных рядах, объединение данных датчиков, прогнозирование качества воздуха. Журналистские расследования. Образование в области науки о данных, экологии и общественного здоровья.

Есть ли особенности состава или сбора, которые могут повлиять на использование?

Да. Пользователям следует учитывать: (1) Плотность станций значительно различается по городам — в Алматы 200+ станций, тогда как в малых городах может быть лишь 1–3. (2) Временное покрытие неравномерно — некоторые источники начали работу только в 2023–2025 годах. (3) Бюджетные датчики (AirGradient, AirKaz) имеют меньшую точность, чем государственные референсные мониторы. (4) Данные КГМТ до 2023 года были дозагружены из Excel-архивов с несогласованностями форматов. (5) Конвейер очистки помечает ~11% данных PM2.5 по Алматы как подозрительные или невалидные.

Есть ли задачи, для которых набор данных не должен использоваться?

Набор данных не следует использовать для: оповещений о чрезвычайных ситуациях в реальном времени (используйте официальные государственные источники), нормативного соответствия или судебных разбирательств (мы не являемся аккредитованной сетью мониторинга), индивидуальной оценки рисков для здоровья без профессиональной консультации, использования в качестве эталона для обучения моделей без понимания флагов QC и известных ограничений.

Будет ли набор данных распространяться третьим лицам?

Да. Набор данных общедоступен для всех без ограничений. Он распространяется через сайт AirData.kz и репозиторий GitHub.

Как будет распространяться набор данных?

В нескольких форматах: сжатые CSV-файлы (по городам и параметрам), GeoJSON (для картографии) и CSV реестра станций. Все файлы доступны для прямого скачивания из репозитория GitHub (ссылка — на airdata.kz/data/).

Будет ли набор данных распространяться по лицензии?

Набор данных публикуется на открытых условиях без ограничений на использование. Указание авторства приветствуется, но не обязательно. Исходные источники данных имеют собственные условия: данные КГМТ предоставляются по официальному соглашению с КазГидроМетом для исследовательского использования, данные AirGradient и OpenAQ открыты по их политикам, данные WAQI подчиняются их условиям использования.

Кто обслуживает набор данных?

Волонтёрская команда AirData.kz при Global Shapers Almaty Hub.

Как связаться с обслуживающей стороной?

По электронной почте: airdatakz@gmail.com.

Будет ли набор данных обновляться?

Да, непрерывно. Новые данные поступают каждые 20 минут из активных источников. Суточные агрегации и проверки качества выполняются автоматически. Экспорт CSV обновляется ежедневно. Реестр станций обновляется при подключении новых станций.

Будут ли доступны старые версии?

Исторические данные никогда не удаляются — набор данных только дополняется. Старые измерения остаются навсегда. Однако флаги качества могут обновляться при улучшении методологии очистки. Слой необработанных данных неизменяем.

Могут ли другие участвовать в развитии набора данных?

Да. Проект с открытым исходным кодом. Участники могут присылать pull-запросы для улучшения конвейера, предлагать новые источники данных или сообщать о проблемах качества через GitHub. Мы также приветствуем партнёрства с сетями мониторинга.