Как мы очищаем данные

На входе

Ещё до того, как данные попадут в систему, сама база данных применяет базовые правила — обязательные поля не могут быть пустыми, дубликаты отклоняются, координаты должны быть валидными, принимаются только известные коды параметров. Сломанные или неполные ответы API отлавливаются здесь.

Во время очистки

При преобразовании сырых данных в гармонизированный формат каждое измерение проверяется индивидуально: физически ли возможно это значение? PM2.5 выше PM10 (что обычно указывает на проблему датчика)? Отрицательная ли концентрация? Каждая проблема получает конкретный флаг.

Автоматические правила очистки

Каждое часовое значение проходит одни и те же правила перед публикацией. Значения, не прошедшие проверку, остаются в нашей базе с пометкой и не попадают в опубликованные файлы:

• Жёсткий предел — значения на уровне физического предела и выше (1 000 мкг/м³ для PM2.5) считаются невалидными
• Константная станция — месяц станции, в котором одно и то же значение составляет 70% показаний и более
• Зависший датчик — одно и то же значение повторяется 6 и более часов подряд
• Мёртвый канал пыли — датчик PM2.5, PM10 или TSP, у которого суточная медиана ниже 2 мкг/м³ десять и более дней в течение месяца (так отказывают каналы КазГидроМета: они продолжают показывать около 1 мкг/м³)
• Дублирующий канал пыли — PM2.5, который повторяет значение PM10 той же станции (в пределах 2%) не менее половины часов суток. PM2.5 — часть PM10 и не может долго ей равняться, поэтому значения PM2.5 за такие дни и за период, в котором они повторяются, не публикуются
• Приподнятый пол — канал пыли, который никогда не опускается: 30 дней, в течение которых даже самые чистые часы каждого дня остаются на уровне 30 мкг/м³ и выше. В настоящем воздухе за месяц всегда бывают чистые часы; если прибор их не показывает, он прибавляет смещение или завис на высоком значении
• Шумящий канал — канал пыли, который скачет от часа к часу: двенадцать и более дней за месяц типичное изменение за час составляет 40% суточного уровня и более. Настоящая пыль растёт и спадает часами, а не случайно от измерения к измерению
• Выброс относительно района — станция, чьё суточное среднее отклоняется от медианы своего района более чем на 3 робастных стандартных отклонения
• Дубли источников — если два источника передают одну и ту же станцию и час, остаётся одно значение
• За пределами Алматы, Астаны и Караганды в большинстве городов одна станция, поэтому правила сравнивают станцию только с самой собой: жёсткие пределы, значение насыщения прибора, одно и то же значение 24 часа и дольше, нулевая пыль 6 часов и дольше, а также правила мёртвого, дублирующего, «приподнятого» и шумящего каналов пыли, описанные выше. Короткие серии на пределе обнаружения прибора и часовые пики сохраняются — рядом с промышленностью такие пики настоящие

Финальная валидация

Перед публикацией мы запускаем две независимые системы валидации по всему набору данных. Если любая из них находит проблему — даже одну непройденную проверку — публикация блокируется до решения проблемы.