Как называются снимки с космоса

70 лет первой фотографии Земли из космоса

Первая фотография Земли из космоса сделана на киноплёнку 24 октября 1946 года с баллистической ракеты «Фау-2»

24 октября 1946 года, задолго до того, как советский «Спутник-1» официально открыл для человечества космическую эпоху, в пустыне Нью-Мексико собралась небольшая поисковая группа американских учёных и солдат. Им поставили задачу найти место падения ракеты «Фау-2» и кассету с 35-миллиметровой плёнкой.

Люди готовились впервые в своей истории увидеть нечто невероятное: как выглядит Земля из космоса.

В тот день баллистическую ракету «Фау-2» запустили со стартовой площадки ракетного полигона Уайт-Сендс (White Sands Missile Range) в Нью-Мексико, США. В отличие от предыдущих запусков ракет Вернера фон Брауна, сейчас «Фау-2» запустили вертикально.

Заряжённая 35-миллиметровой плёнкой кинокамера делала по одному кадру каждые 1,5 секунды. Ракета поднялась на высоту около 105 километров, а затем упала вниз, врезавшись в землю на скорости 150 метров в секунду. Камера была полностью разбита, но сама плёнка в стальной кассете сохранилась нетронутой.

19-летний рядовой армии США Фред Рулли (Fred Rulli) был одним из членов группы, которую отправили на поиски 24 октября 1946 года. На военных участников экспедиции находка не произвела особого впечатления. А вот с учёными творилось нечто невероятное. Когда они нашли стальную кассету нетронутой, их обуял полнейший восторг: «Они прыгали как дети», — вспоминает Рулли. Полнейшее безумие началось, когда плёнку доставили на место запуска, проявили и впервые показали фотографии на экране: «Учёные просто сошли с ума», — констатировал рядовой.

До того момента рекордной фотографией земной поверхности, снятой с самой большой высоты, оставался снимок с американского военного гелиевого аэростата Explorer II, поднявшегося в воздух на 22 066 м в 1935 году. Достаточно высоко, чтобы зафиксировать кривизну земного шара (впервые в истории фотографии кривизну горизонта заснял 31 августа 1933 года воздухоплаватель Александр Даля).

Камера на ракете «Фау-2» побила рекорд более чем пять раз. Люди увидели, как наша светлая планета выглядит на фоне темноты космоса.

«Фотографии впервые показали, как наша Земля выглядит для инопланетян, которые прилетят на космическом корабле», — сказал Клайд Холидей (Clyde Holliday), инженер-конструктор ракетной кинокамеры, в комментарии для National Geographic. В этом журнале вышла статья об уникальной фотосъёмке в 1950 году, когда кадры киноплёнки склеили в единое целое.

Результат монтажа кадров, сделанных во время запуска «Фау-2» 24 октября 1946 года

Это было потрясающее событие.

Инженер Вернер фон Браун (с платочком в кармане пиджака)

Запуск 24 октября 1946 года был одним из множества экспериментов исследовательской программы «Фау-2», проведённых группой инженеров под руководством Вернера фон Брауна, которых после войны перевезли на работу в США в рамках операции «Скрепка». Для них Объединённое агентство по целям разведки (Joint Intelligence Objectives Agency, JIOA) США создало фиктивные биографии и удалило упоминания о членстве в НСДАП и о связях с нацистским режимом из открытых записей. Широкая публика узнала об этой секретной операции случайно в декабре 1946 года, когда главный инженер-конструктор Вальтер Ридель стал героем опубликованной статьи «Немецкий учёный утверждает, что американская еда безвкусная, а курица похожа на резину».

С 1946 по 1950 годы благодаря запускам «Фау-2» американцы сделали более 1000 снимков Земли с высоты до 160 км.

Видеозапись запуска «Фау-2» 21 ноября 1946 года

Знаменитый немецкий инженер Вернер фон Браун начал работать над ракетой с жидким топливом в 1930 году. Ключевое влияние на него оказал профессор Герман Оберт, которого называют одним из шести основоположников современного ракетостроения и космонавтики, наряду с Константином Циолковским, Юрием Кондратюком (а начале ХХ века Кондратюк рассчитал оптимальную траекторию полёта к Луне, которую позже НАСА использовало в лунной программе «Аполлон»), Фридрихом Цандером, Робертом Эно-Пельтри и Робертом Годдардом.

Вернер фон Браун позже вспоминал о своём наставнике: «Герман Оберт был первым, кто, подумав о возможности создания космических кораблей, взял в руки логарифмическую линейку и представил математически обоснованные идеи и конструкции… Лично я вижу в нём не только путеводную звезду моей жизни, но также и обязан ему своими первыми контактами с теоретическими и практическими вопросами ракетостроения и космических полётов».

После запуска первых спутников фотосъёмка Земли стала одной из главных задач государственных, а потом и частных программ. Землю снимали не только со спутников, но и с других космических аппаратов. Например, запущенный 12 сентября 1966 года американский пилотируемый космический корабль «Джемини-11» сделал снимок с высоты 1368 км.

Фотоснимок с «Джемини-11»

Спустя три года, в июле 1969 года, экипаж «Аполло-11» сделал знаменитую фотографию Земли над горизонтом Луны. Снимок сделан с лунной орбиты с расстояния около 400 000 км от Земли.

Фотоснимок с «Аполло-11»

Другой масштаб Земли показан на фотографии, которую снял экипаж «Аполло-15» 26 июля 1971 года.

Фотоснимок с «Аполло-15»

С каждым десятилетием наши космические аппараты всё дальше удалялись в космос, осваивая просторы Солнечной системы. 3 ноября 1973 года НАСА запустило автоматическую межпланетную станцию «Маринер-10» — первый успешный запуск в серии «Маринер». Она стала первой, которая посетила Меркурий 29 марта 1974 года. По дороге к Меркурию аппарат сделал фотографию Земли и Луны с расстояния 2,57 млн км, впервые сфотографировав их вместе.

Пожалуй, самую замечательную фотографию Земли сделал зонд «Вояджер-1» 6 июня 1990 года, спустя десять лет после начала своего путешествия.

Фотография Земли с «Вояджера-1» (расстояние 6,05 млрд км)

Этот снимок вошёл в историю как Pale Blue Dot.

Источник

Космическая съёмка Земли

Cпутниковый снимок в ложных цветах (зелёный, красный, ближний инфракрасный) с пространственным разрешением 3 метра и наложенной маской зданий из OpenStreetMap (спутниковая группировка PlanetScope)

Привет, Хабр! Мы постоянно расширяем источники данных, которые используем для аналитики, поэтому решили добавить ещё и спутниковые снимки. У нас аналитика по спутниковым снимкам полезна в продуктах для предпринимательства и инвестиций. В первом случае статистика по геоданным поможет понять, в каком месте стоит открывать торговые точки, во втором позволяет анализировать деятельность компаний. Например, для строительных компаний можно посчитать, сколько за месяц было построено этажей, для сельскохозяйственных компаний — сколько гектаров урожая взошло и т.д.

В этой статье я постараюсь дать примерное представление о космической съёмке Земли, расскажу о трудностях, с которыми можно столкнуться, начиная работу со спутниковыми снимками: предварительная обработка, алгоритмы для анализа и библиотеки Python для работы со спутниковыми снимками и геоданными. Так что все, кому интересна область компьютерного зрения, добро пожаловать под кат!

Итак, начнём с областей спектра, в которых спутники выполняют съёмку, и рассмотрим характеристики съёмочной аппаратуры некоторых спутников.

Спектральные сигнатуры, атмосферные окна и спутники

Разные земные поверхности имеют различные спектральные сигнатуры. Например, свежая базальтовая лава и асфальт отражают различное количество инфракрасного света, хотя в видимом свете они похожи.

Отражательная способность сухой травы, асфальта и свежой базальтовой лавы

Как и поверхность Земли, газы в атмосфере также имеют уникальные спектральные сигнатуры. При этом не каждое излучение проходит через атмосферу Земли. Спектральные диапазоны, проходящие через атмосферу, называют «атмосферными окнами», а спутниковые сенсоры настраиваются для измерения в этих окнах.

Атмосферные окна

Рассмотрим спутник с одним из самых высоких пространственных разрешений — WorldView-3 (Пространственное разрешение — величина, характеризующая размер наименьших объектов, различимых на изображении; надир — направление, совпадающее с направлением действия силы гравитации в данной точке).

Помимо приведённых каналов WorldView-3 имеет ещё 12 каналов, предназначенных специально для атмосферной коррекции, — CAVIS (Clouds, Aerosols, Vapors, Ice, and Snow) с разрешением 30 м в надире и длинами волн от 0,4 до 2,2 мкм.

Пример снимка с WorldView-2; панхроматический канал

Пример снимков с различным пространственным разрешением

Другие интересные спутники — SkySat-1 и его близнец SkySat-2. Интересны они тем, что умеют снимать видео продолжительностью до 90 секунд над одной территорией с частотой 30 кадров/сек и пространственным разрешением 1,1 м.

Видеосъёмка со спутников SkySat

Пространственное разрешение панхроматического канала — 0,9 м, мультиспектральных каналов (синий, зелёный, красный, ближний инфракрасный) — 2 м.

Ещё некоторые примеры:

1. Группировка спутников PlanetScope выполняет съёмку с пространственным разрешением 3 м в красном, зелёном, синем и ближнем инфракрасном диапазоне;
2. Группировка спутников RapidEye выполняет съёмку с пространственным разрешением 5 м в красном, крайнем красном, зелёном, синем и ближнем инфракрасном диапазоне;
3. Серия российских спутников «Ресурс-П» выполняет съёмку с пространственным разрешением 0,7-1 м в панхроматическом канале, 3-4 м в мультиспектральных каналах (8 каналов).

Гиперспектральные сенсоры в отличие от мультиспектральных делят спектр на множество узких диапазонов (примерно 100-200 каналов) и имеют пространственное разрешение уже другого порядка: 10-80 м.

Гиперспектральные снимки доступны не так широко, как мультиспектральные. Космических аппаратов, на борту которых установлены гиперспектральные сенсоры, немного. Среди них Hyperion на борту спутника NASA EO-1 (выведен из эксплуатации), CHRIS на борту спутника PROBA, принадлежащего Европейскому космическому агентству, FTHSI на борту спутника MightySatII исследовательской лаборатории военно-воздушных сил США, ГСА (гиперспектральная аппаратура) на российских космических аппаратах «Ресурс-П».

Обработанный гиперспектральный снимок с бортового сенсора CASI 1500; до 228 каналов; спектральный диапазон 0,4 – 1 нм

Обработанный снимок с космического сенсора EO-1; 220 каналов; спектральный диапазон 0,4 – 2,5 нм

Для упрощения работы с многоканальными снимками существуют библиотеки чистых материалов. В них приведены отражательные способности чистых материалов.

Предварительная обработка снимков

Перед тем, как приступить к анализу снимков, необходимо выполнить их предварительную обработку:

1. Геопривязка;
2. Ортокоррекция;
3. Радиометрическая коррекция и калибровка;
4. Атмосферная коррекция.

Поставщики спутниковых снимков делают дополнительные измерения, чтобы провести предварительную обработку снимков, и могут выдавать как обработанные снимки, так и необработанные с дополнительной информацией для самостоятельной корректировки.

Также стоит упомянуть цветовую коррекцию спутниковых снимков — приведение снимка в натуральных цветах (красный, зелёный, синий) к более привычному для человека виду.

Приблизительная геопривязка вычисляется по исходному положению спутника на орбите и геометрии изображения. Уточнение геопривязки выполняется по наземным точкам привязки (Ground Control Points – GCP). Эти контрольные точки ищутся на карте и на снимке, а зная их координаты в разных системах координат, можно найти параметры преобразования (конформное, аффинное, перспективное либо полиномиальное) из одной системы координат в другую. Поиск GСP выполняется при помощи GPS-съёмки [ист. 1 с. 230, ист. 2] либо при помощи сопоставления двух снимков, на одном из которых точно известны координаты GCP, по ключевым точкам.

Ортокоррекция изображения – процесс геометрической коррекции изображений, при котором устраняются перспективные искажения, развороты, искажения вызванные дисторсией объектива и другие. Изображение при этом приводится к плановой проекции, то есть такой, при которой каждая точка местности наблюдается строго вертикально, в надир.

Так как спутники осуществляют съемку с очень большой высоты (сотни километров), то при съёмке в надире искажения должны быть минимальными. Но космический аппарат не может всё время снимать в надире, иначе пришлось бы очень долго ждать момента, когда он пройдет над заданной точкой. Для устранения этого недостатка спутник «доворачивают», и большинство кадров получаются перспективными. Следует заметить, что углы съемки могут достигать 45 градусов, и при большой высоте это приводит к значительным искажениям.

Ортокоррекцию нужно проводить, если нужны измерительные и позиционные свойства изображения, т.к. качество снимка из-за дополнительных операций ухудшится. Она выполняется с помощью реконструкции геометрии датчика в момент регистрации для каждой строки изображения и представлении рельефа в растровом виде.

Модель камеры спутника представляется в виде обобщенных аппроксимирующих функций (рациональных полиномов — RPC коэффициентов), а высотные данные могут быть получены в результате наземных измерений, при помощи горизонталей с топографической карты, стереосъемки, по радарным данным или из общедоступных грубых цифровых моделей рельефа: SRTM (разрешение 30-90 м) и ASTER GDEM (разрешение (15-90 м).

Радиометрическая коррекция — исправление на этапе предварительной подготовки снимков аппаратных радиометрических искажений, обусловленных характеристиками используемого съемочного прибора.

Для сканерных съемочных приборов такие дефекты наблюдаются визуально как модуляция изображения (вертикальные и горизонтальные полосы). При радиометрической коррекции также удаляются дефекты изображения, наблюдаемые как сбойные пиксели изображения.

Удаление сбойных пикселей и вертикальных полос

Радиометрическая коррекция выполняется двумя методами:

1. C использованием известных параметров и настроек съемочного прибора (корректировочных таблиц);
2. Cтатистически.

В первом случае необходимые корректировочные параметры определяются для съемочного прибора на основе длительных наземных и полетных испытаний. Коррекция статистическим методом выполняется путем выявления дефекта и его характеристик непосредственно из самого изображения, подлежащего коррекции.

Радиометрическая калибровка снимков – перевод «сырых значений» яркости в физические единицы, которые можно сопоставлять с данными других снимков:

где — энергетическая яркость для спектральной зоны ;
— сырые значения яркости;
— калибровочный коэффициент;
— калибровочная константа.

Электромагнитное излучение спутника, прежде чем будет зафиксировано датчиком, пройдет через атмосферу Земли дважды. Имеется два главных эффекта влияния атмосферы — рассеяние и поглощение. Рассеяние происходит в случае, когда имеющиеся в атмосфере частицы и молекулы газа взаимодействуют с электромагнитным излучением, отклоняя его от первоначального пути. При поглощении часть энергии излучения преобразуется во внутреннюю энергию поглощающих молекул, в результате чего происходит нагревание атмосферы. Влияние рассеяния и поглощения на электромагнитное излучение меняется при переходе от одной части спектра к другой.

Факторы, влияющие на попадание отраженной солнечной радиации на сенсоры спутника

Существуют различные алгоритмы выполнения атмосферной коррекции (например метод DOS — Dark Object Subtraction). Входными параметрами для моделей служат: геометрия расположения Солнца и датчика, атмосферная модель для газообразных компонентов, модель аэрозоля (тип и концентрация), оптическая толщина атмосферы, коэффициент поверхностного отражения и спектральные каналы.
Для атмосферной коррекции можно также применять алгоритм удаления дымки с изображения — Single Image Haze Removal Using Dark Channel Prior (реализация).

Пример работы Single Image Haze Removal Using Dark Channel Prior

Индексные изображения

При изучении объектов по многоканальным снимкам часто важны не абсолютные значения, а характерные соотношения между значениями яркости объекта в различных спектральных зонах. Для этого строят так называемые индексные изображения. На таких изображениях более ярко и контрастно выделяются искомые объекты по сравнению с исходным снимком.

Работа со спутниковыми снимками на Python

Одним из форматов, в которых принято хранить спутниковые снимки, является GeoTiff (ограничимся только им). Для работы с GeoTiff на Python можно воспользоваться библиотекой gdal либо rasterio.

Для установки gdal и rasterio лучше воспользоваться conda:

Другие библиотеки для работы со спутниковыми снимками легко ставятся через pip.

Чтение GeoTiff через gdal:

Систем координат у спутниковых снимков довольно много. Их можно разделить на две группы: географические системы координат (ГСК) и плоские системы координат (ПСК).

В ГСК единицы измерения угловые и координаты представлены десятичными градусами. Наиболее известная ГСК — WGS 84 (EPSG:4326).

В ПСК единицы измерения линейные и координаты могут быть выражены как метры, футы, километры и т.д., поэтому их можно линейно интерполировать. Для перехода из ГСК в ПСК применяют картографические проекции. Одна из наиболее известных проекций — проекция Меркатора.

Карту (разметку снимка) принято хранить не в растровом виде, а в виде точек, линий и полигонов. Внутри файлов с разметкой снимков хранятся геокоординаты вершин этих геометрических объектов. Для чтения и работы с ними можно использовать библиотеки fiona и shapely.

Скрипт для растеризации полигонов:

Во время дешифрования снимков может понадобиться операция пересечения полигонов (например, автоматически разметив здания по карте, хочется также автоматически убрать разметку зданий в тех местах снимка, где есть облака). Для этого есть алгоритм Уайлера-Атертона, но он работает только с полигонами без самопересечений. Для устранения самопересечений нужно проверить пересечение всех ребер с другими ребрами полигона и добавить новые вершины. Эти вершины разобьют соответствующие им ребра на части. В библиотеке shapely есть метод для устранения самопересечений — buffer(0).

Для перевода из ГСК в ПСК можно воспользоваться библиотекой PyProj (либо сделать это в rasterio):

Метод главных компонент

Если снимок содержит более трех спектральных каналов, можно создать цветное изображение из трех главных компонент, уменьшив тем самым объем данных без заметной потери информации.

Такое преобразование также проводят для серии разновременных снимков, приведенных в единую систему координат, для выявления динамики, которая ярко проявляется в одной или двух компонентах.

Скрипт для сжатия 4-х канального изображения до 3-х канального:

Снимок с группы спутников PlanetScope (red, green, blue без цветовой коррекции)

Снимок с группы спутников PlanetScope (green, red, near infrared)

Снимок, полученный при помощи метода главных компонент

Метод спектрального разделения (Spectral Unmixing)

Метод спектрального разделения применяют для распознавания на снимках объектов, размер которых значительно меньше размера пикселя.

Суть метода состоит в следующем: смешанные спектры анализируют, сравнивая их с известными чистыми спектрами, например, из уже упомянутых спектральных библиотек чистых материалов. Происходит количественная оценка соотношения данного известного (чистого) спектра и примесей в спектре каждого пикселя. После выполнения такой оценки может быть получено изображение, раскрашенное так, что цвет пикселя будет означать, какой компонент преобладает в спектре это пикселя.

Смешанная спектральная кривая

Дешифрованный снимок

Сегментация спутниковых снимков

На данный момент state-of-the-art результаты в задачах бинарной сегментации изображений показывают модификации U-Net модели.

Архитектура U-Net модели (размер изображения на выходе меньше размера входного изображения; делается это из-за того, что сеть хуже предсказывает на краях изображения)

Автор U-Net разработал архитектуру на основе другой модели — Fully convolutional network (FCN), особенностью которой является наличие только свёрточных слов (не считая max-pooling).
U-Net отличается от FCN тем, что добавлены слои, в которых max-pooling заменён на up-convolution. Таким образом, новые слои постепенно увеличивают выходное разрешение. Также признаки с энкодер-части комбинируются с признаками из декодер-части, чтобы модель могла делать более точные предсказания за счёт дополнительной информации.

Модель, в которой отсутствует проброс признаков из энкодер-части в декодер-часть, называется SegNet и на практике показывает результаты хуже U-Net.

Max-pooling

Up-convolution

Отсутствие в U-Net, Segnet и FCN слоёв, привязанных к размеру изображения, позволяет подавать на вход одной и той же сети изображения разного размера (размер снимка должен быть кратным количеству фильтров в первом свёрточном слое).

В keras это реализуется так:

Обучение, как и предсказание, можно проводить либо на фрагментах изображения (кропах), либо на всём изображении целиком, если позволяет память GPU. При этом в первом случае:
1) больше размер батчей, что хорошо скажется на точности модели, если данные зашумлены и неоднородны;
2) меньше риск переобучения, т.к. данных гораздо больше, чем при обучении на изображениях полного размера.

Однако при обучении на кропах сильнее проявляется краевой эффект — сеть менее точно предсказывает на краях изображения, чем в областях более близких к центру (чем ближе к границе точка предсказания, тем меньше у сети информации о том, что находится дальше). Проблему можно решить, предсказывая маску на фрагментах с перекрытиями и отбрасывать либо усреднять области на границе.

U-Net – простая и мощная архитектура для задачи бинарной сегментации, на github можно найти не одну реализацию для любого DL фреймворка, но для сегментации большого количества классов эта архитектура проигрывает другим архитектурам, например, PSP-Net. Здесь можно прочитать интересный обзор по архитектурам для семантической сегментации изображений.

Определение высоты зданий

Высоту зданий можно определять по их теням. Для этого необходимо знать: размер пикселя в метрах, длину тени в пикселях и sun (solar) elevation angle (угол солнца над горизонтом).

Геометрия солнца, спутника и здания

Вся сложность задачи в том, чтобы как можно точнее сегментировать тень здания и определить длину тени в пикселях. Проблем добавляет ещё и наличие облаков на снимках.

Существуют и более точные методы определения высоты здания. Например, можно учитывать угол спутника над горизонтом.

Пример работы алгоритма определения высоты зданий по тени

На снимках с группы спутников PlanetScope с пространственным разрешением 3 м ошибка определения высоты зданий по MAPE (mean absolute percentage error) составила

30%. Всего было рассмотрено 40 зданий и один снимок. Однако на субметровых снимках исследователи получили ошибку всего 4-5%.

Заключение

Дистанционное зондирование Земли даёт много возможностей для проведения аналитики. Например, такие компании, как Orbital Insight, Spaceknow, Remote Sensing Metrics, OmniEarth и DataKind, на основе съёмки со спутников выполняют мониторинг производства и потребления в США, анализ урбанизации, трафика, растительности, экономики и т.д. При этом сами снимки становятся всё более доступными. Например, снимки со спутников Landsat-8 и Sentinel-2 с пространственным разрешением больше 10м находятся в открытом доступе и постоянно обновляются.

В России компании Совзонд, СканЭкс, Ракурс, Гео-Альянс и Северная Географическая Компания также проводят геоаналитику по спутниковым снимкам и являются официальными дистрибьюторами компаний-операторов спутников ДЗЗ: ОАО «Российские космические системы» (Россия), DigitalGlobe (США), Planet (США), Airbus Defence and Space (Франция-Германия) и др.

P.S. Вчера мы запустили онлайн-соревнование по спутниковым снимкам, состоящее из двух задач:

1. Сегментация зданий и автомобилей и подсчёт автомобилей;
2. Определение высот зданий.

Так что все, кто кому интересна область компьютерного зрения и дистанционного зондирования Земли, присоединяйтесь!

Мы планируем провести ещё одно соревнование по снимкам Роскосмоса, Airbus Defence and Space и PlanetScope.

Источник