Технологические и спутниковые компании открывают мир данных

Такие спутниковые снимки, как этот, изображающие лесные пожары в Тасмании, Австралия, могут использоваться для отслеживания и визуализации угроз для окружающей среды. Кредит: DigitalGlobe / Getty

Самария Рой вспоминает, когда ему потребовалось до часа, чтобы загрузить одно 1-гигабайтное изображение, полученное спутниками съемки Земли Landsat. Это было в конце 2000-х годов, когда он анализировал спутниковые снимки в рамках обучения в Национальном технологическом институте Вишвесварая в штате Махараштра, Индия. А компьютерный анализ картины может занять еще больше времени. Иногда Рой начинал анализ ночью, и он все еще продолжался на следующее утро.

Вещи очень разные в наше время. Рой, который является аспирантом в Университете Индианы в Блумингтоне, использует платформу Google для хранения своих данных и запускает свои алгоритмы и способен обрабатывать десятки тысяч изображений за считанные минуты; все, что ему нужно, это веб-браузер. «Это приводит всех к равному игровому полю», - говорит он. В дополнение к данным из правительственных источников США, таких как Landsat, он использует четкие подробные снимки трех коммерческих спутниковых компаний - двух из которых не было, когда он был студентом - для исследования потери прибрежных земель в Луизиане и регионе Амазонки в Бразилии ,

За последние несколько лет предложения технологий и спутниковых компаний для ученых резко возросли. Тысячи исследователей теперь используют данные высокого разрешения с коммерческих спутников для своей работы. Тысячи других используют ресурсы облачных вычислений, предоставляемые крупными интернет-компаниями, для обработки наборов данных, которые могут превзойти большинство университетских вычислительных кластеров. Исследователи используют новые возможности для отслеживания и визуализации потерь лесов и коралловых рифов; проводить мониторинг сельскохозяйственных культур для повышения урожайности; и прогнозировать таяние ледников и вспышки болезней. Часто они анализируют гораздо большие области, чем когда-либо было возможно - иногда даже охватывая весь земной шар. Такие исследования попадают в ведущие журналы и привлекают внимание средств массовой информации.

Коммерческие данные и облачные вычисления не являются панацеей для всех вопросов исследования. НАСА и Европейское космическое агентство тщательно калибруют спектральное качество своих имиджеров и проверяют их с учетом конкретных видов научного анализа, тогда как целью многих коммерческих спутников является получение качественных снимков высокого разрешения для правительств и частных клиентов. И ни одна компания не может конкурировать с бесплатным, общедоступным, 46-летним архивом изображений земной поверхности Landsat. Для получения коммерческих данных ученые часто должны запрашивать изображения конкретных регионов, сделанные в определенное время, и соглашаться не публиковать необработанные данные. Некоторые компании резервируют активы облачных вычислений для исследователей со схожими интересами, такими как искусственный интеллект или анализ геопространственных данных. И хотя компании публично предоставляют ученым определенное финансирование и другие ресурсы, для получения доступа к коммерческим данным и ресурсам часто требуются личные связи. Тем не менее, выбирая правильные источники данных и партнеров, ученые могут исследовать новые подходы к решению проблем.

Картографирование бедности

Джошуа Блюменсток, специалист по информации из Калифорнийского университета в Беркли (UCB), всегда ищет данные, которые он может использовать для картирования богатства и бедности, особенно в странах, которые не проводят регулярные переписи. «Если вы пытаетесь разработать политику или сделать что-то для улучшения условий жизни, вам, как правило, нужны данные, чтобы выяснить, куда идти, выяснить, кому помочь, даже выяснить, что вещи, которые вы делаете, имеют значение «.

В исследовании 2015 года он использовал записи из компаний мобильной связи, чтобы составить карту распределения богатства Руанды ( J. Blumenstock и соавт. Science 350 , 1073–1076; 2015 ). Но для отслеживания распределения богатства по всему миру заключение соглашений о совместном использовании данных с сотнями этих компаний было бы нецелесообразным. Другой потенциальный источник информации - коммерческие спутниковые снимки с высоким разрешением - мог бы стоить ему свыше 10 000 долларов США за данные только из одной страны.

Затем Blumenstock узнал, что Facebook купил коммерческие спутниковые снимки для программы, запущенной в 2014 году, чтобы подключить глобальное население к Интернету. После чатов с исследователем Facebook на проекте, он и гигант социальных сетей заключили соглашение. Facebook будет финансировать одного из его аспирантов, чтобы использовать технологию компании для изучения того, как экономические данные общественных опросов соотносятся с визуальными характеристиками зданий, представленными в спутниковых данных. Facebook, в свою очередь, потенциально может получить более четкое представление о социально-экономических характеристиках сельских районов, жители которых с наименьшей вероятностью имеют подключение к Интернету. (Facebook отказался от комментариев.)

Однако договоренность представляла некоторые проблемы. Facebook потребовал соглашения о неразглашении, прежде чем делиться данными. (Blumenstock не имеет доступа к личным данным пользователя Facebook, только к спутниковым и другим агрегированным данным.) И специалисты отраслевого партнерства UCB тщательно изучили соглашение, чтобы гарантировать, что оно не поставит под угрозу академическую честность. Проблемы конфиденциальности могут вырасти с этого момента. После мартовских утверждений о том, что британская консалтинговая компания разместила данные пользователей Facebook в политических целях США, университетов и компаний может изучать свои соглашения более внимательно ,

Команда Facebook по машинному обучению и облачным вычислениям также была главной темой для Роберта Чена, географа из Колумбийского университета в Нью-Йорке, который сотрудничает с компанией для изучения распределения населения по всему миру. Обработка данных, которая могла бы занять годы, была завершена за несколько недель, что позволило Чену и его коллегам составить карты населения сельских районов с высоким разрешением в 18 странах мира (см. go.nature.com/2s1dgq4 ). «Facebook может обработать 14,5 миллиардов изображений за пару недель», - говорит он. Основная цель компании, работающей в социальных сетях, - обеспечить глобальный доступ к Интернету (и привлечь больше потенциальных пользователей). Чен стремится использовать карты для гуманитарной помощи, сохранения и планирования развития.

Другие высокотехнологичные голиафы делают ресурсы доступными для исследователей. ИИ Microsoft для Земли, запущенный в конце 2017 года, позволил более 60 исследовательским группам из более чем 20 стран проанализировать наборы данных дистанционного зондирования Esri, компании по картографическому и геопространственному анализу в Редлендсе, штат Калифорния, с использованием искусственного интеллекта Microscoft ( AI) алгоритмы и вычислительная мощность. Главный ученый Microsoft по окружающей среде, Лукас Джоппа, говорит, что ИИ может стимулировать исследования по дистанционному зондированию, обнаруживая ранее скрытые закономерности в данных. Например, команда, в которую входил Милинд Тэмб, специалист по информатике в Университете Южной Калифорнии в Лос-Анджелесе, использовала алгоритмы Microsoft для прогнозирования деятельности по браконьерству в дикой природе в Африке по изображениям дронов (см. go.nature.com/2s2z5ta ).

Исследователи обращаются онлайн для начального доступа к программе. Если Джоппа и его коллеги находят проект перспективным, они сотрудничают и делятся опытом и ресурсами в натуральной форме, такими как вычислительное время, чтобы помочь продвижению исследований.

Amazon Web Services, подразделение облачных вычислений гиганта электронной коммерции Amazon, начало размещать архив Landsat в начале 2015 года. В сентябре 2016 года компания запустила программу Earth on AWS, в рамках которой размещается около 15 наборов данных, включая изображения. данные о погоде от Национальной администрации США по океану и атмосфере и данные о качестве воздуха от некоммерческой организации OpenAQ в Вашингтоне. Хотя любой может заплатить за анализ данных с помощью компьютеров Amazon, ученые могут подать заявку на пожертвования вычислительного времени; Заявки должны включать описание проблемы исследования и планы распространения результатов.

Google теперь размещает более 600 общедоступных спутниковых данных, данных о погоде, населении и других данных о Земле и окружающей среде через свою платформу Earth Engine. По словам Ребекки Мур, директора по инженерным разработкам Earth Engine, более 70 000 пользователей - большинство из них исследователи - создали бесплатные учетные записи на платформе.

Центры обработки данных Google поддерживают облачную платформу Earth Engine, которая обрабатывает геопространственные данные. Кредит: Конни Чжоу / Google / ZumaPress / eyevine

Первое глобальное исследование, проведенное на платформе, привело к публикации блокбастера о картах изменения лесов на основе данных Landsat; он набрал почти 3000 ссылок менее чем за 5 лет ( MC Hansen et al. Science 342 , 850–853; 2013 ). По словам Мэтью Хансена, географа из Университета Мэриленда в Колледж-Парке, который был запущен в 2013 году в инфраструктуру Google, проект был запущен путем превращения данных, которые должны были обрабатываться на одном компьютере за 15 лет, в работу, которая заняла всего несколько дней. провел исследование.

С тех пор платформа поддерживает глобальные исследования поверхностных вод, рыбных запасов, городского сельского хозяйства и транспортных сетей, а также мелкомасштабные исследования. Дэниелу Вейсу, эпидемиологу из Оксфордского университета, Великобритания, который использовал Earth Engine для отображения времени в пути из любой точки земного шара в ближайший город (см. go.nature.com/2ibwhbm ), платформа эффективно обработала вычислительно дорогой алгоритм, сэкономив месяцы работы. Сама карта теперь является общедоступным ресурсом Earth Engine, и Вайс и его команда используют ее для составления более точных прогнозов вспышек малярии.

Больше чем красивые картинки

Растущий парк спутниковых компаний обслуживает все более разнообразное меню данных и изображений. В настоящее время около 20 компаний по всему миру предлагают или планируют предлагать возможности наблюдения Земли. Эти фирмы, которые традиционно обслуживают клиентов военного и частного секторов в сферах финансов, сельского хозяйства и других областях, все больше склоняются к ученым.

По словам президента фонда Кумара Навулура, в 2017 году спутниковая компания DigitalGlobe в Вестминстере, штат Колорадо, предоставила ученым изображения высокого разрешения на сумму около 6 миллионов долларов США через свой фонд DigitalGlobe. Для некоторых исследователей сверхточные спутниковые камеры компании позволили провести ранее трудные или невозможные исследования. Сара Парчак, например, археолог из Университета Алабамы в Бирмингеме, использовала изображения DigitalGlobe для обнаружения скрытых мест в Египте и в других местах, а также для отслеживания инцидентов с грабежами.

Satellogic, компания в Буэнос-Айресе, основанная в 2010 году, пообещала сделать гиперспектральные данные - информацию, богатую информацией, полученную из света в десятках диапазонов длин волн - доступной для любого ученого, который хочет их. Ни один общедоступный спутник в настоящее время не собирает такие данные, которые многие ученые ценят за их полезность в таких приложениях, как обнаружение засухи у растений и разведка полезных ископаемых. Компания сообщает, что предоставила гиперспектральные данные примерно двум дюжинам исследователей; Рой говорит, что получил доступ к некоторым данным для своего исследования в Луизиане после обмена электронной почтой.

Спутниковая компания Planet, базирующаяся в Сан-Франциско, штат Калифорния, ежедневно отображает глобус, сторона каждого пикселя которого изображена на высоте от 3 до 5 метров над землей. Компания предоставляет данные ученым в рамках своей исследовательской и образовательной программы, которая предоставляет бесплатные данные на площади до 10 000 квадратных километров в месяц ученым, подающим заявку.

Учреждения также могут оформить подписку на большие объемы данных. По словам Джозефа Маскаро, директора академических программ компании, Planet предоставила снимки более чем 1600 исследователям из более чем 70 стран. Частые снимки компании позволили Андреасу Кяэбу, геологу из Университета Осло, отследить таяние ледников в Тибете почти в реальном времени, что показало, что погода и изменение климата вызвали внезапный обвал ледников ( А. Кяэб и соавт. Природа Geosci. 11 , 114–120; 2018 ). В 2016 году он предупредил китайское правительство о надвигающейся лавине в Тибете на основе сигналов, которые он обнаружил на изображениях Планеты.

По его словам, исследования Kääb получили пользу не только от самих изображений, но и от доступа к персоналу компании. «Обычно мы пишем Джо [Маскаро], и он связывает нас с кем-то из команды», - говорит Кяэб. «Я чувствую, что в какой-то степени я часть игры, часть процесса».

Использование коммерческих данных может иметь свои недостатки. Такие компании, как DigitalGlobe и Satellogic, обычно делают снимки, которые запрашивают клиенты, поэтому ученые могут обнаружить, что для их области или времени нет данных. Государственные ограничения также могут ограничивать доступность данных. В соответствии с законодательством США Маскаро и Навулур запрещают обмениваться изображениями некоторых стран, таких как Израиль, с чрезвычайно высоким разрешением, и не могут обмениваться данными с кем-либо в Иране или Северной Корее. Однажды Блюменсток обнаружил, что изображения планеты, которые он хотел для проекта в Афганистане, были недоступны по неизвестной причине. По словам Навулура, идентифицировать отдельных людей или транспортные средства невозможно; это устраняет некоторые проблемы с конфиденциальностью, хотя изображения могут быть достаточно резкими, чтобы разобрать дома и другие сооружения. (Конечно, для больших областей мира, так же как и общедоступные изображения Карт Google.)

Знай свои потребности

Использование коммерческих изображений также может быть ограничено. Ученые могут свободно делиться или публиковать большинство правительственных данных или данных, которые они сами собрали. Но они, как правило, ограничиваются публикацией только результатов исследований коммерческих данных и, самое большее, ограниченным количеством иллюстративных изображений.

Многие исследователи переходят на гибридный подход, объединяя общедоступные и коммерческие данные, и проводят анализ локально или в облаке, в зависимости от необходимости. Вайсс все еще использует свое испытанное программное обеспечение ArcGIS от Esri для исследований небольших регионов и переходит к Earth Engine для глобального анализа.

Новые предложения предвещают переход от эпохи, когда ученым приходилось тратить большую часть своего времени на сбор и подготовку данных, к той, в которой они думают о том, как их использовать. «Данные больше не проблема», - говорит Рой. «Следующее поколение будет о том, какие вопросы мы сможем задать?»

Похожие