Журнал `Компьютерра` N749

Веб-ГИС

Среди бездны информации, предоставляемой Интернетом, в последние годы появилась и геопространственная. Мы попробуем дать срез современных технологий, используемых в веб-картографии, сделать небольшой экскурс в историю и оценить текущую ситуацию.

Веб-картография — это область компьютерных технологий, связанная с доставкой пространственных данных конечному пользователю.

Мы используем приставку "веб" для удобства, в качестве среды могут использоваться любые сети, не только Интернет. И, конечно же, веб-картография является одним из направлений геоинформационных технологий в целом. Как это часто бывает при переводе и адаптации нового термина, прямого аналога устоявшемуся в России словосочетанию "веб-ГИС" в англоязычных источниках найти не удастся, там читатель гораздо чаще встретит термин web mapping services (картографические веб-сервисы).

Но далее по тексту, для краткости и во избежание недоразумений, мы будем использовать термины "веб-картография" или "вебГИС", а упоминая "данные", будем иметь в виду пространственные данные, включающие координатную составляющую, которая привязывает их к определенному месту на нашей планете.

Основными задачами веб-картографии являются:

визуализация существующей информации и пространственное представление данных;

облегчение работы с пространственной информацией в вебе, поиск, прокладка маршрутов и другие услуги, основанные на использовании сведений о местоположении объектов (location based services, LBS).

Хотя для большинства пользователей Интернета веб-картография ассоциируется со знаменитыми продуктами компании Google, вышедшими на рынок в 2005 году, фактически датой рождения веб-картографии можно считать год 1993-й, когда впервые был запущен веб-сервис Xerox PARC Map Viewer, позволявший в интерактивном режиме отправлять запросы из браузера серверу и получать фрагменты карт в формате GIF. Именно это приложение и концепция его функциональности стали родоначальниками большинства более поздних версий веб-ГИС.

На ранних этапах (до 1998 года) особенностью большинства сервисов была их географическая локальность и узкая тематическая направленность, что серьезно ограничивало круг потенциальных пользователей.

Один из первых решительных шагов по популяризации веб-ГИС был сделан в 1998 году в Великобритании, когда был запущен сайт (успешно работающий и до сих пор) www.streetmap.co.uk. Этот сервис, в отличие от своих предшественников, не был ориентирован на детальную визуализацию локального участка земной поверхности и насыщение картинки узкотематической информацией. Напротив, создатели сервиса пошли иным путем — они выложили простейшую топографическую информацию, но покрыли всю территорию Великобритании. Именно этот подход и предопределил бешеную популярность сервиса: тысячи людей могли без труда определить местоположение торгового центра, дома и любого другого объекта, зная всего лишь его почтовый индекс, а затем распечатать схему проезда к нему.

Этот же год ознаменовался появлением специального программного обеспечения Mapserver, позволяющего любому пользователю Сети создавать собственные веб-ГИС.

Примерно тогда же сформировавшееся понимание перспектив веба приводит к тому, что крупные компании-производители ПО ГИС (ESRI, Intergraph) принимают решение о разработке специальных коммерческих приложений именно под веб-ГИС.

Однако в силу ограниченной пропускной способности Сети в те годы мало кто мог представить, до каких масштабов может разрастись веб-картография.

Переломным стал 2005 год, когда компания Google практически одновременно запустила два глобальных картографических сервиса — Google-Maps и Google-Earth.

Ключевым словом здесь является слово "глобальный" — ни один из запущенных ранее сервисов не мог похвастаться столь широкой географией. Кроме того, был использован принципиально новый подход в организации самого сервиса: вместо классического способа, при котором пользователь посылает запрос на сервер, ждет обработки и получает обратно сгенерированную "на лету" картинку, здесь все данные подготавливаются и обрабатываются заранее, что в сочетании с технологиями AJAX позволило добиться необычно быстрой работы с картами и "бесшовности" данных при навигации.

Последующие три года (до настоящего времени) характеризуются колоссальным ростом интереса к веб-картографии и ее возможностям, а также значительным ростом числа сервисов, в той или иной форме использующих картографические вебтехнологии. Самыми важными тенденциями последних полутора-двух лет можно считать появление множества бесплатных проектов, реализующих концепцию предоставления предобработанных данных; увеличение возможностей персонификации сервисов и возможностей интеграции собственных данных с уже существующими сервисами; глобальность сервисов.

Попробуем дать простейшую классификацию многочисленным инструментам разработки веб-ГИС-приложений. Конечно, в силу того, что каждый производитель стремится разработать комплексное средство, включающее технологии создания, визуализации и публикации данных в Интернете, предложенная нами классификация может считаться условной, тем не менее она позволит читателю сориентироваться в океане существующих решений и предложений.

ВИРТУАЛЬНЫЕ ГЛОБУСЫ (Google Maps, Google Earth, Virtual Earth, ArcGIS Explorer) — простое и эффективное средство быстрого создания и публикации данных в Интернете. Эта категория инструментов характеризуется возможностью массового распространения и быстротой доставки геопространственных данных пользователям.

В качестве клиента могут использовать как веб-браузер, так и отдельное приложение.

Как правило, инструменты включают доступ по умолчанию к некой подложке — базе данных, что является одновременно их большим плюсом и не меньшим минусом, так как сменить эту подложку в большинстве случаев нельзя. Так же, как правило, этим инструментам свойственны проблемы при работе с большими объемами пользовательских данных, ограничены возможности настроек, возникают трудности с элементарным анализом (обрезка, пересечение слоев данных).

ПОЛЬЗОВАТЕЛЬСКИЕ ГИС (ArcGIS, Map info, QGIS, gvSIG) — большая и сложная категория, тесно связанная с вебкартографией. Как правило, пользовательские "коробочные" ГИС, с одной стороны, способны играть роль клиентов, работающих с данными, поставляемыми картографическими веб-серверами (обычно по WxS, см. ниже), а с другой — в них осуществляется массовая подготовка и анализ данных перед публикацией в Сети.

Особый тип инструментов, появившихся совсем недавно, — ПОЛЬЗОВАТЕЛЬСКИЕ ГИС, ИНТЕГРИРОВАННЫЕ С ВИР ТУАЛЬНЫМИ ГЛОБУСАМИ, которые играют роль одного из способов представления данных. Примером подобного приложения является расширение для ArcGIS разработанное Brian Flood и позволяющее интегрировать его с Virtual Earth.

Картографические веб-серверы

(MapServer, GeoServer, OpenLayers и др.) — целое семейство продуктов свободно распространяемого и проприетарного характера, предназначенных для быстрой публикации пользовательских данных в Интернете. Эти инструменты позволяют создать интерфейс нужной сложности, интегрировать сервисы с базой данных, поддерживающей классы пространственных данных (PostgreSQL, SQL Server, MySQL, ArcSDE). Главное отличие подобных систем от Google Maps — полный контроль над программным обеспечением и самими данными, однако за это приходится расплачиваться большей сложностью установки и настройки, часто требующей хотя бы начального знания языков программирования (JavaScript, PHP) и основ администрирования.

Проникновение ГИС в Интернет, как и развитие компьютерных технологий в целом, — процесс бесконтрольный. Тем не менее в геоинформационном сообществе существует ряд ключевых организаций — "законодателей мод", — которые различными методами регулируют деятельность разработчиков. Самым удобным способом такого "контроля" в современном сообществе становится внедрение и продвижение стандартов и протоколов, имеющих отношение к разработке ГИС-продуктов. Какие же типы организаций присутствуют на рынке веб-ГИС?

АССОЦИАЦИИ И РЕГУЛИРУЮЩИЕ ОРГАНИЗАЦИИ: прежде всего OGC (Open Geospatial Consortium, www.opengeospatial.org) — некоммерческая организация, занимающаяся поддержкой и продвижением стандартов и архитектур, касающихся пространственных данных (например, серии WxS). Членами консорциума являются все более-менее значимые компании, чья деятельность связана с геопространственной информацией. В стратегическую категорию членов организации входят USGS, NASA, NGA, главными членами являются ESRI, Google, Microsoft и другие (см. более подробную информацию в разделе стандарты).

OPENSOURCE-ГРУППЫ: здесь необходимо упомянуть OSGeo — это тоже некоммерческая организация, созданная специально для продвижения проектов с открытым кодом, как правило, поддерживающихся открытыми сообществами специалистов. Руководители проектов, проходящих инкубацию в OSGeo, получают и место в совете организации. Президентом OSGeo является Фрэнк Уормердам (Frank Warmerdam), создатель и один из основных авторов GDAL\OGR.

ПРОФЕССИОНАЛЫ: ESRI — корпорация, специализирующаяся на ГИС и до недавних пор не имевшая сильных конкурентов. Последнее время ESRI активно пытается укрепить свои пошатнувшиеся позиции на рынке веб-картографии, развивая ArcGIS Server. Несмотря на присутствие и других весьма активных игроков (Mapinfo, Autodesk), концепции ее продуктов фактически являются стандартом де-факто.

ИНТЕРНЕТ-ГИГАНТЫ: Google "и соратники" — группа компаний (в том числе Microsoft, Yahoo и Yandex), рассматривающая веб-картографические проекты как один из способов размещения рекламы и активно расширяющих свое онлайнприсутствие. В основном популярность достигается за счет предоставления широкому кругу пользователей информации из ранее недоступных баз данных космической съемки высокого разрешения и сопутствующих технологий маршрутизации и поиска.

ГЕНЕРАТОРЫ ДАННЫХ: поставщики пространственных данных (как правило, на коммерческой основе) — например, цифровой картографической информации (Navteq/Teleatlas), спутниковых данных (GeoEye, DigitalGlobe). Последнее время в этом секторе появляются и некоммерческие участники (OpenStreetMap).

Лагерь российских специалистов, работающих в области ГИС, похож на укрепление, попавшее под непрерывный обстрел противника. Кто же этот супостат и почему не дает спокойно жить нашему брату?

Да вот же он — проблема самоидентификации. Если существуют ГИС-специалисты, то кто они?! В начале все было просто: под ГИС понимался специфический программно-аппаратный комплекс, достаточно сложный, которым могли пользоваться только специально обученные люди.

Проведем параллель с компьютерами: когда-то давно они занимали целые здания, и доступ к ним мы получали, обратившись к уважаемому специалисту, который знал, как с ними обращаться. Сейчас было бы смешно давать определение специалисту по компьютерам, как "человеку, который с ними работает", так как под него попадает половина населения страны. Подобно компьютерщикам тридцатилетней давности, ГИС-специалисты пять лет назад тоже представляли собой закрытую касту, прием в которую производился по предъявлении серийного номера от продукта компаний ESRI или Mapinfo…

Современные ГИС гораздо более доступны и распространены. Сокрушительный удар по снобизму профессионалов нанесла корпорация Google, сделавшая доступным каждому многое из того, что раньше было по плечу лишь специалисту. Да, все это пока далековато от функциональности "настоящих" ГИС, но теперь каждому гуру еще и приходится отбиваться от чайников, не знающих, что такое проекция или шейп-файл, но явно вторгающихся в его сферу деятельности с виртуальными глобусами наперевес. Тем острее стоит проблема самоидентификации и тем обиднее становится, когда видишь, как стремительно твои почти эзотерические знания становятся достоянием всех и как то, что пять лет назад умели делать десятки "избранных", сегодня сможет сделать каждый школьник. Однако такова суть прогресса…

Общие принципы и стандарты в области разработки программного обеспечения картографических веб-сервисов разрабатываются и декларируются международной некоммерческой организацией Open Geospatial Consortium (OGC)[www.opengeospatial.org.]. Она была основана в 1994 году и на момент создания включала только восемь членов. С 1992 по 2004 год их число возросло до 250, и на сегодняшний день в OGС представлены крупнейшие коммерческие, академические и государственные организации, занимающиеся разработкой или исследова ниями в области геоинформационного ПО (в том числе Boeing, Oracle, ESRI, MapInfo, Intergraph, Google).

Во многом деятельность OGC в области геоинформационных систем можно сравнить с деятельностью W3C по стандартизации процессов и технологий во всемирной Сети. Так, одной из первых разработок OGC были стандарты GML — Geography Markup Language — языка группы XML, предназначенного для описания географически привязанных объектов. GML может быть использован и как язык моделирования, и как язык передачи геопространственной информации в Интернет.

Спецификации OGC предлагают следующие типы картографических вебсервисов:

1. Web Map Service[www.opengeospatial.org/standards/wms.]

определяет параметры запроса и предоставления картографической (геопространственной) информации в виде графического изображения или набора объектов;

описывает условия получения и предоставления информации о содержимом карты (например, свойства объекта в определенном месте на карте);

характеризует условия получения и предоставления информации о возможностях сервера по представлению различных типов картографической информации.

2. Web Feature Service[www.opengeospatial.org/standards/wfs.]

определяет условия получения и обновления пространственно привязанной информации клиентской частью приложения с использованием Geography Markup Language (GML);

описывает стандартный интерфейс доступа к данным и манипуляции с географическими объектами с помощью HTTP протокола.

3. Web Coverage Service[www.opengeospatial.org/standards/wcs.]

расширяет возможности WMS для предоставления растровой географической информации;

в отличие от WMS, Coverage Service служит для представления свойств и значений в каждой конкретной точке географического пространства, а не для создания готовых картинок, а также позволяет проводить интерпретацию данных не на сервере, а на клиентской части приложения.

Рост популярности картографических веб-сервисов порождает все большее число модификаций существующих языков и стандартов передачи пространственных данных.

Можно предположить, что уже в ближайшем будущем OGC придется включить в сферу своей деятельности рассмотрение и узаконивание "доморощенных" языков программирования, форматов передачи данных и стандартов, их описывающих.

Основой ГИС являются геопростран ственные данные, и то, насколько большой аудиторией будет обладать тот или иной веб-ГИС-проект, в немалой степени определяется их объемом и детальностью.

Правила игры просты: чем больше данных вы можете показать конечному пользователю и чем удобнее к ним доступ, тем больше вы сможете показать сопутствующей рекламы и, в конечном счете, заработать денег. Современные средства позволяют генерировать данные быстро и в большом количестве, однако здесь появляется и ряд новых проблем. Остановимся на некоторых из них:

Открытость против закрытости

Развитие концепции открытости ПО и данных, получившее толчок благодаря прогрессу Интернета, не обошло стороной и геопространственные данные. Как и в случае с программным обеспечением, сообщества, продвигающие открытые базы пространственных данных, "противопоставили себя" крупным корпорациям, вкладывающим огромные ресурсы в системы сбора информации и имеющим обыкновение продавать одни и те же наборы данных по несколько раз.

В современном мире идея о том, что сведения об улицах, по которым все ходят, не принадлежат общественности, рано или поздно должна была показаться комуто неправильной. Что и случилось — появился OpenStreetMap. Каждый, кто имеет GPS, может пройти по знакомым улицам и отправить результат в общую базу данных, где не только конкретная репрезентация, но и исходные пространственные данные доступны любому пользователю.

Этот процесс, названный краудсорсингом (crowdsourcing), приобрел широкие масштабы. За полтора года существования проекта OpenStreetMap количество зарегистрированных пользователей перевалило за 45 тысяч.

Интересно, что подобные "ключи" к общественности пытаются подбирать и коммерческие компании, активно использующие краудсорсинг для исправления ошибок в своих картах (не правда ли, похоже на сваливание на пользователей ловли ошибок в ПО?). Корпорация Google, больше года использующая систему участия, при которой вы можете исправить ошибки геокодинга, сделала следующий шаг в этом направлении и представила систему MapMaker, фактически дублирующую OpenStreetMap.

Конечно, это не могло не вызвать бурю раздражения в мире opensource-геоданных, ведь результат вашей работы оказывается фактически принадлежащим Google!

Это выглядит тем более странно, учитывая, что Google поддерживала первую конференцию OpenStreetMap. На фоне этих событий действия другого гиганта, Yahoo, выглядят куда более логичными.

В 2006 году Yahoo разрешила использовать свои данные высокого разрешения для оцифровки дорожной сети и других объектов и размещения результатов в открытом доступе в базе OpenStreetMap, благодаря чему включиться в работу надобщей картой теперь может любой, не выходя из дома.

Качество публикуемых данных

Один из самых частых вопросов, возникающих у нас при изучении интернетресурсов, — насколько представленная информация корректна?

Неуверенность возрастает, как только мы переходим от простого любопытства к использованию данных для решения профессиональных задач. Могу ли я быть уверен в том, что авторы ресурса проверили опубликованную информацию? откуда она появилась? в какой степени я могу ей доверять? Сегодня не многие пользователи Интернета задумываются об источниках пространственной информации и качестве картографических данных, поэтому мы ожидаем, что уже в недалеком будущем их постигнет глубокое разочарование: лишь немногие ресурсы могут похвастаться заслуживающими доверия данными. Уже сейчас в Сети можно встретить анекдотические истории об успешно проложенных "кратчайших" маршрутах или даже о случаях элементарной дезинформации, возникающей из-за публикации устаревших картографических материалов.

Один из наиболее приемлемых вариантов оценки качества публикуемых данных — создание метаданных (данных о самих данных), где помимо специальной географической и описательной информации указывались бы такие характеристики, как точность, качество, надежность. Однако смысловая "относительность" перечисленных характеристик, с одной стороны, и многообразие стандартов метаданных, сложность их получения в автоматическом режиме и особенно субъективность при описании качества данных[См., например, Grade Finale Report (edina.ac.uk/projects/grade/GRADE_Final_Report.pdf, Do spatial data consumers really understand data quality information?; www.spatial-accuracy.org/2006/PDF/Boin2006accuracy.pdf, Spatial Data Quality By Wenzhong Shi, Peter F. Fisher and Michael F. Goodchild (Eds).Taylor and Francis, London and New York, 2002).] — с другой, не позволяют в полной мере решить проблему оценки качества публикуемых материалов.

В 2007 году Open Geospatial Consortium Data Quality Working Group (WG)[ www.opengeospatial.org.], осознавая трудности, связанные с разработкой универсального стандарта метаданных, предпринял уникальную попытку обобщить опыт, знания и экспертные мнения в области оценки качества пространственных данных.

Более чем двум тысячам специалистам в области ГИС и ДЗЗ по всему миру было предложено заполнить специальную анкету[www.surveymonkey.com/s.aspx?sm=_2ffWZCQbm2ugKS_2fW8A0MWIQ_3d_3d.] и изложить в достаточно свободной форме то, какие параметры могут быть использованы для оценки качества геопространственной информации и каким образом эта оценка может быть описана в метаданных.

Некоторые попытки по совершенствованию механизмов описания качества данных были предприняты и такими инициативными группами, как GSDI Association, CGIAR и INSPIRE. Тем не менее до сих пор метаданные являются абсолютно добровольным элементом подготовки и распространения геоданных. Большинство компаний далеко не сразу приходят к пониманию важности документирования состояния данных, и ситуация в целом остается довольно-таки печальной: чаще всего пользователь ничего не знает о качестве используемых им данных.

Авторские права и юридические аспекты

Авторские права, пожалуй, одна из самых болезненных проблем для современного веб-сообщества, не обошла она и пространственные данные. В настоящее время законодательство в области их распространения столь фрагментарно, что большинству компаний приходится действовать по принципу "все или ничего" — данные либо хранятся за семью замками в серверной части, доступной по внутренней сети ограниченному числу сотрудников компании, либо публикуются в Интернете и дальше уследить за их судьбой становится очень трудно, а чаще всего — вообще невозможно. В связи с этим компании следуют принципу "ничего" и просто-напросто не публикуют свои данные.

Более того, растет число картографических веб-сервисов, позволяющих:

1) объединять слои данных из различных источников;

2) модифицировать сами данные;

3) создавать собственные данные на основе опубликованных, и для каждого случая вообще-то необходимо определять правообладателя и особенности дальнейшего распространения и использования информации. К настоящему моменту ни один из перечисленных случаев юридически не урегулирован, что вызывает негодование поставщиков данных. Интересный анализ этой проблемы и возможное решение предложил Онсард (Н. J. Onsurd)[www.sli.unimelb.edu.au/research/SDI_research/Presentations/CommonsAndMarketMelbourne.ppt.]. Главная идея здесь сводится к созданию единой peer-to-peer системы хранения, добавления и доступа к данным с использованием Open Access Licenses (аналог GNU для ПО).

С веб-картографией, в широком понимании этого слова, связана масса перспективных технологий. Остановимся на некоторых из них, имея в виду, что помимо простой визуализации и создания данных, пожалуй, самым новым аспектом работы с пространственными данными является перенос в веб их обработки и анализа. Это становится возможным благодаря развитию инструментария, легко размещаемого на веб-серверах: как открытого GDAL, PROJ, GeoTools, FDO, так и проприетарного ArcGIS Server.

Cloud processing

Развитие арендуемой системы распределенной обработки данных в Сети E2/E3 Amazon AWS ("облако вычислений") открывает интересные перспективы всем технологиям, связанным с большими объемами данных (исходные "реальные" данные дистанционного зондирования Земли имеют объем, исчисляемый терабайтами за сеанс).

Amazon в этом случае выступает с инициативой, отличной от уже привычного подхода других компаний (Google, Microsoft, Yahoo), сосредоточившихся лишь на доставке графических данных конечному пользователю.

Использует "облако" E2/E3 и фирма WeoGeo, которая одной из первых начала использовать "облачную технологию" в применении к геопространственным данным.

Буквально на днях стало известно, что туда же, в "облако", с учетом опыта WeoGeo, переходит и Spatial ETL (разработка компании Safe Software), что означает реализацию распределения нагрузок не только по доставке, но и по конвертации огромных массивов геоданных. Другой интересной, но пока еще не используемой широко технологией параллельных вычислений являются системы, подобные Digipede или opensource-системе распределенной обработки Hadoop.

Анализ данных

Современные средства позволяют публиковать в вебе не только данные или их представления, но и переносить туда отдельные аналитические операции. Например, имея модель процесса, построенную с помощью ArcGIS, ее можно опубликовать с помощью ArcGIS Server и использовать в ArcGIS Explorer для обработки данных прямо в вебе[www.esri.com/news/arcwatch/0607/graphics/agexplorer4-lg.jpg.]. Простой пример — вы велосипедист и хотите проложить оптимальный маршрут по пересеченной местности; другой пример — вы домовладелец, и ваш дом расположен рядом с рекой, вы хотите знать, в каких границах разольется река при повышении ее уровня на N метров. В последнее время появляются и opensource-средства анализа данных, например WPServer (от создателей OpenLayers).