Warum Apache Parquet/GeoParquet der Schlüssel für das Cloud-Geodatenmanagement ist
Einführung Geodatenprojekte erfordern in der Regel große Datenmengen. Diese wachsen mit der Entwicklung der Projekte ständig an. Um diese wachsenden...
Geodaten, ein unverzichtbares Element moderner Kartierungs- und standortbezogener Dienste, bieten eine einzigartige Perspektive auf unsere Welt.
Dieser Artikel ist Ihr kompakter Leitfaden, um ein grundlegendes Verständnis von Geodaten zu bekommen: Typen, Koordinaten, Strukturen und Formate. Wir zeigen Ihnen die Leistungsfähigkeit von Raster- wie Vektordaten und erklären, was Koordinatensysteme wichtig macht. Außerdem zeigen wir Ihnen, wie Geodaten Ihr Schlüssel zur Kartierung, Planung, Navigation und bahnbrechenden Forschung sein kann. Egal, ob Sie ein GIS-Profi oder ein Neuling auf dem Gebiet sind, dies ist Ihre Guide in die Welt der Geodaten.
Geodaten sind Daten mit einer eindeutigen Lage auf der Erde. Sie können Informationen über physische Merkmale wie Landformen, Gewässer und Vegetation sowie von Menschen geschaffene Strukturen wie Straßen, Gebäude und öffentliche Verkehrsmittel enthalten. Geodaten werden auf unterschiedliche Weise erfasst. Beispiele sind Satellitenbilder, Luftaufnahmen und terrestrische Vermessungen. Die Daten werden in der Regel als eine der beiden folgenden Arten gespeichtert: Raster oder Vektor.
Abbildung: Das linke Feld zeigt die drei Arten von Vektordaten: Punkt, Linie und Polygon. Das rechte Feld zeigt die gleichen Daten in ein Rasterformat übersetzt (Bildquelle). Daten können von Vektor zu Raster und umgekehrt konvertiert werden, die Art der Daten wird jedoch sehr unterschiedlich sein und hängt vom Konvertierungsalgorithmus ab.
💡Unabhängig von der Art der Daten ist die Kenntnis des Koordinatenreferenzsystems äußerst wichtig, um die Daten richtig zu verorten! Ohne jegliche Referenzinformation sind räumliche Daten unbrauchbar.
TrueOcean und TrueEarth indizieren hochgeladene Daten automatisch geografisch und speichern diese Information mit jeder Datendatei ab. Dieser Index wird verwendet, um Daten auffindbar und zugänglich zu machen, z.B. in der räumlichen Suchfunktion. Standardmäßig erkennen TrueEarth und TrueOcean den Datentyp beim Hochladen, um auch unerfahrene Nutzer bei der Nutzung und dem Verständnis ihrer Geodaten zu unterstützen.
Geodaten geben einen Standort für die gespeicherten Informationen in einem Koordinatensystem (räumliches Bezugssystem) an, der die Erdoberfläche darstellt. Es gibt zwei Arten von räumlichen Bezugssystemen:
Zu Referenzzwecken werden Kartenprojektionen üblicherweise mit dem EPSG-Katalog indiziert (EPSG) oder als WKT-Information angegeben (OGC WKT).
💡 Während EPSG die meisten globalen und regionalen Bezugsrahmen abdeckt, müssen sehr spezifische lokale Bezugsrahmen als WKT definiert werden. Jeder EPSG-Katalogeintrag kann mit einem WKT-String verknüpft werden, aber nicht jeder WKT kann mit einem EPSG-Katalogeintrag verknüpft werden.
TrueOcean und TrueEarth verwenden die Pseudo-Mercator-Kartenprojektion EPSG:3857. Dies wird in der Kartenansicht unten rechts angezeigt. Sie übersetzen alle hochgeladenen Geodaten in die Projektion ihrer Kartenansicht (ebenfalls Pseudo-Mercator, EPSG:3857). Bereits in der Dateivorschau kann der Nutzer die Lage der Daten und die Datenqualität überprüfen. Dies sorgt für die notwendige Konsistenz in umfangreichen Projekten.
❗ACHTUNG: Die Karten sind nur in Winkeln und Formen korrekt. Entfernungs- und Flächenmessungen sollten jedoch ausschließlich mit den integrierten Messwerkzeugen durchgeführt werden, die die Projektionsverzerrung einberechnen.
Geodaten können auf unterschiedliche Weise strukturiert werden, je nach Art der Daten und dem Verwendungszweck. Einige gängige Methoden zur Strukturierung von Geodaten sind jedoch folgende:
TrueEarth und TrueOcean nutzen eine skalierbare Geo-Cloud-Architektur, um große Datenmengen von Satellitenbildern bis hin zu komplexen 3D-Punktwolkendaten zu verarbeiten. Die Daten werden entweder auf zentralen Servern (z. B. IONOS) oder dezentralisiert und verteilt gespeichert und verwaltet. Die Verwendung von Open-Source-Komponenten gewährleistet Interoperabilität und ermöglicht es den Benutzern, projektübergreifend auf einer einzigen Plattform zu arbeiten.
👉TrueOcean übersetzt die Mehrzahl der verfügbaren Meeresdatenstrukturen auf standardisierte Weise, um die Daten FAIR zu machen und standardisierte Qualitätskontrollverfahren zu fördern. TrueEarth standardisiert typische Vermessungsdaten und bietet Werkzeuge zur Verarbeitung und Analyse dieser Daten.
Abbildung: TrueOcean Marine Data Platform - Kartenansicht mit Geodaten
Bei der Wahl der Art und Weise, wie Geodaten strukturiert werden sollen, sind die folgenden Faktoren zu berücksichtigen:
💡 Obwohl Shapefiles (.shp) immer noch das am häufigsten verwendete Format sind, gibt es mehrere Gründe, warum dieses Format nicht mehr zeitgemäß ist. Alternative Dateiformate, die in Betracht gezogen werden sollten, sind Geopackage und Geoparquet.
TrueEarth und TrueOcean konvertieren große Datendateien (z.B. Punktwolken) in Parquet-Dateien, was die Dateigröße drastisch reduziert und sie für Cloud-Anwendungen optimiert. Die Projektdatenübersicht strukturiert die Daten nach dem Upload automatisch und visualisiert auch komplexe Datenstrukturen.
👉 TrueOcean optimiert Arbeitsabläufe im Umgang mit marinen Datenformaten, z. B. von Fächerecholoten. TrueEarth unterstützt Dateiformate, die typischerweise in der Landvermessung verwendet werden, wie z. B. Drohnenvideoaufnahmen oder LiDAR-Daten.
Sobald die Geodaten strukturiert sind, können sie für eine Vielzahl von Zwecken verwendet werden, wie zum Beispiel:
TrueOcean und TrueEarth rationalisieren große Datenmengen. Ihr modularer Aufbau bietet ein hohes Maß an Flexibilität, um Workflows individuell und zweckorientiert anzupassen. Mit innovativen Werkzeugen werden Nutzer in die Lage versetzt, komplexe Daten selbständig zu analysieren. Kartenansichten können einfach über eine Browserschnittstelle verwaltet, verändert und geteilt werden.
Geodaten bieten eine wertvolle Grundlage für eine Vielzahl von Zwecken. Durch eine sorgfältige Strukturierung von Geodaten können diese besser zugänglich, einfacher zu nutzen und wertvoller gemacht werden.
Geodaten werden in Software für geografische Informationssysteme (GIS) für eine Vielzahl von Zwecken visualisiert und organisiert, z. B. für die Kartierung, die Planung und die Beantwortung von Forschungsfragen. Die gängigste kommerzielle GIS-Software ist ArcGIS by ESRI; das häufigste Open-Source-Äquivalent ist QGIS. GIS-Software organisiert Geodaten in Feature-Ebenen (Vektordaten) oder Raster-Ebenen (Rasterdaten). Der Stil der Ebenen kann mit einer Merkmals- oder Rasterebene als Ebenendatei (.lyr) für ArcGIS oder als Ebenenstil-Datei (.qml) für QGIS exportiert werden.
GIS, die aus der individuellen desktopbasierten Nutzung und Datenspeicherung entstanden sind, beschränken sich in der Regel auf Desktop- oder Serverlösungen. GIS-Projekte beziehen sich dabei auf direkte oder relative Datenpfade. Cloud-Lösungen und Multi-User-Projekte werden immer beliebter: ESRI bietet jetzt sein ArcOnline-Tool an; ein Open-Source-Äquivalent gibt es bisher jedoch nicht.
Gängige GIS-Software bietet eine Vielzahl von Werkzeugen zur Visualisierung, Veränderung, Analyse und zum Export von Daten.
Abbildung: Geografische Suchfunktionalität in der TrueOcean MDP
TrueOcean und TrueEarth optimieren das Datenmanagement in großen Multi-User- und Multisensor-Projekten. Ihre einzigartige GeoSearch-Technologie bietet eine neue Möglichkeit, Geodaten projektübergreifend und auf der Grundlage ihres tatsächlichen Standorts zu finden.
Autor
Meike Klischies, Research Project Manager bei north.io
Einführung Geodatenprojekte erfordern in der Regel große Datenmengen. Diese wachsen mit der Entwicklung der Projekte ständig an. Um diese wachsenden...
Geodatenmanagementmit north.io Im Geoinformationssektor ist die Nachfrage nach intuitiven, cloudbasierten Lösungen stark angestiegen. Die...
Hintergrund Im Bereich der Geodaten spielen Metadaten eine zentrale Rolle bei der Gewährleistung der Integrität, Nutzbarkeit und Zugänglichkeit von...
1 Min. Lesezeit
Kiel, 25. Juli 2023. Ein bahnbrechendes Update für die TrueOcean Marine Data Platform (MDP), das die Suche nach hydrographischen Vermessungs- und...