Kursüberblick
Kursinhalt
Lektion
- Einführung in Azure Synapse Analytics
- Beschreiben von Azure Databricks
- Einführung in Azure Data Lake Storage
- Die Delta Lake-Architektur beschreiben
- Arbeiten mit Datenströmen mithilfe von Azure Stream Analytics
Lab: Untersuchen von Rechen- und Speicheroptionen für Data-Engineering-Workloads
- Kombinieren von Streaming und Stapelverarbeitung mit einer einzigen Pipeline
- Organisieren von Data Lake in Ebenen der Dateitransformation
- Indizieren von Data Lake Storage für Abfrage- und Workload-Beschleunigung
Nach Abschluss dieses Moduls sind die Kursteilnehmer in der Lage:
- Azure Synapse Analytics zu beschreiben
- Azure Databricks zu beschreiben
- Azure Data Lake-Speicher zu beschreiben
- Delta Lake-Architektur zu beschreiben
- Azure Stream Analytics zu beschreiben
Lektion
- Erkunden von serverloser SQL-Pool-Funktionen von Azure Synapse
- Abfragen von Daten im Lake mit serverlosen SQL-Pools von Azure Synapse
- Erstellen der Metadatenobjekte in serverlosen SQL-Pools von Azure Synapse
- Sichern von Daten und Verwaltung von Benutzer in serverlosen SQL-Pools von Azure Synapse
Lab: Ausführen interaktiver Abfragen mit serverlosen SQL-Pools
- Abfragen von Parquet-Daten mit serverlosen SQL-Pools
- Erstellen von externen Tabellen für Parquet- und CSV-Dateien
- Erstellen von Ansichten mit serverlosen SQL-Pools
- Sicherer Zugriff auf Daten in einem Data Lake bei Verwendung von serverlosen SQL-Pools
- Konfigurieren von der Data Lake-Sicherheit mit Role-Based Access Control (RBAC) und Access Control List
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- sich mit den serverlosen SQL-Poolfunktionen von Azure Synapse vertraut machen
- Daten im Lake mit serverlosen SQL-Pools von Azure Synapse abfragen
- Metadatenobjekte in serverlosen SQL-Pools von Azure Synapse erstellen
- Daten sichern und Benutzer in serverlosen SQL-Pools von Azure Synapse verwalten
Lektion
- Beschreiben von Azure Databricks
- Lesen und Schreiben von Daten in Azure Databricks
- Arbeiten mit DataFrames in Azure Databricks
- Arbeiten mit erweiterten DataFrames-Methoden in Azure Databricks
Lab: Data Exploration und Transformation in Azure Databricks
- Verwenden von DataFrames in Azure Databricks, um Daten zu untersuchen und zu filtern
- Cachen von DataFrame für schnellere nachfolgende Abfragen
- Entfernen von doppelten Daten
- Datums-/Uhrzeitwerte bearbeiten
- Entfernen und Umbenennen von DataFrame-Spalten
- Aggregieren Daten, die in einem DataFrame gespeichert sind
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- Azure Databricks beschreiben
- Daten in Azure Databricks lesen und schreiben
- mit DataFrames in Azure Databricks arbeiten
- mit erweiterten DataFrames-Methoden in Azure Databricks arbeiten
Lektion
- Verstehen von Big Data Engineering mit Apache Spark in Azure Synapse Analytics
- Erfassen von Daten mit Apache Spark-Notebooks in Azure Synapse Analytics
- Transformieren von Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics
- Integrieren von SQL- und Apache Spark-Pools in Azure Synapse Analytics
Lab : Untersuchen, Transformieren und Laden von Daten mit Apache Spark in das Data Warehouse
- Eine Datenexploration in Synapse Studio durchführen
- Daten mit Spark-Notebooks in Azure Synapse Analytics erfassen
- Daten mit DataFrames in Spark-Pools in Azure Synapse Analytics transformieren
- SQL- und Spark-Pools in Azure Synapse Analytics integrieren
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- Big Data Engineering mit Apache Spark in Azure Synapse Analytics beschreiben
- Daten mit Apache Spark-Notebooks in Azure Synapse Analytics erfassen
- Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics transformieren
- SQL- und Apache Spark-Pools in Azure Synapse Analytics integrieren
Lektion
- Verwenden Sie bewährte Methoden zum Laden von Daten in Azure Synapse Analytics
- Erfassung im Petabyte-Maßstab mit Azure Data Factory
Lab: Daten aufnehmen und in das Data Warehouse laden
- Mit Azure Synapse Pipelines eine Erfassung im Petabyte-Maßstab durchführen
- Daten mit PolyBase und COPY mit T-SQL importieren
- Bewährte Methoden zum Laden von Daten in Azure Synapse Analytics verwenden
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- bewährte Methoden zum Laden von Daten in Azure Synapse Analytics verwenden
- im Petabyte-Maßstab mit Azure Data Factory erfassen
Lektion
- Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
- Code-freie Transformation im großen Maßstab mit Azure Data Factory oder Azure Synapse Pipelines
Lab: Transformieren von Daten mit Azure Data Factory oder Azure Synapse Pipelines
- Code-freie Transformationen in großem Maßstab mit Azure Synapse Pipelines ausführen
- Eine Datenpipeline erstellen, um schlecht formatierte CSV-Dateien zu importieren
- Mapping-Data Folows erstellen
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- die Datenintegration mit Azure Data Factory durchführen
- mit Azure Data Factory eine skalierbare Transformation ohne Code durchführen
Lektion
- Orchestrieren von Datenverschiebung und -transformation in Azure Data Factory
Lab: Orchestrieren der Datenverschiebung und -transformation in Azure Synapse Pipelines
- Integrieren Sie Daten aus Notebooks mit Azure Data Factory oder Azure Synapse Pipelines
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- die Datenverschiebung und -transformation in Azure Synapse Pipelines orchestrieren
Lektion
- Sichern von Data Warehouse in Azure Synapse Analytics
- Konfigurieren und Verwalten von Geheimnissen in Azure Key Vault
- Implementieren von Compliance-Kontrollen für sensible Daten
Lab: End-to-End-Sicherheit mit Azure Synapse Analytics
- Sichern von Infrastruktur zur Unterstützung von Azure Synapse Analytics
- Sichern von Azure Synapse Analytics-Arbeitsbereich und den verwalteten Dienste
- Sichern von Azure Synapse Analytics-Arbeitsbereichsdaten
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- ein Data Warehouse in Azure Synapse Analytics sichern
- Geheimnisse in Azure Key Vault konfigurieren und verwalten
- Compliance-Kontrollen für sensible Daten implementieren
In diesem Modul erfahren die Teilnehmer, wie Azure Synapse Link die nahtlose Konnektivität eines Azure Cosmos DB-Kontos mit einem Synapse-Arbeitsbereich ermöglicht. Die Kursteilnehmer werden verstehen, wie Synapse-Link aktiviert und konfiguriert wird, und dann wie sie den Analysespeicher von Azure Cosmos DB mit Apache Spark und serverlosem SQL abfragen.
Lektion
- Entwerfen von hybrider Transaktions- und Analyseverarbeitung mit Azure Synapse Analytics
- Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
- Abfragen von Azure Cosmos DB mit Apache Spark-Pools
- Abfragen von Azure Cosmos DB mit serverlosen SQL-Pools
Lab: Hybrid Transactional Analytical Processing (HTAP) mit Azure Synapse Link unterstützen
- Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
- Abfragen von Azure Cosmos DB mit Apache Spark für Synapse Analytics
- Abfragen von Azure Cosmos DB mit einem serverlosen SQL-Pool für Azure Synapse Analytics
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- hybride Transaktions- und Analyseverarbeitung mit Azure Synapse Analytics entwerfen
- Azure Synapse Link mit Azure Cosmos DB konfigurieren
- Azure Cosmos DB mit Apache Spark für Azure Synapse Analytics abfragen
- Azure Cosmos DB mit serverlosem SQL für Azure Synapse Analytics abfragen
Lektion
- Aktivieren von zuverlässigem Messaging für Big-Data-Anwendungen mithilfe von Azure Event Hubs
- Arbeiten mit Datenströmen mithilfe von Azure Stream Analytics
- Erfassen von Datenströme mit Azure Stream Analytics
Lab: Echtzeit-Stream-Verarbeitung mit Stream Analytics
- Verwenden von Stream Analytics, um Echtzeitdaten von Event Hubs zu verarbeiten
- Verwenden von Windowing-Funktionen von Stream Analytics, um Aggregate zu erstellen und an Synapse Analytics auszugeben
- Skalieren von Azure Stream Analytics-Auftrag, um den Durchsatz durch Partitionierung zu erhöhen
- Partitionieren von Stream-Eingabe neu, um die Parallelisierung zu optimieren
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- mithilfe von Azure Event Hubs zuverlässiges Messaging für Big-Data-Anwendungen aktivieren
- mit Datenströmen mithilfe von Azure Stream Analytics arbeiten
- Datenströme mit Azure St Ries Analytics erfassen
Lektion
- Verarbeiten von Streamingdaten mit strukturiertem Azure Databricks-Streaming
Lab: Erstellen einer Streamverarbeitungslösung mit Event Hubs und Azure Databricks
- Erkunden von wichtigsten Funktionen und Verwendungen von Structured Streaming
- Streamen von Daten aus einer Datei und Schreiben von Datei ein verteiltes Dateisystem
- Verwenden von gleitendem Fenster, um nicht alle Daten, sondern Datenblöcke zu aggregieren
- Anwenden von Wasserzeichen, um veraltete Daten zu entfernen
- Herstellen einer Verbindung zu Lese- und Schreibstreams von Event Hubs
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- Verarbeiten von Streamingdaten mit strukturiertem Azure Databricks-Streaming
DP-203T00: Data Engineering on Microsoft Azure
Erfahrungsbericht
Es gibt noch keine Bewertungen.