+358 40 7070202
myynti@corellia.fi
Search
Facebook Linkedin Instagram

Microsoft Fabric Advanced Production Data Engineering

Tämä Microsoft Fabric -koulutus keskittyy siihen, miten data engineering -ratkaisut suunnitellaan, toteutetaan ja viedään hallitusti tuotantoon. Opit parhaat käytännöt notebook-kehitykseen, inkrementaaliseen prosessointiin, suorituskyvyn optimointiin sekä automatisoituihin julkaisu- ja palautusprosesseihin.
Päivämäärät
Palautteita
Fabric-image-v2

kesto 3 pv

1690 € + ALV
  • Kurssimuoto: Luokka, Etä
Ilmoittaudu kurssille

Tämä edistynyt koulutus keskittyy siihen, miten Microsoft Fabric -ratkaisut rakennetaan ja operoidaan tuotannossa. Opit notebook-kehityksen parhaat käytännöt, medallion-arkkitehtuurin (Bronze/Silver/Gold) toteutuksen, metatietovetoiset dataputket kontrollimekanismeilla sekä inkrementaaliset Silver-tason päivitykset. Lisäksi käsitellään SCD Type 2 -dimensioiden toteutus Sparkilla ja  TSQL:llä, Lakehouse- ja Warehouse-suorituskyvyn optimointi sekä tuotantoon siirrot Azure DevOpsin ja fabric-cicd-libraryn avulla.

Kohderyhmä

  • Data- ja analytiikka-insinöörit, jotka toteuttavat Fabric Lakehouse- ja Warehouse-ratkaisuja
  • Konsultit, jotka toimittavat Fabric-projekteja asiakkaille
  • In-house-tiimit, jotka vastaavat tuotanto-operaatioista, suorituskyvystä ja julkaisuprosessista

Esitiedot

  • DP-700 tai vastaava Fabric-kokemus
  • Perusosaaminen Sparkista ja medallion-arkkitehtuurin periaatteista
  • Hyvä SQL-osaaminen sekä yleisten data engineering -mallien tuntemus (inkrementaalilataukset, dimensio-/faktamallit)

Tietoa koulutuksista

Luokkakoulutukset
Corellian koulutustiloissa:
Kalevankatu 9 A, Helsinki

Kiinnostaako asiakaskohtainen toteutus? Meillä onnistuu.

Lähetä tarjouspyyntö

Kurssin olennainen sisältö

Module 1 — Production Notebook Development in Fabric

  • Apply notebook engineering standards (structure, idempotency, parameters)
  • Use debugging and diagnostics techniques for notebooks
  • Implement run logging and rerun-safe patterns for production
  • Use delta log history/time travel concepts for recovery and troubleshooting
    Lab: Lab – Production Notebook Template & Standards

Module 2 — Medallion Architecture for Lakehouse and Warehouse

  • Organize Lakehouse using Bronze/Silver/Gold layers
  • Define table contracts (schema, keys, quality expectations)
  • Design Silver as a stable interface for Gold and Warehouse
  • Establish Lakehouse vs Warehouse serving decision framework
    Lab: Lab – Medallion Contracts and Silver Design

Module 3A — Pipeline Architecture: Metadata and Control Tables

  • Design metadata-driven ingestion patterns (entities, sources, destinations)
  • Implement control tables for incremental file ingestion (watermarks)
  • Define operational states (new, processing, completed, failed)
  • Establish repeatable pipeline templates for multiple entities
    Lab: Lab – Metadata Model + Control Tables for Incremental Ingestion

Module 3B — Advanced Pipeline Controls: Schema Evolution and Operations

  • Handle schema drift and controlled schema evolution
  • Implement run logging, retries, and reprocessing patterns
  • Apply validation steps and failure handling strategies
  • Standardize operational outputs (metrics, logs, audit trails)
    Lab: Lab – Metadata-Driven Pipeline with Logging + Schema Controls

Module 4 — Incremental Processing Patterns for Silver

  • Ingest new and changed data safely (deduplication and replay handling)
  • Upsert into Silver tables using Spark SQL patterns
  • Implement data quality policies (fail vs quarantine vs warn)
  • Validate correctness with reconciliations and repeatable checks
    Lab: Lab – Incremental Silver Upsert with Deduplication

Module 5 — SCD Type 2 Dimensions in Lakehouse

  • Implement SCD Type 2 for customers and products
  • Generate surrogate keys without identity in Lakehouse
  • Validate current vs historical records and effective-date logic
  • Use a single Spark SQL MERGE pattern to manage history
    Lab: Lab – Lakehouse SCD2 with Single MERGE Pattern (Spark SQL, PySpark)

Module 6 — Warehouse Integration and T-SQL in Notebooks

  • Use OPENROWSET patterns for file and OneLake access
  • Run T-SQL from notebooks for validation and serving logic
  • Design curated serving structures (dimensions/facts) for consumers
  • Apply staging and reconciliation patterns for production serving
    Lab: Lab  OPENROWSET Staging + T-SQL Execution from Notebooks, T-SQL SCD Type 2

Module 7A — Lakehouse Performance Engineering

  • Apply partitioning strategies and validate partition pruning
  • Apply Z-order for selective query performance improvements
  • Apply file sizing and compaction strategies for scale
  • Prove improvements using repeatable baselines and benchmarks
    Lab: Lab – Lakehouse Performance: Partitioning + Z-order

Module 7B — Warehouse Performance Engineering

  • Design clustering keys based on query patterns
  • Measure impact using query metrics and repeatable baselines
  • Operationalize clustering strategy for production workloads
  • Validate stability under repeatable query workloads
    Lab: Lab – Warehouse Performance: Clustering + Baseline Comparison

Module 8 — Production Delivery with Azure DevOps and fabric-cicd-library

  • Implement CI/CD automation for Fabric artifacts
  • Configure environment parameters (dev/test/prod)
  • Add release gates (schema, rowcounts, freshness, smoke tests)
  • Apply rollback and recovery procedures for production delivery
    Lab: Lab – Azure DevOps Release Pipeline with fabric-cicd-library

 

Kurssin kesto

Kesto 3 pv.

Kurssityyppi

Luokka / Etä

Kouluttajat

Pekka Korhonen

Ilmoittaudu kurssille

Osallistujan tiedot

Käyttöjärjestelmätoive *

Osallistumistapa *

Alkuun
Sisältö
close menu icon

Oletko kiinnostunut asiakaskohtaisesta toteutuksesta?

Kerro tarpeesi, niin suunnittelemme koulutuksen tarpeisiinne räätälöitynä.