Lakehouse ei ole kompromissi, se on paras molemmista maailmoista. Voit tallentaa raakadataa, JSON-tiedostoja, lokeja ja kuvia Data Laken tapaan, mutta samalla tehdä SQL-kyselyitä, ACID-transaktioita ja rakentaa BI-raportteja kuten perinteisessä tietovarastossa. Microsoft Fabric tekee tästä vieläkin helpompaa OneLake-konseptilla.

OneLake, yksi data lake koko organisaatiolle

OneLake on vallankumouksellinen konsepti. Se on kuin "OneDrive datalle", yksi yhtenäinen tallennuspaikka, joka on automaattisesti käytettävissä kaikissa Fabric-työkaluissa. Ei enää mount-operaatioita, connection stringejä tai datan kopiointia palvelusta toiseen.

• Hierarkkinen namespace: Workspace > Lakehouse > Tables/Files -rakenne
• Automaattinen saatavuus: Data näkyy heti kaikissa Fabric-palveluissa
• Shortcuts: Viittaukset ulkoiseen dataan ilman kopiointia
• RBAC-oikeudet: Tarkka pääsynhallinta workspace- ja item-tasoilla
• Versiohistoria: Time travel ja muutoshistoria Delta-tauluille
• Globaali namespace: Yksi osoite datalle läpi organisaation

Delta Lake: avoimen lähdekoodin perusta

Microsoft Fabric Lakehouse perustuu Delta Lake -teknologiaan, joka on avoimen lähdekoodin projekti. Delta tuo ACID-transaktiot, schema enforcement ja time travel -ominaisuudet Parquet-tiedostoihin. Tämä tarkoittaa, että datanne ei ole lukittu Microsoftin ekosysteemiin.

Lakehouse-arkkitehtuurin kerrokset

Hyvin suunniteltu Lakehouse jakautuu loogisiin kerroksiin, jotka jalostava dataa raakamuodosta liiketoimintavalmiiksi:

• Bronze Layer: Raakadata sellaisenaan lähdejärjestelmistä
• Silver Layer: Puhdistettu, validoitu ja standardoitu data
• Gold Layer: Liiketoimintavalmiit aggregaatit ja tietomallit
• Sandbox: Data scientistien ja analyytikoiden kokeilualue
• Archive: Historiadata ja compliance-vaatimukset

SQL Analytics Endpoint: T-SQL Lakehousessa

Jokainen Fabric Lakehouse saa automaattisesti SQL Analytics Endpointin. Tämä on read-only SQL-näkymä Lakehouse-dataan, joka mahdollistaa T-SQL-kyselyt suoraan Delta-tauluihin. Power BI, Excel ja muut työkalut voivat yhdistää suoraan tähän endpointiin.

SQL Analytics Endpoint ei ole kopio datasta, se on live-näkymä samaan dataan. Muutokset Lakehousessa näkyvät välittömästi SQL-puolella. V-Order-optimointi tekee kyselyistä salamannopeita, vaikka data olisi petabyte-luokkaa.

Spark ja Notebooks Lakehouse-kehityksessä

Fabric Lakehouse tukee Apache Spark -pohjaista kehitystä. Voit kirjoittaa PySpark-, Scala-, SparkSQL- tai R-koodia Notebook-ympäristössä. Spark-sessiot käynnistyvät sekunneissa (Live Pool), ja skaalautuvat automaattisesti työkuorman mukaan.

Shortcuts: data virtualization Fabricissa

Shortcutsien avulla voit luoda "pikakuvakkeen" dataan, joka sijaitsee Azure Data Lake Storagessa, AWS S3:ssa tai toisessa OneLake-sijainnissa. Dataa ei kopioida, se vain näkyy osana Lakehousea.

Tämä on erityisen hyödyllistä, kun haluat hyödyntää olemassa olevaa Data Lakea tai jakaa dataa eri Fabric-kapasiteettien välillä. Shortcuts toimivat myös cross-tenant, eli voit jakaa dataa turvallisesti kumppaniorganisaatioiden kanssa.

Lakehouse ja Machine Learning

Fabric Lakehouse on optimaalinen alusta koneoppimiselle. Data scientistit voivat työskennellä suoraan raakadatan kanssa, rakentaa feature engineering -putkia ja tallentaa mallit MLflow-rekisteriin. Kaikki samassa ympäristössä, ilman datan siirtoa.

Data Clinicin Fabric Lakehouse -palvelut

Microsoft Solutions Partner (Data & AI, Azure) -kumppanina autamme suunnittelemaan, toteuttamaan ja optimoimaan Fabric Lakehouse -ratkaisunne. Sertifioidut asiantuntijamme varmistavat, että Lakehousenne on suorituskykyinen, skaalautuva ja kustannustehokas.

Oli kyseessä ensimmäinen Lakehouse-projekti tai olemassa olevan Data Laken modernisointi Fabriciin, meillä on osaaminen ja kokemus viedä projekti maaliin.