Tag Archief van: Ixivault

Verhuizen naar de Azure-cloud: dark data uitpakken

Verhuizen naar de Azure cloud?

Tegenwoordig stappen steeds meer bedrijven over naar de cloud – om te automatiseren en te profiteren van AI en schaalbare opslag, en om de kosten ten opzichte van bestaande legacy-infrastructuur te verlagen. In 2021 zal namelijk naar schatting 19,2% van de grote organisaties de overstap naar de cloud maken. En Microsoft Azure leidt die verschuiving bijna – met een marktacceptatie van 60%.

Vaak richten organisaties zich tijdens een cloudtransitie op geselecteerde toepassingen. De bestaande gegevens zouden echter wel eens de grootste complexiteit kunnen vormen. Een meerderheid van de organisaties gebruikt minder dan 50% van de gegevens die zij bezitten. Tegelijkertijd is er geen toezicht op gegevens waarvan men eigenaar is. Deze ongebruikte, niet-geclassificeerde en niet-gelabelde gegevens worden ook wel “dark data” genoemd, omdat ze in de schaduw blijven totdat er voldoende tijd is uitgetrokken om ze te sorteren, labelen en classificeren.

Verhuizen naar de Azure Cloud is als verhuizen

Wij denken dat het zinvol is om de overstap naar de Azure-cloud te vergelijken met een verhuizing. Je beslist waar je gaat wonen, je kiest je nieuwe infrastructuur en je maakt alles klaar om in te trekken. Dan pak je je oude spullen in en verhuis je mee. Het probleem is dat je waarschijnlijk al genoeg dozen hebt liggen. Denk aan je zolder, je kelder en opslag. Dingen van eerdere verhuizingen. Je hebt misschien alle kennis verloren van wat er in zit. Hetzelfde geldt wanneer de applicaties en gegevens van uw organisatie moeten verhuizen. Maar deze keer heb je ook te maken met “dozen” met gegevens die niet gelabeld zijn door mensen die de organisatie verlaten, gegevens die langere tijd ongebruikt zijn gebleven en gegevens die zijn achtergebleven van reeds verouderde toepassingen. Het verplaatsen van deze en andere minder bekende gegevens kan in de toekomst tot grotere problemen leiden.

  • Gegevens stapelen zich sneller op dan ooit tevoren. Morgen heb je er meer van. Daarom is het nu het beste moment om de gegevens door te nemen en te categoriseren
  • Goed beheer van gegevens is onmogelijk zonder eerst de inhoud ervan te kennen. Oudere gegevens van vóór de GDPR-regelgeving zijn er nog steeds. Compliance- en risicofunctionarissen en CISO’s vrezen deze onbekende gegevens en vrezen dat ze buiten de compliance-voorschriften vallen.
  • Met dark data kan het moeilijk zijn om door controles op naleving van de regelgeving te komen. Als u een ‘doos’ met gegevens niet kunt openen om de controleurs te laten zien wat erin zit, kunt u niet bewijzen dat u aan de regels voldoet.
  • Je mag ook niet zomaar gegevens wissen. Industrieën en overheden moeten voldoen aan wet- en regelgeving over het archiveren en onderhouden van open data.
  • Als u weet welke gegevens u hebt, kunt u een strategie bepalen en gecontroleerde beslissingen nemen over koude/warme/warme opslag om zowel de kosten als de toegang te optimaliseren. Het verplaatsen van gegevens die nog donker zijn, kan leiden tot onomkeerbaar gegevensverlies of ten minste dure reparaties in de toekomst.
  • Voor het lokaliseren en raadplegen van gegevens is het soort informatie nodig dat het best wordt vastgelegd in classificaties en labels; voor de analyse van historische gegevens zijn deze metadata nodig.
  • De delen van gegevens die dark data vormen, maken organisaties kwetsbaar omdat het ontwerpen en nemen van beveiligingsmaatregelen extra moeilijk wordt.
  • Soms kunt of moet u informatie verwijderen. U kunt dit echter alleen doen als u de inhoud ervan van tevoren kent en de naleving van de regelgeving kunt bepalen en een vooruitziende blik hebt voor toekomstige waardevolle analyses.

Hoe kunt u de toegang tot deze gegevens optimaliseren? Toen een van onze klanten, de Drents Overijsselse Delta Waterschappen, zich boog over het archiveren en opslaan van haar projectdocumentatie uit het verleden in de cloud, vond zij de noodzakelijke handmatige labeling een ontmoedigende taak. De enorme tijdsinvestering die nodig is, is zeer vergelijkbaar voor andere organisaties die op de cloud overstappen. Handmatige controle van gegevens is voor de meeste organisaties gewoonweg te arbeidsintensief om binnen een haalbaar tijdsbestek uit te voeren.

Gegevens uitpakken met Ixivault van Synerscope

Met Synerscope krijgt u de gegevenshelderheid die u nodig hebt. Als zwak gecontroleerd AI-systeem zijn onze oplossingen gebouwd om te presteren waar standaard AI-benaderingen zouden falen. Synerscope’s Ixivault implementeert op uw Azure Tenant – zonder eigen backend. Dit betekent dat alle gegevens binnen uw huurder blijven, wat een groot pluspunt is voor alle zaken en zorgen met betrekking tot beveiliging, governance en compliance. Met onze wrijvingsloze implementatie kunt u vervolgens donkere gegevens openen, categoriseren en labelen met behulp van een combinatie van machine learning met handmatige beoordeling om het volledige proces met gemiddeld 70% te versnellen.

Ixivault analyseert uw volledige gegevenspool van gestructureerde en ongestructureerde gegevens, maakt categorieën op basis van overeenkomsten tussen gegevens, haalt trefwoorden en onderscheidende termen eruit en genereert afbeeldingen van die gegevensstapels – die uw domeinexpert vervolgens snel kan gaan labelen. Het belangrijkste is dat Ixivault ingebouwde leermogelijkheden heeft, wat betekent dat het beter wordt in het categoriseren en labelen van uw specifieke gegevens naarmate u het gebruikt.

Dit alles maakt Ixivault de perfecte tool om u te helpen verhuizen – door dozen met gegevens uit te pakken terwijl u ze naar de cloud verplaatst. U kunt dan kiezen voor passende opslag, beheer en toegangscontrole, ook als u de gegevens wel of niet hoeft te bewaren. Voor het eerst kunt u een bijna rand-tot-rand overzicht krijgen van al uw gegevens met inzoommogelijkheden tot op zeer gedetailleerd niveau, zodat u de beste keuze kunt maken wat u met deze nieuw ontdekte gegevens gaat doen. Nieuwe informatie over uw gegevens kan u geld opleveren en tegelijkertijd geld besparen.

Als u hulp nodig heeft bij het uitpakken van uw dark data tijdens uw verhuizing, neem dan contact met ons op voor meer informatie over hoe Synerscope kan helpen. U kunt de Ixivault-app ook rechtstreeks kopen op de Azure Marketplace van Microsoft.

Ixivault helpt bij het labelen en categoriseren van Dark Data in de Azure Cloud

Ixivault, een beheerde app op Microsoft Azure

De donkere gegevens van uw organisatie vormen een uitdaging bij de overstap naar de cloud. Toch is het laten staan op een huidige locatie ook niet de oplossing.

Donkere gegevens omvatten digitale gegevens die worden opgeslagen maar nooit worden gemobiliseerd voor analyse of om informatie te leveren. Als u over dark data beschikt, mist uw organisatie al mogelijkheden om er waarde uit te halen. Maar als u donkere gegevens niet meeneemt naar de cloud, drijven ze nog verder af van uw andere gegevensassets. Ondertussen biedt de flexibele reken- en geheugeninfrastructuur van de cloud een zeer kosteneffectieve oplossing om die gegevens te mobiliseren. Het belangrijkste is dat dit gebeurt op elke schaal die uw organisatie nodig heeft.

Er zijn echter nog uitdagingen. Bijvoorbeeld het overwinnen van de risico’s van governance en compliance, hogere opslagkosten en keuzes op het gebied van opslagtiering. Kiest u ervoor gegevens in de buurt op te slaan om ze met andere gegevens te synchroniseren – maar tegen hogere opslagkosten?

Donkere gegevens migreren naar de Azure-cloud

Voor de meeste organisaties is het niet opstellen en uitvoeren van een dark data plan als onderdeel van de cloud transitie in het beste geval ongewenst en in het slechtste geval in strijd met data compliance. Synerscope levert de tools om die gegevens te analyseren en te “ontsluiten” tijdens de overgang, waarbij efficiënt gebruik wordt gemaakt van cloud computing, terwijl u de gegevens volledig onder controle houdt. Dit betekent dat er geen extra risico’s ontstaan voor compliance, beveiliging, enz.

Synerscope helpt u ook om dark data te mobiliseren, met behulp van een combinatie van machine learning, AI en menselijke expertise. Het ontsluiten van dark data is voor de meeste organisaties essentieel. Dat blijft zo, of u nu overschakelt van legacy-systemen naar Azure, uw governance-voetafdruk verkleint of onder druk staat om gegevens te ontsluiten voor compliance of een audit van de regelgeving. Ixivault van Synerscope komt in beeld op elk punt waar u gedetailleerde en brede overzichten van complexe gegevens nodig hebt. Dit wordt bereikt door het sorteren, categoriseren en onthullen van patronen en door domeindeskundigen de middelen te geven om snel en met grote nauwkeurigheid categorieën te labelen.

Uw gegevens, uw Azure huurder


Ixivault
is een beheerde app op Microsoft Azure. Wanneer u de tool inzet, installeert deze bovenop uw Azure Blob of ADLS waar de gegevens onder uw controle blijven. Wij zetten Ixivault aan op Azure computing, wat betekent dat de rekenkracht dynamisch wordt opgeschaald om te voldoen aan de omvang en complexiteit van de gegevens die u erheen stuurt om te scannen en te berekenen. Op geen enkel moment verlaten de gegevens uw Azure-tenant of een toegewezen beveiligde opslag die wordt gebruikt voor het scheiden van gevoelige gegevens. Het ontwerp van SynerScope voldoet aan de strengste eisen voor compliance en governance. Onze Ixivault voelt en werkt als een SaaS, maar doet dat in uw huurder, zonder een eigen back-end voor de opslag van uw gegevens. Daarom kunt u met Synerscope uw donkere gegevens categoriseren, sorteren en labelen zonder extra ingewikkelde regelgeving. Uw gegevens blijven in uw cloud, het proces is volledig transparant en u controleert en bewaakt uw huurder voor alle zaken die verband houden met gegevenssoevereiniteit.

Dat geldt of u nu voor het eerst gegevens naar Azure importeert om ze te inspecteren voordat u beslist waar u ze opslaat of dat u al gegevens in een Blob of ADLS hebt en die moet inspecteren of gegevens op legacy-infrastructuur wilt openen.

Sorteren en categoriseren van donkere gegevens

Ixivault maakt gebruik van AI en machine learning voor sortering en tekstextractie. Hierbij bieden visuele displays domeinexperts een rijke en onderscheidende context waaruit de meest geschikte labels van beschrijvende metadata kunnen worden gekozen. Onze technologie is een zwak gecontroleerd systeem, waarbij eerst unsupervised computing de gegevens in bulk behandelt, gevolgd door een menselijke operator om labels en in bulk gesorteerde gegevenscategorieën te valideren. Het systeem werkt rechtstreeks op ruwe gegevensinvoer, zonder training. Het gebruik van onbewerkte datasets met menselijke validatie om labels toe te voegen betekent dat we het systeem mettertijd slimmer kunnen maken. Toekomstige onbewerkte datasets worden automatisch gecontroleerd op overeenkomsten met eerder verwerkte datasets. Er kan dus vanaf de eerste dag een hoge waarde worden bereikt, maar het systeem leert in de loop der tijd. .

Ixivault abstraheert gegevens tot hypervectoren – waarbij de overeenkomst tussen gegevens algoritmisch wordt vergeleken. Met behulp van algoritmen kan de AI nauwkeurig gegevens sorteren in “stapels” van soortgelijke bestanden. Formaat, lay-out en inhoud van documenten worden allemaal door de algoritmen gebruikt om gewone bedrijfsdocumenten zoals contracten, brieven, offertes, facturen, e-mails, brochures, claims en verschillende tabellen te scheiden. En onze algoritmen scheiden subgroepen volgens de feitelijke inhoud binnen elk van deze. Onze taalextractie presenteert onderscheidende woordgroepen uit elk “Stack”, zodat mensen de meest geschikte labels kunnen selecteren. Dezelfde geëxtraheerde woorden kunnen ook worden gekoppeld aan zakelijke woordenlijsten en gegevenscatalogi waarover uw organisatie reeds beschikt. Met hypervectoren kunnen onze algoritmen overeenkomsten tussen documenten “holistisch” detecteren, op een schaal die het menselijk vermogen te boven gaat. De resulterende samenvoeging van rijke ontologieën en semantische kennis zijn herbruikbaar in de hele organisatie en de vele toepassingen die er draaien.

Machinaal leren met menselijke context

Ixivault creëert outputs waarmee uw data-experts op maximale snelheid en schaal kunnen instappen. De toepassing toont een dashboard met de stapel gegevens, visuele beeldvorming van wat zich in deze stapel bevindt, en trefwoorden of tags die uit die gegevens en metadata worden gehaald. Waar beschrijvende metadata ontbreken of ontbreken, stelt ons systeem nieuwe kandidaten voor labels voor. Het systeem ondersteunt gebruikers bij het uitvoeren van snelle en krachtige data discovery-cycli, waarbij zoeken, sorteren, programmeren in natuurlijke taal en labelen aan elkaar worden gekoppeld. De output is kennis over de dark data van uw organisatie die kan worden gebruikt en hergebruikt door andere gebruikers en softwaresystemen.

Met deze aanpak kunnen gegevensdeskundigen naar bestanden en trefwoorden kijken en zeer snel tags toevoegen. Nog belangrijker is dat het ruimte schept voor menselijke expertise, om te herkennen wanneer gegevens buiten de norm vallen – bv. bestanden houden verband met een bijzondere omstandigheid, wat machines eenvoudigweg niet op betrouwbare wijze kunnen doen. Het resultaat is een krachtig, snel en flexibel systeem, bruikbaar met uiteenlopende gegevens.

Zodra u de door de machine voorgestelde etiketten hebt geselecteerd, hoeft u slechts een klein aantal van de eigenlijke bestanden afzonderlijk te inspecteren om de etikettering voor een hele groep gesorteerde bestanden te bevestigen.

Donkere gegevens ontsluiten bij de overgang naar de cloud

De overgang naar Azure dwingt de meeste organisaties om iets te doen met, of zeker na te denken over, hun dark data. Je kunt niet onnoemelijk veel gegevens naar de cloud verplaatsen zonder te weten wat erin zit. U zou niet genoeg extra waarde kunnen halen uit zo’n blinde zet. Om gegevens naar de juiste opslagoplossingen te leiden voor eenvoudige governance, compliance en beheer is kennis van de inhoud nodig. Bijvoorbeeld, zodat u voorrang kunt geven aan gegevens voor verdere verwerking en berekening, of kunt besparen op opslag voor inhoud met minder toegevoegde waarde. Data intelligentie kan meestal worden betaald door het verminderen van “dark storage”. Ondertussen kan uw organisatie haar bestuurlijke voetafdruk verbeteren en de naleving van de regelgeving waarborgen.

Synerscope kan de potentiële waarde van dark data leveren door de kennis te vergroten, te helpen bij retentie, toegangsbeheer, ontdekking, opschoning van gegevens, maatregelen ter bescherming van de privacy van gegevens en naleving. Het belangrijkste is dat dark data mining organisaties de informatie geeft die nodig is om met die gegevens zowel zakelijke als IT- en nalevingsbeslissingen te nemen – omdat gegevens de drie raakvlakken hebben.

Als u meer wilt weten over de software van Synerscope en onze aanpak, neem dan contact met ons op om een demo te plannen en de software in actie te zien.