Als je de wereld van bedrijven en data bekijkt, kan het leren van datascience niet vaak genoeg worden benadrukt. Het is een vakgebied dat de manier waarop bedrijven werken drastisch heeft veranderd. We bevinden ons in een tijdperk van big data en om succes te behalen, hebben bedrijven data-gedreven inzichten nodig om beslissingen te nemen.

Maar datascience gaat niet alleen over programmeren en algoritmen, het gaat ook om het begrijpen van de gegevens die worden geanalyseerd. En dat is waar datasets in het spel komen. Ze zijn cruciaal voor iedereen die datascience wil leren.

Hieronder een infographic om de Big Data te duiden.

Big Data (bron: European Commission (2020), EPRS (2016))

Intermezzo

Disclaimer: zelf ben ik een Data Engineer en geen Data Scientist. Mijn werk brengt wel met zich mee, dat ik snap wat een Data Scientist doet en verwachten kan van een Data Engineer.

Laat ik aan de hand van The Data Science Hierarchy Of Needs van Monica Rogati onderzoeken hoe deze twee vakgebieden zich tot elkaar verhouden. De rode vlakken op de afbeelding heb ik geleend van Christopher Bolard en aangepast aan mijn eigen situatie.

The Data Science Hierarchy Of Needs by Monica Rogati

Ik houd mij bezig, in mijn specifieke geval, met de zaken in het rode vlak met Data Engineer erachter. De Data Scientist/Analist houdt zich bezig met het rode vlak erboven. Over hoe ik dat dan doe, komt nog een apart artikel.

In andere gevallen zul je ook tegenkomen dat de Data Scientist/Analist zich ook bezighoudt met het vlak Explore/Transform. Zie hiervoor het artikel: Data Engineer VS Data Scientist.

Datasets

Datasets zijn verzamelingen van (semi-)gestructureerde gegevens die speciaal zijn samengesteld voor analyse en ze zijn er in verschillende vormen, zoals spreadsheets, CSV-bestanden, JSON-bestanden en databases. Datasets zijn essentieel voor de datascience. Ze stellen je in staat om met gegevens uit de echte wereld te werken en inzichten te verwerven die anders onmogelijk te ontdekken zouden zijn. Het leren van datascience met datasets is daarom essentieel omdat het je de nodige vaardigheden geeft om data om te zetten in bruikbare inzichten. Dit is iets wat ik in een eerder stadium gedaan heb, om de database van I amsterdam City Card te begrijpen.

Voordelen

Een van de voordelen van het gebruik van datasets in datascience is dat ze een real-world context bieden voor analyse. In tegenstelling tot gesimuleerde data, zijn datasets gebaseerd op echte scenario’s en daarom meer representatief voor de problemen waarmee bedrijven worden geconfronteerd. Dit betekent dat je kunt leren hoe je analysetechnieken moet toepassen op echte problemen. Zo kun je oplossingen ontwikkelen die relevant en toepasbaar zijn.

Een ander voordeel van het leren van datascience met datasets is dat het je helpt een datagestuurde mentaliteit te ontwikkelen. Datasets bieden de mogelijkheid om de nuances van data te begrijpen, zoals problemen met datakwaliteit en databias.

Dit zijn belangrijke overwegingen omdat ze een aanzienlijke invloed kunnen hebben op de inzichten die op basis van gegevens worden gegenereerd. Door met datasets te werken, leer je deze problemen te identificeren, wat van cruciaal belang is voor het nemen van beslissingen.

Bovendien bieden datasets een basis voor samenwerking en kennisdeling. In de wereld van datascience werken mensen vaak samen aan dezelfde problemen en datasets bieden een gemeenschappelijke basis voor samenwerking. Ze stellen je ook in staat om je inzichten met anderen te delen, wat kan leiden tot nieuwe ontdekkingen en doorbraken.

Competities & Datasets

Hieronder een overzicht van de competities en datasets die ik heb gevonden.

• DrivenData
• SIGKDD
• Innocentive
• Topcoder
• Analytics Vidhya
• Codalab
• Numerai
• Open Data Science
• AIcrowd
• Biendata
• OpenML
• Devpost
• CrowdANALYTIX
• Kaggle
• ML Collective
• IDAO
• Machine Hack
• Grand Challenge
• Zindi
• Datasource.ai
• TuneDit
• Bitgrit
• ML Contests
• Data Register van de Nederlandse Overheid
• DBNL Dataset
• PDOK
• Open Data Rijksoverheid
• CBS Open data Statline
• OpenDataNederland.org
• Our World In Data
• Open Datasets compiled by Hackernoon
• Google Finance
• Google Public Data
• Google Trends
• KNMI Dataplatform
• Planetary Computer
• Data.gov.be
• Earthdata (NASA)
• IGSR: The International Genome Sample Resource
• PEW Research Center

Conclusie

Kortom het leren van datascience met datasets is essentieel voor iedereen die de nodige vaardigheden wil ontwikkelen om ruwe data om te zetten in bruikbare inzichten. Datasets bieden een real-world context voor analyse, helpen je een datagestuurde mentaliteit te ontwikkelen en bevorderen samenwerking en kennisdeling. Aangezien data een cruciale rol blijft spelen in de bedrijfsvoering, is het leren van datascience met datasets niet langer een optie maar een noodzaak. Door te investeren in datascience opleidingen kunnen bedrijven hun personeel de vaardigheden bijbrengen die nodig zijn om datagestuurde beslissingen te nemen en groei en succes te stimuleren.