Hvorfor datarensing er viktig

Datarensing utgjør typisk 60-80 % av et dataanalyseprosjekt. Uten ren data blir alle videre analyser og konklusjoner upålitelige. Prinsippet «Garbage In, Garbage Out» gjelder absolutt.

Manglende verdier (NaN)

Manglende data er det vanligste datakvalitetsproblemet. pandas representerer manglende verdier som NaN (Not a Number).

Oppdage manglende verdier:

df.isnull().sum() → antall NaN per kolonne

df.isnull().mean() → andel NaN per kolonne

Håndtere:

df.dropna() → fjern rader med NaN

df.fillna(0) → erstatt med 0

df.fillna(df.mean()) → erstatt med gjennomsnitt

df.fillna(method="ffill") → forrige verdi (tidsserier)

Duplikater

df.duplicated().sum() → antall duplikatrader

df.drop_duplicates() → fjern duplikater (beholder første)

df.drop_duplicates(subset=["id"]) → sjekk kun spesifikk kolonne

Filtrering og seleksjon

Filtrere rader:

df[df["pris"] > 100] → rader der pris > 100

df[(df["pris"] > 100) & (df["region"] == "Oslo")] → flere betingelser

df.query("pris > 100 and region == 'Oslo'") → lesbart alternativ

Koble datasett sammen

I praksis er data ofte spredt over flere kilder. pd.merge() er pandas sin SQL JOIN:

Eksempel: Koble salgsdata med kundedata

Kombiner to DataFrames på en felles nøkkelkolonne.

Løsning:

salg = pd.DataFrame({"kunde_id": [1,2,3], "beløp": [500,800,300]})

Salgsdata med kunde-ID

kunder = pd.DataFrame({"kunde_id": [1,2,4], "navn": ["Ola","Kari","Per"]})

Kundedata

resultat = pd.merge(salg, kunder, on="kunde_id", how="left")

Left join: behold alle salg

# kunde_id 3 får NaN i "navn" (finnes ikke i kunder)

Left join beholder alle fra venstre

Studieguide: Datarensing og klargjøring