Predmetom skúmania v štatistike sú štatistické jednotky (Statistical Units). Každá štatistická jednotka je nositeľom určitých vlastností, ktoré chceme skúmať. Tieto vlastnosti sa nazývajú premenné (Variables) alebo štatistické znaky. Premenná u každej štatistickej jednotky nadobúda hodnotu (Value). U jednej štatistickej jednotky v jednom časovom okamihu premenná nadobúda práve jednu hodnotu. Príklady:
| Štatistická jednotka | Premenná | Hodnota premennej |
|---|---|---|
| novorodenec | pohlavie | mužské |
| muž | výška [cm] | 186 |
| zákazník | bydlisko | Košice |
| automobil | značka | Audi |
Konečným cieľom takmer každého výskumu je nájdenie vzťahov medzi premennými. Medzi premennými existuje vzťah ak ich hodnoty vzájomne systematicky korešpondujú. Napríklad ak je priemerná výška muža vyššia ako ženy, znamená to, že medzi premennými pohlavie a výška existuje vzťah. Jediný spôsob ako možno robiť závery o vzťahoch medzi premennými je sledovať hodnoty premenných na viacerých štatistických jednotkách.
Každý empirický výskum patrí jednoznačne do jednej z dvoch tried. V korelačnom výskume neovplyvňujeme premenné, iba ich meriame a hľadáme vzťahy (korelácie). V experimentálnom výskume s niektorými premennými manipulujeme (nazývajú sa nezávislé premenné) a potom meriame dopad týchto manipulácií na ďalšie premenné (nazývajú sa závislé premenné). Aj v prípade experimentálnych výskumov sa skúmajú korelácie medzi manipulovanými premennými a premennými ovplyvnenými manipuláciou, experimenty však môže poskytnúť informácie vyššej kvality. Iba experimentálne údaje môžu nezvratne demonštrovať kauzálny vzťah. Napríklad ak zistíme, že vždy keď zmeníme premennú A (pričom všetky ostatné premenné nemeníme), potom sa zmení premenná B, môžeme tvrdiť, že A ovplyvňuje B. Údaje z korelačného výskumu môžu byť interpretované v kauzálnej podobe iba na základe nejakej teórie. Korelačný výskum umožňuje odpovedať na otázku, či údaje sú, alebo nie sú v rozpore s teóriou, nemôže však nezvratne a jednoznačne dokazovať pravdivosť teórie (môžu existovať iné teórie, ktoré rovnako neodporujú údajom). Interpretovať výsledky dotazníkového zisťovania (korelačný výskum) výrokmi typu: "Pohlavie ovplyvňuje preferenciu..." je nesprávne. Podobne namiesto pojmu závislosť medzi premennými je správnejšie používať výraz vzťah medzi premennými alebo štatistická závislosť.
Premenné sa odlišujú v mnohých aspektoch. Najviac sa líšia rolou ktorú majú vo výskume a typom škály, ktorou ich meriame.
Pri hodnotení vzťahov medzi premennými sa premenné často delia na závislé (vysvetľované - Y) a nezávislé (vysvetľujúce - X), čo sa dá zapísať: Y = f(X1, X2, ..., Xn). Výrazy závislý a nezávislý pochádzajú z oblasti experimentálneho výskumu. Tieto výrazy sa však používajú aj v korelačných výskumoch, v ktorých nezávislými premennými nemanipulujeme, iba na základe ich hodnoty každú štatistickú jednotku zaraďujeme do jednej skupiny. Napríklad ak pri výskume porovnávame počet bielych krviniek u mužov a žien, pohlavie bude nezávislá premenná a počet bielych krviniek závislá premenná.