Le altre risposte sono buone. I miei 2 centesimi - anche se la nuova macchina non ha un sistema operativo, ha un BIOS, e quando la macchina viene accesa o resettata, il BIOS fa il POST e poi (se il POST è OK) inizia a cercare un programma da avviare. Guarderà i dispositivi collegati - hard disk, DVD, USB. L'ordine di ricerca è impostato nella configurazione del BIOS. Così, per esempio, se hai una chiavetta USB contenente un programma avviabile, collegata alla macchina, il BIOS dovrebbe passare il controllo al bootloader sulla chiavetta. Il resto dipende dal contenuto della chiavetta. Se contiene un installer per Linux o Windows, per esempio, allora eseguirà l'installer, e questo vi permetterà di installare il sistema operativo che avete messo sulla chiavetta sul disco rigido della macchina, per esempio.
La maggior parte delle distro Linux ora hanno installatori "live" - ciò significa che il processo di cui sopra avvia effettivamente un sistema operativo Linux, con l'aspetto e il funzionamento di un sistema operativo completamente installato, solo un po' più lento perché viene eseguito da un DVD o da una chiavetta invece di un disco rigido. Linux Mint, per esempio, fa così, così puoi vedere com'è la distro prima di installarla effettivamente. Quando si decide di volerlo installare sul disco rigido, Mint ha un'icona "Installa" sul desktop live, e quando si fa doppio clic su di essa si esegue il programma di installazione che permette di installare Mint dove si vuole, tipicamente sul disco rigido.
Presumo che questa domanda non si applichi realmente ai Mac, poiché Apple li vende con Mac OSX pre-installato.