"Unità"? Qualsiasi cosa sia necessaria.
La più piccola unità indivisibile è un bit. Fondamentalmente un valore on/off. Anche se tende ad essere implementato come "alta tensione" e "bassa tensione".
Combina quanti di questi sono necessari per ogni particolare compito. Ad esempio, il più comune è codificare un carattere usando 8 di questi insieme per formare un "byte". Ma forse non hai bisogno di tutte le 256 possibili combinazioni uniche, e va bene usarne solo 4, nel qual caso si chiama "nibble". Oppure stai usando un valore intero e hai bisogno di un massimo di 64000 possibilità uniche, quindi hai bisogno di 16 bit (una volta si chiamava "parola"). Di più? Bene, anche questo è possibile - 32bit, 64bits, 24bits, etc. etc.
Di solito queste combinazioni avvengono in gruppi di potenze di 2, poiché questi sono numeri "tondi" quando si conta in base 2 (binario). Rendendo qualsiasi matematica su di loro molto più facile e veloce.
Ora aggiungete un mucchio di queste cose insieme e cominciano a diventare numeri enormi. Anche se è ancora solo un mucchio di unità insieme.
In realtà non ha niente a che fare con i computer. È il sistema di misura metrico decimale che ha introdotto modi sintetici per parlare di numeri grandi (e piccoli). Ad esempio, kilo (un prefisso k prima di un simbolo di unità) significa 1000 di queste cose. Un Mega (prefisso M) significa 1000 000. Etc. etc. etc.
Ci sono alcuni fissati come standard: Prefisso metrico - Wikipedia. I computer hanno semplicemente usato la stessa cosa che esiste da almeno 100 anni prima che i computer fossero una cosa.