Era il figlio di James Rutherford. Il padre era un contadino e meccanico scozzese e sua madre,  Martha Thompson, era un'insegnante di inglese. Era il quarto di undici fratelli ei suoi genitori volevano sempre dare ai loro figli la migliore istruzione. A scuola si è dimostrato uno studente brillante e aveva una memoria straordinaria. 

Da adulto, Ernest Rutherford iniziò a lavorare come tutor, perché non aveva nemmeno soldi per il cibo. 

Nel 1900, per un breve periodo andò in Nuova Zelanda e si innamora inaspettatamente di una certa Mary Georgina Newton e inizia a passare sempre più tempo con lei, che era la figlia del proprietario della pensione privata in cui viveva. 

Un giorno arriva la notizia che aspettava: andrà in Inghilterra, a Cambridge, a lavorare al fianco di Joseph John Thomson, uno dei fisici più influenti dell’epoca e futuro premio Nobel per la Fisica. è un’opportunità eccezionale, che non può assolutamente rifiutare. Questa occasione, però, vuole anche dire lasciare la Nuova Zelanda e allontanarsi da Mary. Nonostante la distanza, il suo amore per lei non si spegne, anzi Rutherford continua ad alimentarlo: le scrive molto spesso e la rende partecipe delle sue giornate. Nelle lettere rendeva sempre esplicita la volontà di sposare Mary, e l’unico ostacolo al coronamento del matrimonio tra Ernest e Mary sembrava essere la mancanza di un lavoro stabile. 

Ma si sposarono e il 30 marzo 1901 nacque la loro unica figlia, Eileen Mary.

Il 12 febbraio 1914, a Buckingham Palace, fu nominato cavaliere dal re e scelse il titolo della sua terra natale, diventando Lord Rutherford di Nelson, nello stemma incluse il Kiwi e un guerriero Maori, simboli della Nuova Zelanda.

Prese il titolo di nobiltà e si recò, per conferenze e visite ai famigliari, in Australia e Nuova Zelanda, dove fu sorpreso dallo scoppio della Prima Guerra mondiale, nella quale il fisico ha studiato il problema di trovare le coordinate dei sottomarini. Alla fine della guerra, tornò nel suo amato laboratorio. 

La figlia Eileen aveva sposato il fisico Ralph Fowler, ed ebbero quattro figli tra i quali Peter, che diventerà un noto fisico dei raggi cosmici, ma nel 1930, a 29 anni Eileen morì di embolia e la tragedia colpì profondamente Rutherford. 

Nel 1933, preoccupato per le politiche di Adolf Hitler, Ernest Rutherford assunse la carica di presidente dell'Academic Aid Council, creato per aiutare i rifugiati in Germania. 

Il suo passatempo favorito era il golf che praticava regolarmente ogni domenica. Morì a 66 anni dopo un intervento chirurgico per ernia strozzata il 19 ottobre 1937 a Cambridge, in Inghilterra. I suoi resti mortali furono sepolti nell'Abbazia di Westminster e lì riposano accanto a quelli di Sir Isaac Newton e Lord Kelvin.  

Così recitava il suo necrologio sul New York Times: “E’ dato a pochi uomini di raggiungere l’immortalità e ancora meno sono coloro a cui è concesso raggiungere l’Olimpo mentre sono in vita. A Lord Rutherford sono riuscite entrambe le cose”. 

L'elemento 104 della tavola periodica è stato chiamato Ruterfordio in suo onore.