Nació en Deane (Hampshire) en 1798. Su padre era el hermano mayor de Jane Austen, el reverendo James Austen, que en 1801 ocuparía la rectoría de Steventon, sucediendo a su padre, cuando éste se mudó a Bath. James Edward pasó, pues, gran parte de su infancia en la misma casa en que se había criado su tía Jane.

Estudió en Oxford, se ordenó sacerdote y, como su padre y su abuelo, acabó siendo rector de una parroquia rural, en su caso, la de Bray, en Berkshire. En 1836 heredó la finca de Scarlets de una tía abuela, de la que tomó el nombre de Leigh, que añadió a su apellido. En 1865 publicó un libro que documentaba los cambios en las costumbres de la caza, Recollections of the Vine Hunt, cuyo éxito lo animó luego a escribir Recuerdos de Jane Austen (1870; ALBA CLÁSICA núm. CXXIV), la primera biografía de la escritora. Murió en 1874.