Nacida en Newport News, Virginia, EE. UU., creció en Yonkers, Nueva York, en una situación de pobreza permanente. Su padre, William Fitzgerald, conductor de tren, abandonó a su madre Temperance (Tempie) Fitzgerald, lavandera, cuando Ella era aún muy pequeña. Las dos se trasladaron a Yonkers (Nueva York), junto con el novio de Tempie, Joseph Da Silva, con el que tendría una hija en 1923, Frances Fitzgerald.

En 1932, la madre de Ella murió tras un grave accidente de tráfico. Tras estar con Da Silva durante un breve período, su tía Virginia se hizo cargo de ella. Poco tiempo después, Da Silva fallecería de un ataque cardíaco, por lo que Frances tuvo que irse también a vivir con Ella y su tía.

Este ambiente dramático condicionó el comportamiento de Ella, que tuvo frecuentes problemas con el absentismo escolar e incluso con la policía, lo que la llevó a ser internada en un reformatorio, de donde trató de escapar varias veces, así como de su casa.

Ya de pequeña le gustaba bailar y cantar en un club escolar y en el coro de la Bethany African Methodist Episcopal Church. Aprendió a tocar el piano, escuchó atentamente la radio y estudió todas la grabaciones que salían de Louis Armstrong y las Boswell Sisters.

En 1932 se trasladó a Nueva York para vivir con un tío y encontró un lugar en la State Training School For Girls de Nueva York, una especie de hospicio. Hacia 1934 lo abandonó.