"Little Martha" fue la novena y la última canción del cuarto disco del grupo The Allman Brothers Band llamado Eat a Peach. Y también fue la primera y única canción escrita por líder de grupo Duane Allman, quien moriría el 29 de octubre de 1971, poco después de las sesiones de grabación. Originalmente, la canción fue grabada con dos guitarras acústicas, Duane Allman y Dickey Betts; Berry Oakley le añadió el bajo, que finalmente sería eliminado, quedando la canción solo con dos guitarras acústicas. "Little Martha", con una sencilla melodía y un rítmico contrapunto, rápidamente se convirtió en uno de los temas favoritos entre los fans del grupo. El virtuoso de la guitarra acústica Leo Kottke, dijo de ella que era: "la más perfecta canción para guitarra jamás escrita". Según cuenta la historia Duane Allman tuvo un sueño donde Jimi Hendrix le mostró la melodía de la canción, en el baño de un motel, utilizando un desatascador como guitarra. En octubre de 1971 recordó la melodía en el estudio y la grabó. El nombre de la canción viene de la tumba de Martha Ellis, una niña de 12 años enterrada en el cementerio Rose Hill, en Macon, Georgia. Allí ensayaban los Allman Brothers Band en los inicios del grupo, y más de una canción lleva como título el nombre de alguna lápida de ese cementerio. Duane Allman murió unos meses después de grabar esta canción en un accidente de moto. Y aproximadamente un año después murió el bajista Berry Oakley, también en un accidente de moto y cerca de donde tuvo el accidente Duane. Ambos están enterrados en el mismo cementerio que Martha Ellis, en el cementerio de Rose Hill.