Billy Paul comenzó su carrera musical a los 12 años apareciendo en emisoras de radio locales de Filadelfia. Escuchando discos que su madre compraba desarrolló un estilo vocal con raíces en el jazz, el R&B y el pop.
Paul asistió a la Escuela de Música de West Filadelfia para completar su formación en técnica vocal. Por esa época empezó a ser conocido en el circuito musical de su ciudad apareciendo posteriormente en clubs y campus universitarios a nivel nacional. Esto le permitió estar en concierto con figuras como Charlie Parker, Dinah Washington, Nina Simone, Miles Davis, The Impressions, Sammy Davis, Jr. y Roberta Flack. Nancy Wilson llegó a estar tan impresionada con una de las canciones de su álbum debut que también la grabó.
Paul conformó un trío y grabó su primer disco "Why Am I" antes de ser llamado a filas. A su regreso se unió al sello New Dawnquienes le pusieron en el grupo de Harold Melvin. Posteriormente grabó los albums Feeling Good at the Cadillac Club y Ebony Woman.
Luego vendría Going East con el sello Philadelphia International Records, el cual le trajo mas reconocimiento del público, pero no sería hasta "360 Degrees Of Billy Paul" en donde lograría el éxito comercial y de crítica principalmente gracias a la canción "Me and Mrs. Jones".
"Me and Mrs. Jones" fue un número uno del Hot 100 por tres semanas en 1972. Vendió dos millones de copias y le permitió a Paul ganar un premio Grammy en la categoría de interprete masculino de R&B. En el Reino Unido entró al top 20 e igualmente fue éxito en muchos países.
Billy Paul ha ganado premios Ebby en múltiples ocasiones, así como American Music Awards, y premios de la NAACP.
Nunca otra canción suya llegó al nivel de "Me and Mrs. Jones" pero aun así se le considera una figura del soul de Filadelfia. Falleció el 24 de abril de 2016 a los 81 años de edad.