McCoy tocaba música bajo una variedad de nombres artísticos, pero es más conocido como "Kansas Joe McCoy".
Nacido en Raymond dicen algunas crónicas (otras en Jackson), Mississippi, el 11 de mayo de 1905 , él era el hermano mayor Papa Charlie McCoy, también bluesman como Kansas Joe.
De jóven se dirigió a Memphis, Tennessee , donde comenzó a tocar la guitarra y cantando en distintos clubes y calles durante la década de 1920.
Se asoció con su futura esposa Lizzie Douglas, más conocida como Memphis Minnie , y su grabación de 1929 de la canción "Bumble Bee" para Columbia Records fue un éxito.
En 1930, la pareja se mudó a Chicago donde eran una parte importante de la escena del blues floreciente. Después de su divorcio, McCoy se unió a su hermano para formar una banda conocida como The Hamfats Harlem con la que hicieron distintas presentaciones y grabaron durante la segunda mitad de la década de 1930.
En 1936, The Harlem Hamfats grabaron la canción "The Weed Smoker's Dream". Más tarde Joe McCoy perfeccionó la melodía, cambió la letra y el título de la canción y produjo "Why Don't You Do Right?" para Lil Verde , quien lo grabó en 1941.
Un año después compuso algunas canciones para Benny Goodman y Peggy Lee , entre ellas "Why Don't You Do Right?" que sigue siendo un standard jazz y es la composición más perdurable de McCoy.
Con el estallido de la Segunda Guerra Mundial Charlie McCoy entró en el ejército, lo que lo separó de su hermano Joe, quien por su cuenta, creó una banda conocida como 'Big Joe and His Rhytm' " con la realiza presentaciones la mayor parte de la década de 1940.
La banda contó con la participación de Robert Nighthawk en la armónica y Charlie McCoy (al volver de la contienda mundial) en la mandolina .
En 1950, a la edad de 44, Kansas Joe McCoy murió de una enfermedad cardíaca en Chicago, sólo unos meses antes que su hermano Charlie. Ambos están enterrados en el cementerio de Restvale, en Alsip, Illinois .
El vocalista de Led Zeppelin Robert Plant tomó la grabación de Memphis Minnie de " When the Levee Breaks ", que se encontraba en su colección personal, y se la presentó al guitarrista Jimmy Page quien modernizó la música, mientras que Plant mantiene la mayor parte de la letra y lo grabó para el álbum de Led Zeppelin de 1971, Led Zeppelin IV .
Canciones de McCoy también han sido tocadas por Bob Dylan , John Mellencamp , The Ink Spots , Ella Fitzgerald , Jo Ann Kelly y otros.
Al igual que muchos músicos de blues de su época, la tumba de Joe McCoy fue originalmente sin nombre. Un concierto homenaje se llevo a cabo en Octubre de 2010 para recordar la trayectoria de Kansas Joe y Charlie, con la cual se compraron las lápidas que fueron instaladas en mayo de 2011.
