早年經曆哈裡·B·哈裡斯出身于美國軍人世家,其父親是美國海軍軍士長,曾在日本的橫須賀基地服役,母親是日本人。1956年,哈裡·B·哈裡斯出生于日本首都東京以南的橫須賀,兩歲後離開日本前往美國,曾在田納西州和佛羅裡達州定居。