早年经历哈里·B·哈里斯出身于美国军人世家,其父亲是美国海军军士长,曾在日本的横须贺基地服役,母亲是日本人。1956年,哈里·B·哈里斯出生于日本首都东京以南的横须贺,两岁后离开日本前往美国,曾在田纳西州和佛罗里达州定居。