داستین لی هافمن در لسآنجلس، کالیفرنیا، از لیلیان (گلد) و هری هافمن، فروشنده مبلمان و سرپرست صحنه برای کلمبیا پیکچرز، متولد شد. او در یک خانواده یهودی (از اوکراین، روسیه-لهستان و رومانی) بزرگ شد. هافمن در سال ۱۹۵۵ از دبیرستان لسآنجلس فارغالتحصیل شد و به کالج شهر سانتا مونیکا رفت، جایی که پس از یک سال به دلیل نمرات بد، ترک تحصیل کرد. اما قبل از آن، در یک دوره بازیگری شرکت کرد زیرا به او گفته شده بود که "هیچکس در بازیگری مردود نمیشود". همچنین در هنرستان موسیقی لسآنجلس آموزش دید. تصمیم گرفت به بازیگری روی آورد زیرا نمیخواست کار کند یا به خدمت سربازی برود. به مدت دو سال در تئاتر پاسادنا آموزش دید.