دیزل در سال ۱۸۵۸ در پاریس، فرانسه زاده شد. او دومین از سه فرزند تئودور و الیزه دیزل بود. والدین او از مهاجران آلمانی‌تباری بودند که در فرانسه زندگی می‌کردند. رودولف دیزل نخستین سال‌های کودکیش را در فرانسه گذراند اما با شروع جنگ‌های فرانسه و پروس در ۱۸۷۰ خانواده‌اش همچون بسیاری دیگر از خارجیان مجبور به ترک فرانسه شدند. آنها در لندن اقامت گزیدند و مادر دیزل، رودلف ۱۲ ساله را تا پایان جنگ در سال ۱۸۷۱ به اگزبورگ در باواریا پیش خاله و داییش فرستاد تا زبان آلمانیش تقویت شود .
رودلف در ۱۴ سالگی به پدر و مادرش نوشت که می‌خواهد مهندس شود و پس از پایان تحصیلات مقدماتیش در ۱۸۷۳ در مدرسهٔ صنعتی تازه‌تأسیس اگزبورگ ثبت نام نمود. دو سال بعد او بورسیه‌ای را از طرف دانشگاه پلی‌تکنیک باواریایی سلطنتی مونیخ دریافت کرد و آنرا علی‌رغم میل والدینش که تمایل به مشغول شدن رودلف به کاری داشتند پذیرفت. او در سال ۱۸۷۹ بر اثر ابتلا به بیماری تیفوئید نتوانست در امتحانات نهایی شرکت جوید و در مدتی که در انتظار تاریخ بعدی امتحانات به‌سر می‌برد تجربهٔ مهندسی را به‌طور عملی در ماشین‌آلات‌سازی برادران سولزر در وینترتور سوئیس کسب نمود. دیزل در ژانویهٔ ۱۸۸۰ با بالاترین افتخارات دانشگاهی فارغ‌التحصیل شد و به پاریس بازگشت، جایی که دستیاری استاد سابقش در دانشگاه مونیخ، پروفسور کارل فون لینده را در طراحی و ساخت کارخانهٔ یخسازی و سردسازی مدرنی برعهده داشت. یک سال بعد او مدیر همان کارخانه شد. دیزل در ۱۸۸۳ با مارتا فلاشه ازدواج نمود و به کار برای لینده ادامه داد و توانست چندین اختراع را در آلمان و فرانسه به ثبت برساند. و این اختراعات سرآغاز شروع طرح ساخت دیزل ژنراتور بود.
رودلف دیزل در آغاز ۱۸۹۰ با همسر و فرزندانش رودلف پسر، هِدی و اُگین به برلین نقل مکان کرد تا علاوه بر ادامهٔ مدیریت بخش تحقیق و توسعهٔ لینده، به هیأت مدیرهٔ چند شرکت بزرگ دیگر نیز درآنجا بپیوندد. از آنجا که او اجازهٔ به‌کارگیری اختراعات ثبت‌شده‌اش در زمانی که کارمند لینده بود را برای اهداف شخصی خودش نداشت در نتیجه کارش را در خارج از موضوع سردسازی ادامه داد. دیزل نخست کارش را با تحقیق بر روی بخار آغاز نمود و پژوهش‌هایش در رابطه با بهره‌وری سوخت، او را به سمت ساختن موتور بخاری سوق داد که با بخار آمونیاک کار می‌کرد. اما این موتور در زمان آزمودنش منفجر شد و دیزل که نزدیک بود در این حادثه کشته شود چندین ماه را در بیمارستان گذراند. با این حال او پس از بهبود نیز از نظر سلامتی و بینایی دچار مشکل شده بود.