Tak banyak diketahui tentang orangtuaorang tua Raffles. Ayahnya, [[Kapten Benjamin Raffles]], terlibat dalam perdagangan budak di Kepulauan Karibia, dan meninggal mendadak ketika Thomas baru berusia 15 tahun, sehingga keluarganya terperangkap hutang. Ia langsung mulai bekerja sebagai seorang [[pegawai]] di [[London]] untuk [[Perusahaan Hindia Timur Britania]], perusahaan dagang setengah-pemerintah yang berperan banyak dalam penaklukan Inggris di luar negeri. Pada [[1805]] ia dikirim ke pulau yang kini dikenal sebagai [[Penang]], di negara Malaysia, yang saat itu dinamai Pulau [[Pangeran Wales]]. Itulah awal-mula hubungannya dengan [[Asia Tenggara]].