Li Huaiyu lahir di Pinglu (sekarang [[Chaoyang]], [[Liaoning]]) pada masa pemerintahan [[Kaisar Tang Xuanzong]]. Keluarganya berasal dari Kerajaan [[Goguryeo]], Korea, yang sudah menetap lama di Tiongkok. Tahun [[758]], bersama sepupunya, [[Hou Xiyi]], ia mengawali karirnyakariernya dalam militer sebagai tentara di ibukota Pinglu, Yingzhou. Pada tahun itu juga, gubernur militer Wang Xuanzhi meninggal, di saat yang sama Tiongkok juga sedang diguncang oleh [[Pemberontakan Anshi]] di bawah pimpinan [[An Lushan]] yang mendeklarasikan berdirinya Dinasti Yan. [[Kaisar Tang Suzong|Kaisar Suzong]] (putra Kaisar Xuanzong yang naik tahta menggantikannya), mengirim utusan ke Pinglu guna memilih pengganti Wang untuk memimpin tentara Pinglu. Li yakin putra Wang akan terpilih sebagai gubernur militer menggantikan ayahnya, maka sebelum hal itu terlaksana ia membunuhnya dan mendukung Hou Xiyi untuk menempati jabatan Wang. Saat itu posisi kaisar Tang sudah sangat lemah, kekuasaannya hanya terbatas di ibukota dan sekitarnya, sedangkan di tingkat daerah, kekuasaan sesungguhnya berada di tangan para gubernur militer yang sudah tidak terlalu memandang kaisar lagi, sehingga setelah [[kudeta]] berdarah itu, Kaisar Suzong pun mengangkat Hou sebagai deputi gubernur militer dan tak lama kemudian akhirnya menjadikannya gubernur militer.
