Смотря что вы понимаете под долгами...
Если это какие то недостачи или материальный ущерб, который образовался по вашей вине то ему сначала придется доказать факт вашей работы у него и вашу вину. Если это доказано не будет то переживать вам не из за чего. К тому же если задолженность не большая, то ИП возможно не будет обращаться в суд, так как не захочет показывать что был неофициальный работник.

Вообще, так как вы работали неофициально, то сначала необходимо установить (доказать) юридический факт выполнения вами трудовых обязанностей, со стороны вашего работодателя, и здесь вопрос ущерба (какой ущерб причинен).