Есть 2 теории на этот счёт:
• Выражение может быть калькой с латинского «аut Caesar, aut nihil». Фразу ошибочно толковали как «Либо Цезарем, либо ничем». На самом деле такими словами римский император Калигула оправдывал свою чрезмерную расточительность, говоря: «Либо скаредничить, либо Цезарем быть».
• Пан по-гречески означает «всё». Отсюда происходит польское слово «пан» — «помещик, полный хозяин, независимый человек». На этом фраза и может основываться.
Грамотная речь | Лингвистика 📚