Фразеологизма как со мной свалился означает что человек не понимает очевидного чего-то простого и всем понятно или в значении кто не признает общепринятого общественному мнению скорее всего появилась из-за того что раньше люди не могли летать на луну и для них люди которые как раз таки не понял отличались честно мнением и других были как слоны то есть изгоями общества
