Родился в семье геодезиста. Окончив Первую Московскую гимназию, продолжил обучение сперва на историко-филологическом факультете Московского университета (1884-1886, два курса), затем в Берлинском университете (1886-1890), где, помимо филологии, много занимался историей под руководством Моммзена, а также философией. В 1896 Гиршфельд и Моммзен приняли его диссертацию, но устный экзамен на учёную степень Иванов не сдавал. На мировоззрение Иванова наибольшее влияние оказали Ницше, Владимир Соловьёв, славянофилы, немецкие романтики (Новалис, Фридрих Гёльдерлин).Много путешествовал — начиная с 1891 объехал значительную часть Европы (жил некоторое время в Афинах, затем в Женеве), посетил Палестину, Египет. Жил преимущественно в Италии и России (окончательно переселился в Италию в 1924 году).В 1894 познакомился с Лидией Зиновьевой-Аннибал, поэтессой и переводчицей, спустя пять лет ставшей женой Иванова. Тогда же близким другом семьи Иванова становится М. М. Замятнина; она оказывала большую поэту вплоть до своей смерти в 1920.
