Объясните, почему нельзя вставить had written вместо was written в предложении: this book was written by my friend a long time ago

Потому что в этом предложении Passive Voice.Пассивный залог.

Книга была написана

А had written это Past Perfect.Perfect нельзя ещё и потому,что здесь обстоятельство времени a long time ago.Нужно время Past Simple Passive.