Почему у слов: тетрадью, дневником и книгой разные окончания

Потому что у них разные склонение

Это может быть или они относятся к различным родам, или потому что их склонились по падеж.