Желательно PDF. А обычно в каком формате найду книгу в том и приходится читать. А если подходящая книга иногда приобетаю в бумажном варианте для работы.
Для справочников или для книг, где постоянно нужно "прыгать" туда-сюда, предпочтительнее для меня CHM. Но, к сожалению, хорошо сделанных в этом формате книг совсем мало.
Для техдокументации - pdf
Для художественной литературы - лучше fb2 формата не знаю.
DJVU - на самый крайний случай, если к4ачество не очень принципиально
недавно вот для чего то понадобилось из djvu в pdf перевести, обьем был 4,9 мб - в итоге вышло 92,1 мб. Так что для хранения может djvu и более оптимальным быть