DJVU, особенно для скана удобнее - меньше места занимает, а вот
PDF - если не скан, или ХОРОШО обработанный скан - красивее и четче
Да и потом его проще обработать, если материал из книги надо взять
Мое имхо следующее. Если есть время на OCR, то тогда PDF вне конкуренции, иначе DjVu рулит. В него и запаковать быстро можно после скана и весить будет меньше по-любому, а качество отображения будет выше.
P.S
Хотя время идет... Того и гладишь в пдф JPEG2000 нормально будет работать или встроят алгоритмы подобные DjVu...