Как диктофон можно использовать практически любой Pocket PC. Формат записи и место хранения информации вопрос легко решаемый. Обычно запись идет в Wav и можно настраивать качество записи (до 44100 Hz, 16 bit, 172 kb/s). Можно записывать и в mp3.
http://www.hpc.ru/lib/arts/1936/
Сохранять файл можно сразу же на карту памяти.
Что касается времени работы, то час записи протянет любой наладонник. Записывать можно с выключенным экраном (до 5-6 часов непрерывной записи... Карточек памяти только бы хватило

)
Определяющим моментом здесь будет чуствительность микрофона. Некоторые модели, с которыми мне приходилось сталкиваться:
Rover p3 (он же Mitac 338, он же ViewSonic v35) – достаточно не плохо. Позволяет записывать лекцию в институте, сидя в первых рядах. Минус – слабый аккумулятор.
Mitak 528 – полный отстой. Подойдет только для записи собственных умных мыслей, когда говоришь прямо в микрофон.
Toshiba 750 – отличная штука! Позволяет подключать внешний микрофон (если найдете родную гарнитуру). Но даже со штатным работает отлично.
iPAQ h2210 – также очень понравился. В достаточно шумном помещении собственную речь слышно с расстояния вытянутой руки. ИМХО по качесву не уступает цифровым диктофонам средней ценовой категории.