Запись переговоров лучше производить другими программами, их достаточно много уже написано.
например Atropos, Telephone VOX Record, AudioSpy, ... - эти программы используют линейный вход для записи (модем даже не нужно). Умеют мониторить удаленно, по HTTP передавать данные, а некоторые еще заливать на FTP записи.
Только необходимо собрать несложное доп. устройство из переменного сопротивления, транформатора, и кондера. Схемку можно найти на сайтах с этими программами.
Есть еще программы которые работают напрямую с модемами для записи :
Advensed Phone Record вроде.