протокол модема

То есть по какому протоколу? Какой протокол установился между модемами или что?

да .

модем при коннекте пишет, какой протокол. также после разрыва связи, можно у него спросить какой протокол использовался при последнем соединении - команда &V1

а средствами windows? ведь я не зря написал в опер. системы

Средствами винды работаешь с портом, к которому подключен модем. На модеме винда не стоит ;-)
Можно посмотреть журнал модема который ведёт винда, но по умолчанию он отключен.