recfrom, получение данных с определенного адреса

Здравствуйте, уважаемые форумчане!
Создаю UDP сервер.

Вопрос в следующем, каким образом с помощью recvfrom получить данные с определенного адреса и игнорировать сообщения (не теряя их) с других адресов?

Например, сервер отсылает запрос клиенту с определенным адресом, клиент отвечает на данный запрос. Как с сокета прочитать ответ именно от этого клиента?