И это всё МОЁ
В виндовом клиенте Putty был сгенерирован публичный ключ и скопирован на линукс сервер. Виндовая машина теперь успешно подключается по ssh к удаленному линукс серверу. А можно теперь на другой клиентской linux машине не генерировать новый публичный ключ с помощью команды ssh-keygen, а использовать уже существующий ключ, сгенерированный Putty?