Compra de imóvel por contrato de gaveta. Posso devolver o imóvel?

Já tentou o contato direto com o proprietário? Já o informou no ato da sua impossibilidade que as estradas não davam para passar? Acho que cabe escolher outra data, mas, vai depender de acordo seu com o proprietário e você deveria ja ter ligado para ele no ato das dificuldades.

O comprador pode se recusar a devolução.

Devera observar as clausulas do contrato, porem nenhum contratode gaveta tem validade juridica.

Há muitos riscos de contrato de gaveta pois legalmente não te dá mtos direitos, mas se você entrou no imovel e utilizou por x meses, deve entrar em acordo com o que foi utilizado no período, a desistência por má administração (a não ser que esteja em contrato) não acredito que seja um argumento para devolução do imovel - inclusive as informações de condominio e etc, são certidões solicitadas ao proprietário que já informa a saúde do imovel, antes de comprar o imovel, como você não foi orientada por um profissional para a compra do mesmo, pode ocorrer esses problemas.

Unilateralmente não. Mesmo que ao arrepio do agente financeiro perante os contratantes o contrato deve ser honrado, ou pode haver consequências jurídicas.