Dat klopt, daarom moet de toevoerlucht niet altijd door de warmtewisselaar stromen. De woning gedurende hete zomers koelen met koele nachtelijke buitenlucht heet 'zomernachtventilatie'. Er zijn balansventilatiesystemen die dat automatisch doen. Als het binnen te warm is en buiten lekker koel, dan gaat de lucht langs de warmtewisselaar in plaats van er doorheen. Dat heet de bypass. De koele buitenlucht komt dan zonder voorverwarming gewoon binnen zodat het de woning kan afkoelen.
Als er geen bypass op de balansventilatie zit, dan kan die ventilatie-unit vaak wel één ventilator uitschakelen. Als de afzuigventilator blijft werken en de toevoerventilator staat uit, kan je een raam open zetten om koele lucht binnen te laten.    
https://energieloketrivierenland.nl/blog-10-tips-om-je-huis-te-koelen-zonder-airconditioning/