Je me répond à moi-même, puisque j'ai finalement trouvé la solution sur le forum de support de VLC.
C'est un défaut de VLC, mais qui devrait être corrigé dans une prochaine version : par défaut, la taille du cache est trop faible.
Donc il faut aller dans les préférences de VLC, puis Tout...