Chez moi sous Sierra 10.12.6 + VLC 3.0.3 + Shutter Encoder 11.9 ça fonctionne très bien.
Essaies de ne pas tenir compte du message et vois si cela fonctionne malgré tout.
Sinon désinstalles VLC et télécharges le de nouveau quand Shutter Encoder te le demande. Mais je ne vois pas pourquoi cela ne fonctionnerait pas chez toi, sauf si tu as un Os bancal.