Столкнулся с потребностью из-за сложной задачи наблюдать что происходит в XVFB через удаленный доступ, чтоб понимать как ведет себя браузер. Оказалось очень просто. Запускать xvfb нужно с авторизацией. Например

xvfb-run —auth-file=/home/selenium/xvfbauth —server-args=»-screen 0, 1366x768x24″ java -Dwebdriver.chrome.bin=/usr/bin/google-chrome -Dwebdriver.chrome.driver=/usr/local/bin/chromedriver233 -jar /usr/local/bin/selenium-server-standalone-3.8.0.jar

Далее запускаем VNC сервер

x11vnc -display :99.0 -auth /usr/local/bin/xvfbauth -bg -nopw -listen localhost -xkb

После этого по SSH пробрасываем 5900 порт на свою машину. Код для Mac OS X, у кого Windows воспользуйтесь Putty.

ssh -L 5900:127.0.0.1:5900 -N -f -l %user% %server%

Теперь можем подключиться к localhost:5900 любым клиентом.