diff --git a/ci/build_windows.py b/ci/build_windows.py
index 7ec24395e22e..4673bd535e3e 100755
--- a/ci/build_windows.py
+++ b/ci/build_windows.py
@@ -51,88 +51,89 @@ class BuildFlavour(Enum):
 
 
 CMAKE_FLAGS = {
-    'WIN_CPU': ('-DUSE_CUDA=0 '
-                '-DUSE_CUDNN=0 '
-                '-DUSE_NVRTC=0 '
-                '-DUSE_OPENCV=1 '
-                '-DUSE_OPENMP=1 '
-                '-DUSE_PROFILER=1 '
-                '-DUSE_BLAS=open '
-                '-DUSE_LAPACK=1 '
-                '-DUSE_DIST_KVSTORE=0 '
-                '-DBUILD_CPP_EXAMPLES=1 '
-                '-DUSE_MKL_IF_AVAILABLE=0 '
-                '-DCMAKE_BUILD_TYPE=Release')
-
-    , 'WIN_CPU_MKLDNN': ('-DUSE_CUDA=0 '
-                         '-DUSE_CUDNN=0 '
-                         '-DUSE_NVRTC=0 '
-                         '-DUSE_OPENCV=1 '
-                         '-DUSE_OPENMP=1 '
-                         '-DUSE_PROFILER=1 '
-                         '-DUSE_BLAS=open '
-                         '-DUSE_LAPACK=1 '
-                         '-DUSE_DIST_KVSTORE=0 '
-                         '-DUSE_MKL_IF_AVAILABLE=1 '
-                         '-DUSE_MKLDNN=1 '
-                         '-DCMAKE_BUILD_TYPE=Release')
-
-    , 'WIN_CPU_MKLDNN_MKL': ('-DUSE_CUDA=0 '
-                         '-DUSE_CUDNN=0 '
-                         '-DUSE_NVRTC=0 '
-                         '-DUSE_OPENCV=1 '
-                         '-DUSE_OPENMP=1 '
-                         '-DUSE_PROFILER=1 '
-                         '-DUSE_BLAS=mkl '
-                         '-DUSE_LAPACK=1 '
-                         '-DUSE_DIST_KVSTORE=0 '
-                         '-DUSE_MKL_IF_AVAILABLE=1 '
-                         '-DUSE_MKLDNN=1 '
-                         '-DCMAKE_BUILD_TYPE=Release')
-
-    , 'WIN_CPU_MKL': ('-DUSE_CUDA=0 '
-                         '-DUSE_CUDNN=0 '
-                         '-DUSE_NVRTC=0 '
-                         '-DUSE_OPENCV=1 '
-                         '-DUSE_OPENMP=1 '
-                         '-DUSE_PROFILER=1 '
-                         '-DUSE_BLAS=mkl '
-                         '-DUSE_LAPACK=1 '
-                         '-DUSE_DIST_KVSTORE=0 '
-                         '-DUSE_MKL_IF_AVAILABLE=1 '
-                         '-DUSE_MKLDNN=0 '
-                         '-DCMAKE_BUILD_TYPE=Release')
-    , 'WIN_GPU': ('-DUSE_CUDA=1 '
-                  '-DUSE_CUDNN=1 '
-                  '-DUSE_NVRTC=1 '
-                  '-DUSE_OPENCV=1  '
-                  '-DUSE_OPENMP=1 '
-                  '-DUSE_PROFILER=1 '
-                  '-DUSE_BLAS=open '
-                  '-DUSE_LAPACK=1 '
-                  '-DUSE_DIST_KVSTORE=0 '
-                  '-DCUDA_ARCH_NAME=Manual '
-                  '-DCUDA_ARCH_BIN=52 '
-                  '-DCUDA_ARCH_PTX=52 '
-                  '-DCMAKE_CXX_FLAGS="/FS /MD /O2 /Ob2" '
-                  '-DUSE_MKL_IF_AVAILABLE=0 '
-                  '-DCMAKE_BUILD_TYPE=Release')
-
-    , 'WIN_GPU_MKLDNN': ('-DUSE_CUDA=1 '
-                         '-DUSE_CUDNN=1 '
-                         '-DUSE_NVRTC=1 '
-                         '-DUSE_OPENCV=1 '
-                         '-DUSE_OPENMP=1 '
-                         '-DUSE_PROFILER=1 '
-                         '-DUSE_BLAS=open '
-                         '-DUSE_LAPACK=1 '
-                         '-DUSE_DIST_KVSTORE=0 '
-                         '-DCUDA_ARCH_NAME=Manual '
-                         '-DCUDA_ARCH_BIN=52 '
-                         '-DCUDA_ARCH_PTX=52 '
-                         '-DUSE_MKLDNN=1 '
-                         '-DCMAKE_CXX_FLAGS="/FS /MD /O2 /Ob2" '
-                         '-DCMAKE_BUILD_TYPE=Release')
+    'WIN_CPU': (
+        '-DUSE_CUDA=OFF '
+        '-DUSE_CUDNN=OFF '
+        '-DUSE_NVRTC=OFF '
+        '-DUSE_OPENCV=ON '
+        '-DUSE_OPENMP=ON '
+        '-DUSE_BLAS=open '
+        '-DUSE_LAPACK=ON '
+        '-DUSE_DIST_KVSTORE=OFF '
+        '-DBUILD_CPP_EXAMPLES=ON '
+        '-DUSE_MKL_IF_AVAILABLE=OFF '
+        '-DCMAKE_BUILD_TYPE=Release')
+
+    , 'WIN_CPU_MKLDNN': (
+        '-DUSE_CUDA=OFF '
+        '-DUSE_CUDNN=OFF '
+        '-DUSE_NVRTC=OFF '
+        '-DUSE_OPENCV=ON '
+        '-DUSE_OPENMP=ON '
+        '-DUSE_BLAS=open '
+        '-DUSE_LAPACK=ON '
+        '-DUSE_DIST_KVSTORE=OFF '
+        '-DUSE_MKL_IF_AVAILABLE=ON '
+        '-DUSE_MKLDNN=ON '
+        '-DCMAKE_BUILD_TYPE=Release')
+
+    , 'WIN_CPU_MKLDNN_MKL': (
+        '-DUSE_CUDA=OFF '
+        '-DUSE_CUDNN=OFF '
+        '-DUSE_NVRTC=OFF '
+        '-DUSE_OPENCV=ON '
+        '-DUSE_OPENMP=ON '
+        '-DUSE_BLAS=mkl '
+        '-DUSE_LAPACK=ON '
+        '-DUSE_DIST_KVSTORE=OFF '
+        '-DUSE_MKL_IF_AVAILABLE=ON '
+        '-DUSE_MKLDNN=ON '
+        '-DCMAKE_BUILD_TYPE=Release')
+
+    , 'WIN_CPU_MKL': (
+        '-DUSE_CUDA=OFF '
+        '-DUSE_CUDNN=OFF '
+        '-DUSE_NVRTC=OFF '
+        '-DUSE_OPENCV=ON '
+        '-DUSE_OPENMP=ON '
+        '-DUSE_BLAS=mkl '
+        '-DUSE_LAPACK=ON '
+        '-DUSE_DIST_KVSTORE=OFF '
+        '-DUSE_MKL_IF_AVAILABLE=ON '
+        '-DUSE_MKLDNN=OFF '
+        '-DCMAKE_BUILD_TYPE=Release')
+
+    , 'WIN_GPU': (
+        '-DUSE_CUDA=ON '
+        '-DUSE_CUDNN=ON '
+        '-DUSE_NVRTC=ON '
+        '-DUSE_OPENCV=ON  '
+        '-DUSE_OPENMP=ON '
+        '-DUSE_BLAS=open '
+        '-DUSE_LAPACK=ON '
+        '-DUSE_DIST_KVSTORE=OFF '
+        '-DCUDA_ARCH_NAME=Manual '
+        '-DCUDA_ARCH_BIN=52 '
+        '-DCUDA_ARCH_PTX=52 '
+        '-DCMAKE_CXX_FLAGS="/FS /MD /O2 /Ob2" '
+        '-DUSE_MKL_IF_AVAILABLE=OFF '
+        '-DCMAKE_BUILD_TYPE=Release')
+
+    , 'WIN_GPU_MKLDNN': (
+        '-DUSE_CUDA=ON '
+        '-DUSE_CUDNN=ON '
+        '-DUSE_NVRTC=ON '
+        '-DUSE_OPENCV=ON '
+        '-DUSE_OPENMP=ON '
+        '-DUSE_BLAS=open '
+        '-DUSE_LAPACK=ON '
+        '-DUSE_DIST_KVSTORE=OFF '
+        '-DCUDA_ARCH_NAME=Manual '
+        '-DCUDA_ARCH_BIN=52 '
+        '-DCUDA_ARCH_PTX=52 '
+        '-DUSE_MKLDNN=ON '
+        '-DCMAKE_CXX_FLAGS="/FS /MD /O2 /Ob2" '
+        '-DCMAKE_BUILD_TYPE=Release')
 
 }
 
diff --git a/cmake/cmake_options.yml b/cmake/cmake_options.yml
index a4323feb92d4..81138241dfc6 100644
--- a/cmake/cmake_options.yml
+++ b/cmake/cmake_options.yml
@@ -31,7 +31,6 @@ USE_MKLDNN: "ON" # Use MKLDNN variant of MKL (if MKL found) IF USE_MKL_IF_AVAILA
 USE_OPERATOR_TUNING: "ON" # Enable auto-tuning of operators IF NOT MSVC
 USE_GPERFTOOLS: "ON" # Build with GPerfTools support (if found)
 USE_JEMALLOC: "ON" # Build with Jemalloc support
-USE_PROFILER: "ON" # Build with Profiler support
 USE_DIST_KVSTORE: "OFF" # Build with DIST_KVSTORE support
 USE_PLUGINS_WARPCTC: "OFF" # Use WARPCTC Plugins
 USE_PLUGIN_CAFFE: "OFF" # Use Caffe Plugin