diff --git a/dlib/matrix/matrix_fft.h b/dlib/matrix/matrix_fft.h
index 93e0ceff0..777cb7c51 100644
--- a/dlib/matrix/matrix_fft.h
+++ b/dlib/matrix/matrix_fft.h
@@ -40,7 +40,7 @@ namespace dlib
             typename EXP::matrix_type& outdata 
         )  
         {
-            outdata.set_size(data.size());
+            outdata.set_size(data.nr(), data.nc());
             if (data.size() == 0)
                 return;