Hola, lo he conseguido arreglar de la siguiente manera y pasando bastante miedo.
1) Me fui a contactos de Google en un ordenador y exporté todos los contactos "verdaderos" y válidos para mí.
2) Guardé ese archivo a buen recaudo.
3) Eliminé todos los contactos de la carpeta segura y como eran también los de Gmail, aunque las últimas incorporaciones no se guardaron en esa carpeta si no en la normal, observé que también fueron eliminados de Google. (Menos mal que hice exportación porque si no habría perdido todo)
3) Importé todos los contactos a Google de nuevo en el ordenador.
4) Una vez en el teléfono, moví todos los contactos a de Google a Samsung Account para tener un backup.
5) Volví a importar los contactos desde el pc a Google.
De esta manera tengo los contactos en los dos lados por precaución y para que no sea un lío tengo marcado la opción de solo ver los de Google pero en caso de catástrofe tendría un copia con el 99% de los contactos en Samsung Account.
Por mi parte queda resuelto pero me queda la espinita de saber cómo llegaron unos cuantos (80%) a la carpeta segura. Seguramente fue culpa mía en los primeros pasos con Samsung ya que es el primer teléfono Samsung que tengo y al principio no entiendes el funcionamiento de todo.
Aquí dejo mi tutorial para futuras consultas.