Normalmente las técnicas de machine learnign deben manegar volúmenes de data enormes, lo que requiere muchos recursos de computación, el uso de nodos independientes no es apto debido a límites de memoria o de tiempo. Algunos de los frameworks más usados para machine learning están optimizados para usar GPUs. Existen muchos sistemas distribuidos de computación capaces de realizar entrenamiento en múltiples nodos de forma coordinada. Las aproximaciones convencionales requieren de una plataforma centralziada que recoge los datos y los distribuye entre los nodos.

• Computación Multi-Grupo Segura: Una función puede ser computada colectivamente por varios grupos sin mostrar sus propios datos. Cada grupo debe intercambiar sus salidas con otros en secreto para que puedan ser agregados. Es una de las formas más seguras de entrenar modelos de machine learnign. Por desgracia no es bueno apra entrenar modelos muy complejos o a gran escala.
• Cifrado homomorfico: Puede ser aplciada directamente para cifrar datos que luego son transferidos a un servidor central. Cualquier modelo puede, en teoría, ser entrenado con estos datos cifrados, obteniéndose un modelo cifrado que puede ser enviado a los clientes. El server no es capaz de descifrar ni los datos ni el modelo. Los clientes tienen acceso a sus propios datos y al modelo descifrado una vez entrenado. Este modelo tampoco es adecuado para larga escala.

Es un procedimiento distribuido y colaborativo para entrenar modelos de Machine Learning sin mostrar los datos con los que se entrena. La idea de este método es mover la computación al borde, es decir, el dispositivo que obtiene los datos. Los datos no son nunca transferidos a un servidor central o a ningún almacenamiento cetnralizado, manteniendose aislados localmente. Esto mitiga vulnerabilidades relacionadas con los datos. El malchine learning es un modelo non-IID (Non-Independent identically distributed data).

Los algoritmos de aprendizaje estan descentralizados, confiando en cada nodo para realizar entrenamiento parcial del modelo. Cada nodo computa actualizaciones del modelo parcial con sus propios datos, intercambiando los parámetros con otros grupos. Un servidor central suele ser requerido para coordinar el entrenamiento, añadiendo los resultados del entrenamiento para calcular el modelo global. Una vez entrenado, el modelo global se distribuye a cada nodo para que lo pueda usar para realizar predicciones o más iteraciones del modelo.

Los datos no salen del dispositivo del usuario, por lo que el acceso directo por parte de terceras partes no es posible, pero sigue siendo posible la mala utilización de los datos y los modelos de Machine Learning pueden contener información sensible sobre los datos, siendo posible realizar ataques de inferencia.

• Ataques de inversión de modelo
• Ataques de inferencia de miembros
• Tipos de objetivo:
  • Ataque de Caja negra (pasivo): El objetivo es el modelo final ya entrenado
  • Ataque de Caja blanca (activo): Monitoriza los cambios del modelo en cada ronda del entrenamiento
• Tipo de atacante:
  • Cliente: Puede inspeccionar las versiones consecutivas del modelo global sin interferir con el procedimiento
  • Coordinación del lado del servidor: Inspeciona las actualizaciones parciales del modelo enviada por los clientes.

El adversario puede alimentar el servidor de coordinación con actualizaciones del modelo envenenadas. Normalmente se hace del lado del cliente, donde el adversario controla una fracción de los nodos participantes. El objetivo puede ser realizar un random attack apra corromper el modelo o un ataque de reemplazo, donde se inyecta una backdoor oculta dentro del modelo de forma que pueda coexistir con el modelo manteniendo el alto rendimiento.

• Del lado del servidor:
  • Prevención de ataques de inferencia: Agreación segura con SMC (Secure Multiparty Computation)
  • Prevención de ataques de evenenamiento: Se usan técnicas de detección de anomalías como explorar los participantes del entrenamiento de los datos orealizar actualizaciones de los parámetros de inspección de los modelos.
• Del lado de los nodos:
  • Prevención de ataques de inferencia: Se aplica Agregación segura con SMC y técnicas de cifrado homomórfico. También se pueden aplicar mecanismos de privacidad diferencial para ofuscar parcialmente las actualizaciones de los modelos.

Existen varios tipos de ataques que se suelen realizar contra modelos de Machine Learning:

• Inferencia sobre miembros de la población:
  • Divulgación estadística
  • Inversión del modelo
  • Inferencia de representativos de una clase
• Inferencia sobre miembros del dataset de entrenamiento
  • Inferencia de membresía
  • Inferencia de propiedad
• Inferencia sobre parámetros del modelo
  • Extracción del modelo
  • Robo de funcionalidad

Tratan de determinar si se ha usado cierto input para entrenar el modelo. Basado en el comportamiento del modelo sobre datos de entrenamiento y datos ocultos.

• Ataques de caja negra: Asume el conocimiento de la salida de la predicción del modelo
• Ataques de caja blanca: Accede a parámetros del modelo y gradientes
• Ataques contra Modelos generativos: Recoge información asobre entrenamiento usando el conocimiento de los componentes generadores de datos.
• Ataque contra prendizaje federado: Un participante trata de inferir si un registro forma parte del set de entrenamiento de un participante específico o cualquier participante.