InfiniBand

InfiniBand (IB) es un estándar de comunicaciones de redes informáticas utilizado en la informática de alto rendimiento que ofrece un rendimiento muy alto y una latencia muy baja. Se utiliza para la interconexión de datos entre y dentro de las computadoras. InfiniBand también se utiliza como una interconexión directa o conmutada entre servidores y sistemas de almacenamiento, así como una interconexión entre sistemas de almacenamiento. Está diseñado para ser escalable y utiliza una topología de red de estructura conmutada. Para 2014, era la interconexión más utilizada en la lista TOP500 de supercomputadoras, hasta aproximadamente 2016.

Mellanox (adquirida por Nvidia) fabrica conmutadores de red y adaptadores de bus host InfiniBand, que utilizan los grandes proveedores de bases de datos y sistemas informáticos en sus líneas de productos. Como interconexión de clústeres de computadoras, IB compite con Ethernet, Fibre Channel e Intel Omni-Path. La tecnología es promovida por la InfiniBand Trade Association.

Historia

InfiniBand se originó en 1999 a partir de la fusión de dos diseños competidores: Future I/O y Next Generation I/O (NGIO). NGIO fue liderado por Intel, con una especificación lanzada en 1998, y se unió a Sun Microsystems y Dell. Future I/O fue respaldado por Compaq, IBM y Hewlett-Packard. Esto condujo a la formación de InfiniBand Trade Association (IBTA), que incluía tanto conjuntos de proveedores de hardware como proveedores de software como Microsoft. En ese momento se pensó que algunas de las computadoras más potentes se estaban acercando al cuello de botella de interconexión del bus PCI, a pesar de actualizaciones como PCI-X. La versión 1.0 de la especificación de arquitectura InfiniBand se lanzó en 2000. Inicialmente, la visión de IBTA para IB era simultáneamente un reemplazo de PCI en E/S, Ethernet en la sala de máquinas, interconexión de clúster y canal de fibra. IBTA también previó la descomposición del hardware del servidor en una estructura IB.

Mellanox se fundó en 1999 para desarrollar la tecnología NGIO, pero en 2001 lanzó una línea de productos InfiniBand llamada InfiniBridge a velocidades de 10 Gbit/segundo. Tras el estallido de la burbuja de las puntocom, hubo dudas en la industria para invertir en un salto tecnológico de tan largo alcance. En 2002, Intel anunció que en lugar de enviar circuitos integrados IB ('chips'), se centraría en desarrollar PCI Express, y Microsoft interrumpió el desarrollo de IB a favor de extender Ethernet. Sun y Hitachi continuaron apoyando a IB.

En 2003, la supercomputadora System X construida en Virginia Tech usó InfiniBand en lo que se estimó que era la tercera computadora más grande del mundo en ese momento. OpenIB Alliance (más tarde rebautizada como OpenFabrics Alliance) se fundó en 2004 para desarrollar un conjunto abierto de software para el kernel de Linux. En febrero de 2005, se aceptó el soporte en el kernel de Linux 2.6.11. En noviembre de 2005, los dispositivos de almacenamiento finalmente se lanzaron con InfiniBand de proveedores como Engenio.

De las 500 supercomputadoras principales en 2009, Gigabit Ethernet fue la tecnología de interconexión interna en 259 instalaciones, en comparación con 181 que usaron InfiniBand. En 2010, los líderes del mercado Mellanox y Voltaire se fusionaron, dejando solo otro proveedor de IB, QLogic, principalmente un proveedor de canal de fibra. En la Conferencia Internacional de Supercomputación de 2011, los enlaces que funcionan a aproximadamente 56 gigabits por segundo (conocidos como FDR, ver más abajo) se anunciaron y demostraron conectando puestos en la feria comercial. En 2012, Intel adquirió la tecnología InfiniBand de QLogic, dejando solo un proveedor independiente.

En 2014, InfiniBand era la tecnología de conexión interna más popular para las supercomputadoras, aunque en dos años, 10 Gigabit Ethernet comenzó a desplazarla. En 2016, se informó que Oracle Corporation (un inversor en Mellanox) podría diseñar su propio hardware InfiniBand. En 2019, Nvidia adquirió Mellanox, el último proveedor independiente de productos InfiniBand.

Especificación

Las especificaciones son publicadas por la asociación comercial InfiniBand.

Rendimiento

Los nombres originales para las velocidades eran velocidad de datos única (SDR), velocidad de datos doble (DDR) y velocidad de datos cuádruple (QDR), como se indica a continuación. Posteriormente, se agregaron otras siglas de tres letras para tasas de datos aún más altas.

Cada enlace es dúplex. Los enlaces se pueden agregar: la mayoría de los sistemas utilizan un conector de 4 enlaces/carriles (QSFP). HDR a menudo utiliza enlaces 2x (también conocido como HDR100, enlace de 100 Gb que usa 2 carriles de HDR, mientras sigue usando un conector QSFP). Se requiere 8x con puertos de switch NDR que usan conectores OSFP (Octal Small Form Factor Pluggable) "Definiciones de cables y conectores".

InfiniBand proporciona capacidades de acceso directo a memoria remota (RDMA) para reducir la sobrecarga de la CPU.

Topología

InfiniBand utiliza una topología de estructura conmutada, a diferencia de los primeros medios compartidos de Ethernet. Todas las transmisiones comienzan o terminan en un adaptador de canal. Cada procesador contiene un adaptador de canal de host (HCA) y cada periférico tiene un adaptador de canal de destino (TCA). Estos adaptadores también pueden intercambiar información por seguridad o calidad de servicio (QoS).

Mensajes

InfiniBand transmite datos en paquetes de hasta 4 KB que se juntan para formar un mensaje. Un mensaje puede ser:

• un acceso remoto de memoria directa leer o escribir
• un canal envía o recibe
• una operación basada en transacciones (que se puede invertir)
• una transmisión multicast
• una operación atómica

Interconexión física

Interruptor InfiniBand con conectores CX4/SFF-8470

Además de una conexión de factor de forma de placa, puede usar cobre activo y pasivo (hasta 10 metros) y cable de fibra óptica (hasta 10 km). Se utilizan conectores QSFP.

La Asociación InfiniBand también especificó el sistema de conector CXP para velocidades de hasta 120 Gbit/s sobre cobre, cables ópticos activos y transceptores ópticos que utilizan cables de fibra multimodo paralelos con conectores MPO de 24 fibras.

Interfaces de software

El soporte del sistema operativo Mellanox está disponible para Solaris, FreeBSD, Red Hat Enterprise Linux, SUSE Linux Enterprise Server (SLES), Windows, HP-UX, VMware ESX y AIX.

InfiniBand no tiene una interfaz de programación de aplicaciones (API) estándar específica. El estándar solo enumera un conjunto de verbos como ibv_open_device o ibv_post_send, que son representaciones abstractas de funciones o métodos que deben existir. La sintaxis de estas funciones se deja a los proveedores. A veces, como referencia, esto se denomina API de verbos. El software estándar de facto es desarrollado por OpenFabrics Alliance y se llama Open Fabrics Enterprise Distribution (OFED). Se publica bajo dos licencias GPL2 o licencia BSD para Linux y FreeBSD, y como Mellanox OFED para Windows (nombres de producto: WinOF / WinOF-2; atribuido como controlador de host para conectar dispositivos ConnectX 3 a 5 específicos) bajo una opción de BSD licencia para Windows. Ha sido adoptado por la mayoría de los proveedores de InfiniBand, para Linux, FreeBSD y Microsoft Windows. IBM hace referencia a una biblioteca de software llamada libibverbs, para su sistema operativo AIX, así como "AIX InfiniBand verbs". La compatibilidad con el kernel de Linux se integró en 2005 en la versión 2.6.11 del kernel.

Ethernet sobre InfiniBand

Ethernet sobre InfiniBand, abreviado como EoIB, es una implementación de Ethernet sobre el protocolo InfiniBand y la tecnología de conector. EoIB permite múltiples anchos de banda de Ethernet que varían según la versión de InfiniBand (IB). La implementación de Ethernet de Internet Protocol Suite, generalmente conocida como TCP/IP, es diferente en algunos detalles en comparación con el protocolo InfiniBand directo en IP sobre IB (IPoIB).