InfiniBand -- 无限带宽技术（简称IB）基于 Ubuntu 16.04 安装 IB 驱动

文章目录

InfiniBand 简介：环境检测：基于 Ubuntu 16.04 安装 IB 驱动:1、下载 IB 驱动包：2、开始安装:2.1、上传减压 tgz 包并且安装：2.2、重新加载驱动:2.3、查看及配置 IB2.4、当更改了配置的时候要记得重启服务：

这里是我自己写的一个关于 “RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、RDMA测试” 等的一个学习目录；可以更方便的进行学习及文章的查找：

学习目录：RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、ib_read/write_bw测试

InfiniBand 简介：

InfiniBand —— 是一种技术，直译为 “无限带宽” 技术（简称 IB ）；

是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连。

其次，inifiniband 也是一种新的网络通信协议（所谓网络通信协议就是 —— 一种网络通用语言：是不同操作系统、不同硬件之间提供通信支持的协议）；提供了一种基于交换的架构，infiniband 通过交换机在节点之间直接的创建了一个私有的、受保护的通道，来进行数据和消息的传输，特点：无需CPU参与、直接通过 RDMA（直接内存访问）

更多介绍：包括概念及作用

环境检测：

千万注意：要先进行环境的检测，检测你的环境是否安装了IB卡！

关于IB卡

root@ubuntu:~$ lspci |grep Mell0b:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3]# 如果你用 lspci 查不到 Mell 的信息，说明你的服务器上就没有IB卡，也不需要配置接下来的 IB 驱动了。# 只能换有IB卡的服务器进行接下来的环节

基于 Ubuntu 16.04 安装 IB 驱动:

1、下载 IB 驱动包：

另一个文章里面写了，这里就不写了：

戳我下载 IB 驱动包：什么版本的都有哦！

2、开始安装:

2.1、上传减压 tgz 包并且安装：

root@master:~# lsMLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16.04-x86_64.tgzroot@master:~# tar zxvf MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16.04-x86_64.tgz root@master:~# cd MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16.04-x86_64/root@master:~/MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16.04-x86_64# lscommon_installers.pl DEBS_UPSTREAM_LIBS mlnx_add_kernel_support.sh uninstall.shcommon.pl distro mlnxofedinstallcreate_mlnx_ofed_installers.pl docsRPM-GPG-KEY-MellanoxDEBS LICENSE srcroot@master:~/MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16.04-x86_64# ./mlnxofedinstall --force/--all (你可以选择--force 或 --all 进行安装)

看到这个红色的不要紧张，它是在卸载旧的安装包，并且下载新的所需要的包，过程有点缓慢请耐心等待…

该程序将在您的计算机上安装 MLNX_OFED_LINUX 软件包。
请注意，将删除所有其他Mellanox，OEM，OFED，RDMA或Distribution IB软件包。
这些软件包由于与 MLNX_OFED_LINUX 冲突而被删除，请不要重新安装它们。

检查软件要求…
缺少用于安装MLNX_OFED_LINUX的一个或多个必需软件包。
尝试安装以下缺少的软件包：
libltdl-dev swig libgfortran3 bison gfortran flex libnl-route-3-200 dpatch graphviz autoconf autotools-dev debhelper automake chrpath quilt m4

安装完成会提示你：

Installation passed successfullyTo load the new driver, run:/etc/init.d/openibd restart# 系统自动提示你，到了重启服务的步骤了

2.2、重新加载驱动:

root@master:~# /etc/init.d/openibd restartUnloading HCA driver: [ OK ]Loading HCA driver and Access Layer: [ OK ]

2.3、查看及配置 IB

# 重启服务器之后，执行 ”ip a | grep ib“ 查看 ib网卡接口的信息：user@master:~# ip a | grep ib3: ib0: <BROADCAST,MULTICAST> mtu 4092 qdisc noop state DOWN group default qlen 256link/infiniband a0:00:02:08:fe:80:00:00:00:00:00:00:00:02:c9:03:00:1e:75:11 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff# 使用 ibstat 查看信息：user@ubuntu:~$ sudo ibstatCA 'mlx4_0'CA type: MT4099Number of ports: 1Firmware version: 2.42.5000Hardware version: 1Node GUID: 0x0002c903001e7510System image GUID: 0x0002c903001e7513Port 1:State: ActivePhysical state: LinkUpRate: 40 (FDR10)Base lid: 6LMC: 0SM lid: 6Capability mask: 0x0251486aPort GUID: 0x0002c903001e7511Link layer: InfiniBand# 如果你前面的步骤都对，但是在这没有 ib口，服务也都重启了，那你就执行“ lspci | grep -i mell ” 测试你的服务器有没有 ib卡，如果没有信息，那就说明没有ib卡，安装ib驱动也没有任何用!