NVIDIA树立了大数据分析新标杆
【慧聪通信网】NVIDIA所展示的标准大数据分析基准（TPCx-BB）性能是此前纪录的近20倍。
采用RAPIDS开源数据科学软件库套件，并使用由16台NVIDIADGXA100系统组成的集群赋力，NVIDIA仅用了短短14.5分钟就完成了基准测试，而目前在CPU系统上运行的记录是4.7小时。该DGXA100集群系统共配置了128块NVIDIAA100GPU，并配有NVIDIAMellanox网络功能。
30个TPCxBB基准测试查询结果。RAPIDS在16台DGXA100系统上运行，为每个10TB测试查询提供上述相对性能提升。
所有系统齐头并进：软件和硬件双管齐下，全面提升性能
如今，领先的企业机构使用AI获得洞见。TPCx-BB基准测试的特点是将SQL与结构化数据的机器学习、自然语言处理和非结构化数据相结合的查询，反映了现代数据分析工作流中的多样性。
这些非官方的结果指向了一个新的标准，而这一新标准背后所实现的突破是通过NVIDIA软件和硬件生态系统得以实现。
为了运行该基准测试，NVIDIA采用RAPIDS用于数据处理和机器学习，Dask用于水平扩展，使用UCX开源库进行超快速通信，所有这些软件工具都在DGXA100上得到了增强。
DGXA100系统能够高效地支持单一软件定义平台上的分析、AI训练和推理。DGXA100将NVIDIA最新一代基于Ampere架构的NVIDIA A100 Tensor Core GPU和NVIDIAMellanox网络功能整合到一套易于扩展的完整系统中。
通过并行处理实现无与伦比的性能
TPCx-BB是用于实际ETL（提取、转换、加载）和机器学习工作流程的企业大数据基准测试。该基准测试的30个查询项目包含多种大数据分析用例，例如库存管理、价格分析、销售分析、推荐系统、客户细分和情绪分析。
尽管分布式计算系统都在稳步改进，但在CPU上运行时，运行如此大的数据工作负载仍会遇到瓶颈。在DGXA100上使用RAPIDS展示了GPU支持的TPCxBB基准的突破潜力，而这项基准测试过去一直只在CPU系统上运行。
在该基准测试中，RAPIDS软件生态系统和DGXA100系统可加速计算、通信、网络和存储基础设施。这一集成为数据科学工作负载的大规模运行树立了新的标杆。
高效的大数据级基准测试
在SF10000TPCx-BB级别，NVIDIA测试可得出10TB以上数据工作负载的结果。
在这种规模下，查询的复杂策划高难度会迅速增加执行时间，从而增加数据中心的支出，例如空间、服务器设备、电源、散热和IT专业知识等。而具有弹性的DGXA100架构可以解决这些问题。
借助来自NVIDIA硬件合作伙伴的全新NVIDIA A100 TensorCore GPU系统，数据科学家们将甚至能够选择通过A100的突破性性能加速工作负载。
开源加速与协作
RAPIDSTPCx-BB基准是一个由众多合作伙伴和开源社区共同参与的项目。
TPCx-BB查询通过一系列Python脚本实现，这些脚本使用RAPIDS数据帧库、cuDF、RAPIDS机器学习库、cuML、CuPy、BlazingSQL和Dask作为主库。Numba被用于在用户定义的函数中实现自定义逻辑，spaCy被用于命名实体识别。
如果没有RAPIDS和整个PyData生态系统，就不可能取得这些结果。
