存储和数据库技术正以惊人的速度发展,这并非偶然。
存储和内存技术对数据库操作有很大的影响。IEEE研究员、数据存储咨询公司库格林联合公司总裁汤姆库格林说:“更快的存储和内存直接转化为更快的数据库操作。此外,加速器(可以在内存和存储附近运行)等新技术可以提供潜在的更高效的操作、更高的性能和更低的延迟。”
同样的进化
存储产品提供商希捷科技(Seagate Technology)副总裁兼企业数据解决方案总经理Ken Claffey表示,存储和数据库系统在技术和部署方式上一直处于同一条发展曲线。随着时间的推移,SQL数据库已经从一个纵向可扩展的系统发展到NoSQL数据库,这是一个横向可扩展的分布式系统。同样,存储技术也从垂直扩展的阵列发展到水平扩展的分布式存储系统。Claffey说:“这两种技术都经历了部署方式的变化,从本地专有系统到软件定义的开源云存储模型。”
数据库开发商ScyllaDB的杰出工程师Glauber Costa表示,NoSQL的演进消除了仅仅为了减少数据重复而创建复杂且难以管理的数据模型的需要,这与2007-2008年基于PCIe的SSD的到来密切相关。他补充说,随后NVMe技术的出现将有助于进一步提高数据库性能。
展望未来,永久存储器可能会诞生新一代快速而强大的数据库,可以处理文章、物联网等复杂数据。科斯塔说:“通过持久记忆,你会看到每个人都在试图将延迟从单毫秒(ms)推到几十微秒(s)。”他还指出,存储已经从HDD可以接受10 ms访问的世界变成了在SATA SSD上可以实现400 s性能,在NVMe设备上可以实现10-100 s的世界。他说:“接下来,我们将谈论100-200纳秒(RAM级别)的持久存储器。”
存储提供商也认识到需要以非凡的速度增强他们的产品,以满足更大、更复杂和越来越脆弱的数据库的需求。科斯塔说:“我们不仅仅是在谈论吞吐量、延迟或密度的并行性。例如,随着对数据库隐私和安全性要求的不断提高,许多NVMe提供商现在提供静态数据加密。”
速度和可扩展性
下一代数据库需要更快的存储和高度可扩展的体系结构。Excelero首席架构师Kirill Shoikhet表示:“目前的NVMe控制器可以处理比SAS和SATA SSD控制器多4倍的并行I/O命令,一个NVMe驱动程序通常可以提供整个全闪存阵列的性能。”Excelero是一家面向云和企业应用的软件定义的块存储提供商。
Shoikhet表示,事务处理完全取决于延迟和并行性,NVMe技术可以大大降低延迟。他说:“使用NVMe oF以高效的方式远程访问NVMe驱动器的能力,为在具有高性能数据库即服务的数据中心中运行数据库实例带来了许多可能性。然而,传统的基于控制器的架构所带来的瓶颈问题可能意味着它们无法扩展其性能来支持许多低延迟的同时访问。相反,基于NVMe-oF或基于远程直接访问存储网络的类似协议的直接访问方法可以实现共享的低延迟访问,从而允许数据库扩展到类似云的环境,并保持强劲的投资回报。”
存储和数据库技术的下一步发展
随着数据需求和使用的激增,存储价格继续快速下降。然而,尽管最近取得了技术进步,应用程序的可扩展性和性能仍将受到存储性能和功能集的限制。数据库软件和服务提供商Percona的首席体验官马特扬科维奇(Matt Yonkovit)表示:“随着应用程序存储更多数据的需求增加,对更快、更可靠的存储的需求也将增加。”
在存储和数据库的交叉领域有许多令人兴奋的发展,包括计算存储、持久存储和GPU映射的SQL。存储和数据库技术变化和创新很快,绝对值得关注。