貌似pnetcdf都一直有点问题???
-
RE: 动态I/O转发节点分配系统(Dynamic forwarding resource allocation)
@夜深忽梦少年事 我明白了。。 是。。 我突然发现还可以发私信。。 还可以聊群组。。。 功能都不错啊。
-
RE: 动态I/O转发节点分配系统(Dynamic forwarding resource allocation)
@qazserfv 您要是有兴趣的话,我们可以给您看一下我们的文章。这里先简单跟您说一下我们的原理:
首先在我们神威太湖之光的存储系统上,计算节点的I/O并不是直接连接到后端的存储节点上去的,而是通过中间的一层:我们叫做I/O转发层。这种架构可以帮助构建一个轻量级的操作系统内核,同时减少网络拓扑的复杂性。
但是不幸的是,测试发现,应用程序的I/O性能经常会卡在这一层上:在神威上,计算节点到I/O转发节点的映射是静态的,计算节点到I/O转发节点的比例是512-1. 而进一步研究发现,一个I/O密集程序,到达最好的性能的时候的这个比例是32-1。 但是如果全部计算节点的配置都是32-1的话,I/O转发节点就不足了(经费原因,我们没有买那么多I/O转发节点)。所以我们就使用了这么一套动态转发的机制,我们会查看应用程序的历史,评估应用程序是否是I/O密集的(读写很大量的文件)。然后再作业真正运行之前,修改好计算节点到I/O转发节点的映射,也就是为作业提供更多的I/O转发节点。这种最好可以带来差不多20倍的性能提升(读带宽从1GB/s提升到了20GB/s)。
另外的一个问题是I/O冲突的问题:共享I/O代理转发节点会造成很严重的I/O性能下降,最严重的情况可能性能只是正常性能的1%。我们的监控系统Beacon会帮助我们找到相互冲突的I/O程序。如果您应用在运行之前,已经发现了一些很重I/O的应用程序跟您一起共享某些I/O转发节点,我们会调整您的I/O转发,将他们重新映射到新的转发节点上,避免I/O的性能下降。