您的当前位置:首页从实验室服务器资源占用机制看“公平”和“效率”

从实验室服务器资源占用机制看“公平”和“效率”

2024-12-14 来源:哗拓教育

从去年开始,我们实验室里的服务器资源越来越紧张,每个人都声称自己几乎申请不到资源,有时候即使连一个调试节点上的device也占不到,每每只能唉声叹气的在自己的cpu上调试和测试。

事实上,我们实验室满打满算GPU资源已经相当丰富,从node1到node13,共55个device(其中18个4g显存,37个12g显存),拢共30个人使用(不会同时使用),因此即使按照平均分配也能保证每个人有1个device使用。但是是什么原因导致了有人没有申请到资源?

从实验室拟定的服务器使用条例中可以看到,规则上采用如下的机制:

1. 使用数量:每个人最多可以同时使用6块显卡,如果使用的显卡数目超过4块,而此时显卡数目不够用,则采用A1方案:让显卡使用量最多的人主动让出显卡使用权,如果使用量最多的人数超过一人,则让出最早被预约的显卡。为了保证每人都随时有一块显卡可以使用,如果出现有人没有显卡可用的情况,采用A1方案
2. 使用时间:每次预约成功一块显卡后,只要当前使用的显卡数目不超过4块,那么72小时内不能被强制让出显卡使用权
3. 预约方式:每隔72小时,15点,提供一张清空的在线表格,大家将自己的名字填到对应的显卡所在行,如果多人预约同一张显卡,根据表格修改记录,按照谁先提交谁得到显卡使用权的原则来分配显卡。每个人在十分钟内的预约数目不能超过六块显卡,以免出现有人一次性将20张显卡全部预约的情况。在72小时内,可以随时放弃显卡使用权,并删除表格中显卡对应的使用人。在72小时内,如果还有空余显卡,也可以随时预约。
4. 考虑到Titan X显卡的运算性能优于GTX 980,故不对每块显卡的显存使用量做要求,但是尽量秉承用Titan X运行高显存使用量程序的原则。
5. 如果需要做超过72小时的运算,并且切换显卡不方便,需提前告知大家尽量不要预约在使用的显卡。
6. 考虑到目前深度学习的框架对于CPU以及内存的使用量不会有过高的要求,所以尽量不要占用太多CPU以及内存资源。
7. 需要自己让出显卡使用权的时候,请自觉停掉程序

整体的方案从分配的角度上,基本上保证了众多用户的权限,既能让高需求用户同时满足多达6块device的使用需求,也能保证低需求用户1块device的最小需要。从理论上讲,这样还是可行的,“多退少补”的原则也能够让没有资源的用户得到最大的保障。

从某种意义上讲,这种机制更加注重效率,需要使用更多device的用户可以得到尽可能多的device,6片,基本上同时可以跑多达6个实验或6组参数,甚至更多。这样的机制使得占用很多资源的学生能够更快的得到更多的结果,加快科研的进展,也就是“效率优先”。但正是这种效率优先的策略,正导致了在长达半年到一年时间内的哀声哉道——没有人会主动吐出自己占有的资源,因为没有人愿意承认自己占用了最多的资源,且并没有充分利用起来。这就导致了多数资源占用不那么频繁的用户,经常性的占用不到任何资源。

实验室的发展确实要以学生的科研结果作为基础,因此必须有效的推动学生的科研进展,因此“效率优先”在一定程度上是可以理解的,但是如果这种策略阻碍了更多学生的研究工作,或者对他们的工作造成困扰,那么这就违背了效率的意义,从而造成了某种程度上的“垄断”。事实上,在过去的半年里,经常会有用户直接使用6块device甚至8块device(战时条例),这绝对是对其他用户资源的一种不道德侵占。

分析一下上述机制失败之处,主要在于“让用户吐出使用的device”是难以实现,不可操作的。在新机制的讨论期间部分同学提出修改上限数字为4甚至3,但是从我的观点来看,如果有数量较多的用户(比如6个)同时使用4个device的情况下,仍然难以解决该问题。

实验室里在没有大的利益冲突下,就存在这样的资源分配问题,而在社会上更严重的资源分配不均更是显而易见。“效率”与“公平”从来都是一对难以协调的因子,在邓之后,社会氛围明显趋于"效率优先,兼顾公平”的发展策略,所谓“兼顾公平”的情况,也多是“效率”的胜利。

而我,作为社会的一份子,实验室的一成员,为了让自己能够获得更多的资源,也就只好在提高“效率”的路上渐行渐远,努力的让自己成为“效率”的那部分社会组成,远离“公平”。

显示全文