机箱大从外观结构上看，服务器的机箱一般比较大，有的虽然外观上看似与普通PC机差不多，实际上还是要大些，哪怕是入门级的PC服务器，比如说DELL PowerEdge 400SC入门级服务器（目前价格仅5808元）。对于一些中的专业服务器，机箱的差别就更大了，有的还是一个高高的柜子式的机柜，比如说IBM RS/6000系列的S80型号服务器。
另外，由于安装、连接的设备多，工作时发热量也非常大，必须有足够的空间来散热，以确保服务器能长时间稳定工作。以上这些都决定了服务器的机箱架构就必须要比普通PC机要大，即便是一些媒体所说的DIY PC服务器，为了保证服务器长期稳定工作，也必须加大机箱，在选购或配置PC服务器时一定要注意。
当然以上所说的机箱大，只是针对综合型塔式服务器而言的。随着近几年服务器应用的细化，各大服务器厂商针对各种具体应用推出了专门的功能型服务器，如一些针对空间密集型环境应用推出的服务器产品向机架式服务器，刀片式服务器等在占用空间方面做了特别的优化,大大减小了机箱所占空间。
有的为了节省主板的空间，把部分比较集中的功能件用另外一块单独的板卡提供，如有的服务器就把所有PCI或PCI－X插槽集中在一块板中旋转在机箱外面单独一个盒子中，然后通过一条数据电缆与主板进行连接。当然这也是针对常见的综合类服务器而言，对于像刀片功能服务器，其主板也可能是不大的，这一点要注意，它并不是的。