高难问题:请问linux最大的可管理磁盘是多大

发表于:2007-07-04来源:作者:点击数: 标签:
最近安装9。0,将一个分区挂在2T的磁盘阵列上,配置时没问题,真正开始安装就报错误信息。 完全相同的配置,更改磁盘阵列的大小,实验了一个600G的就没问题。 那位大虾知道是否因为是磁盘超过LINUX管理范围的原因,哪个版本的 unix 可以解决这个问题。 问了

最近安装9。0,将一个分区挂在2T的磁盘阵列上,配置时没问题,真正开始安装就报错误信息。

完全相同的配置,更改磁盘阵列的大小,实验了一个600G的就没问题。

那位大虾知道是否因为是磁盘超过LINUX管理范围的原因,哪个版本的unix可以解决这个问题。

问了好多大虾,找了好多资料,都没有准确的说法,RH的官方网站还要注册,很麻烦。

 egret 回复于:2004-09-16 00:28:47
你的内核得选上:
[*] Support for Large Block Devices
文件系统也有关联,据我所知ext2/3最大支持2048G,而reiserfs则支持16TB。

 dlcat 回复于:2004-09-16 08:10:39
是ext3形式,在图形方式的安装界面中有关于内核的选项么?

 dlcat 回复于:2004-09-16 08:17:13
有官方的关于最大磁盘管理空间的说法么?

 peng 回复于:2004-09-16 09:52:17
我没有计错的话,ext3最大1t,reiserfs应该是个好的选择。

263他们做过测试,一会我问问。。

 dlcat 回复于:2004-09-16 14:28:54
哭了,楼上的,你肯定没有记错,ext3是1T的,和内核支持没关系。
另:我在rh9.0和fedora里都只看到ext2|3,swap,lvm就是没reiserfs,怎么选择到reiserf啊。
啊啊啊,高手救命,小虾就不要说了,就是因为二楼说内核支持害得我做了个启动盘。

 dlcat 回复于:2004-09-16 14:31:30
263的是什么版本的unix,怎么解决的,麻烦了。

 coolzsb 回复于:2004-09-16 14:41:21
可以考虑用lvm来做啊,多个物理卷来做lvm卷的,目前kernel的限制,管你什么样的分区系统,最大的物理分区就是2个T,为了以后的扩展方便,用lvm是个比较合理的选择,分区格式选择ext3或者xfs都是不错的,个人推荐xfs

 新红军 回复于:2004-09-16 14:46:48
solaris好像也是2T

 q1208c 回复于:2004-09-16 15:59:09
没用的,这是 kernel 的问题, ext3  是可以支持8T的。但只能支持1T的block device ,所以,再大了就不能用了。和用什么FS是没关系的。

可以看看 2.6 的kernel 会不会支持大于1T的吧。

 dlcat 回复于:2004-09-16 16:41:04
lvm也肯定不行,那是为了方便磁盘管理而做的,超过1T一样不行。

 wind521 回复于:2004-09-16 17:15:25
不能超过2T

不知道现在的怎么样?

 dlcat 回复于:2004-09-16 17:44:14
怎么有几个说是2T呢,明明是不能超过1T,谁作过超过1T的,告诉我什么版本的。

才看见,楼上是吴吧,我是学校的,冯。

 dlcat 回复于:2004-09-16 21:12:17
趁人多,顶一下,等人回复啊

 platinum 回复于:2004-09-16 22:09:39
1、你的题目过于夸大,很反感这样的题目
2、有很多人已经回答了

 dlcat 回复于:2004-09-16 22:42:25
1 我不认为我的题目夸大,因为这个问题目前所有的人都无法给我解决方法,包括斑竹wind521知道的,我认为已经非常高的几个高人,甚至debian组织采用过其代码的人.经过我的分析和研究,我只能说1t是内核限制.但另一方面,现在那些1G邮箱的服务器有解决方法却 没人知道.
2 我在本论坛没找到任何说法,除了目前几个回答.

另:你别觉得你有多高似的,还在签名档里整个MRTG的破玩意,那能显示你水平高啊,你能回答就回答,不能就别反感不反感的,没见过你这么当版主的,什么都没说光整的挺明白的,歧视你觉得挺菜的人,LINUX不是这么样的,也不是这个精神.

 platinum 回复于:2004-09-16 23:08:49
我为我所说的话深表歉意
置定有发贴规矩,类似“CU没人知道”、“这个问题没人懂”、“非高手莫进”这种标题是被歧视的

早期LINUX的单文件限制是2G,内核支持到最大磁盘空间2T
现在内核发展太快了,最新技术恐怕只能去查kernel document

我没有歧视任何人,也没觉得任何人菜,MRTG也并不高深,您多虑了

 helixgentoo 回复于:2004-09-16 23:14:37
我的服务器的raid卡是3ware 7500-8 8块160G金钻做RAID5 可用空间1.1TB,Linux版本是Gentoo 2004.2 内核版本是2.6.8,先做LVM2,再做XFS,创建VG时用 -s 32m参数最大可以支持2TB的文件系统。听代理商说3ware 9500系列的卡配合64位CPU,可以支持2TB以上的文件系统,但用什么版本的内核和Linux发行版没问,这个地址是IBM文件系统专题中LVM的链接,作者是Gentoo Linux的老板http://www-900.ibm.com/developerWorks/cn/linux/filesystem/lvm/lvm-2/index.shtml

 dlcat 回复于:2004-09-16 23:31:03
我也向楼主表示道歉,为我的冲动的话.
可能我的这种直接将磁盘阵列挂载为一个分区的应用比较少.开始大家没看明白.

helixgentoo,谢谢你的回答,那篇文章也很好,是我看过最好的LVM的中文的资料了.
我这个是一个分区挂载,不是整个LINUX.LVM我实验过,他只是能合成,但合成超过1T也不行,应该是内核文件管理系统的限制.
我现在特别想知道大运营商级别硬盘是怎么分的,提供1G移动硬盘的运营商,他们难道也是将不同的分区通过软链接映射成同一目录下不同的文件夹.或者开虚拟目录?

 platinum 回复于:2004-09-16 23:38:27
没关系的,大家都是对事不对人,我喜欢你的坦诚:)

你的阵列是多大的?测试结果如何?

 dlcat 回复于:2004-09-16 23:44:43
2T的DELL阵列,raid5后约1.8T.
根据现象判断是kernel对一个分区的上限是1T,目前解决方法是分两个分区,每个900G,在一个分区中通过alias软链接另一个分区中的一个文件夹.

我相信有更好的方法,继续等待.

 platinum 回复于:2004-09-16 23:51:27
你的内核是多少,升级更新的内核试试,或许支持

 helixgentoo 回复于:2004-09-17 00:00:56
[quote:a9d02518b3="dlcat"]可能我的这种直接将磁盘阵列挂载为一个分区的应用比较少.开始大家没看明白[/quote:a9d02518b3]

  现在也没明白,这是我的df 和 mount输出信息,"分区"应该是挂载点吧?

 helixgentoo 回复于:2004-09-17 00:03:35
是这个图

javascript:window.open(this.src);" style="CURSOR: pointer" onload="return imgzoom(this,550)">




 egret 回复于:2004-09-17 00:30:28
[quote:6cd1d5cab7="dlcat"]哭了,楼上的,你肯定没有记错,ext3是1T的,和内核支持没关系。
另:我在rh9.0和fedora里都只看到ext2|3,swap,lvm就是没reiserfs,怎么选择到reiserf啊。
啊啊啊,高手救命,小虾就不要说了,就是因为二楼说内核支..........[/quote:6cd1d5cab7]
我不清楚你用什么kernel,如果是2.6的,应该有reiserfs的:
[code:1:6cd1d5cab7]Linux Kernel v2.6.7-gentoo-r14 Configuration
 ───────────────────────────────────────────────────────────────────────────────────────────────────────────────
  ┌────────────────────────────────────────────── File systems ──────────────────────────────────────────────┐
  │  Arrow keys navigate the menu.  <Enter> selects submenus --->.  Highlighted letters are hotkeys.         │
  │  Pressing <Y> includes, <N> excludes, <M> modularizes features.  Press <Esc><Esc> to exit, <?> for Help. │
  │  Legend: [*] built-in  [ ] excluded  <M> module  < > module capable                                      │
  │                                                                                                          │
  │ ┌──────────────────────────────────────────────────────────────────────────────────────────────────────┐ │
  │ │                    <*> Second extended fs support                                                    │ │
  │ │                    [ ]   Ext2 extended attributes                                                    │ │
  │ │                    <*> Ext3 journalling file system support                                          │ │
  │ │                    [*]   Ext3 extended attributes                                                    │ │
  │ │                    [ ]     Ext3 POSIX Aclearcase/" target="_blank" >ccess Control Lists                                           │ │
  │ │                    [ ]     Ext3 Security Labels                                                      │ │
  │ │                    [ ] JBD (ext3) debugging support                                                  │ │
  │ │                    <*> Reiserfs support                                                              │ │
  │ │                    [ ]   Enable reiserfs debug mode                                                  │ │
  │ │                    [*]   Stats in /proc/fs/reiserfs                                                  │ │
  │ │                    [ ]   ReiserFS extended attributes                                                │ │
  │ │                    <*> JFS filesystem support                                                        │ │
  │ │                    [ ]   JFS POSIX Access Control Lists                                              │ │
  │ │                    [ ]   JFS debugging                                                               │ │
  │ │                    [ ]   JFS statistics                                                              │ │
  │ │                    <*> XFS filesystem support                                                        │ │
  │ │                    [ ]   Realtime support (EXPERIMENTAL)                                             │ │
  │ │                    [ ]   Quota support                                                               │ │
  │ │                    [ ]   Security Label support                                       [/code:1:6cd1d5cab7]
另外:Device Drivers  --->Block devices  --->[*] Support for Large Block Devices
这是有关的说明:
CONFIG_LBD:                                                                                              
Say Y here if you want to attach large (bigger than 2TB) discs to your machine, or 
if you want to have a raid or loopback device  bigger than 2TB.  Otherwise say N.

 tianci3982730 回复于:2004-09-17 08:47:34
和内核有关

 dlcat 回复于:2004-09-17 09:02:58
请问helixgentoo 在安装前是使用软盘启动,已经重新编译过内核么?
楼上的,我这两个版本确实没这个选项,我也很奇怪.

 sprinklexu 回复于:2004-09-17 09:04:26
ext3最大支持8T (blocksize=4k)

 wind521 回复于:2004-09-17 09:39:15
dlcat,系统安装上去后,把内核作一下修改,如果可能的话,作成lvm,这样对于以后的管理比较方便,对于文件系统,比较推荐用reiserfs或xfs

原来我作过,在2.1下,内核系统没有变动过,作lvm,不能超过2T。

 q1208c 回复于:2004-09-17 09:54:22
看来还有人不相信我说的哟!

那可以试试的。如果能成功,我也跟着学一招。谢谢先啦!

 peng 回复于:2004-09-17 09:57:54
我给做大邮件的公司咨询了一下,大体是这个样子的:

1、默认是不能挂载2t以上东西的,可以通过更改2。6以上内核、用reiserfs试试看。

2、没有一个公司用linux直接挂载1t以上的目录的,因为如果真是这样,系统会打不开的,空间太大,寻址时间太长。

3、一般的情况是这样的,如果你要mount上一个目录,希望有2t以上的空间,看实际的应用情况,如果这个目录下有很多子目录,最好能mount这些子目录,每个600g左右是最好的选择。(这是从系统效率考虑的)

咨询了国内三家算是最大的做邮件系统的公司(应该是普遍性和权威性都有了。。),他们都是有很多主机,每个主机挂载一个阵列的不同的硬盘。没有直接挂载给一个主机的。

例如:某公司做邮件系统,一共1000万用户,每一百万用户共用一个共享(磁盘阵列上的某几块硬盘做成的一个共享目录),这样好处就是就不用说了。太大的空间,会增加io的负载。。

不过刚了解一个可笑的东西,炒作的沸沸扬扬的gmail,居然是用主机+raid卡,都是单机的。。faint~
原理:就是前端在用户登陆认证的信息里,记录那些用户属于那个主机,这样就把用户分到具体的单独的主机上了。主机很烂,所以gmail经常出现无法登陆,或者错误界面。。

 peng 回复于:2004-09-17 10:02:45
现在的问题是,如果你可以挂载2t以上的目录,系统也不能投入生产的。。

主机的性能、硬盘的转速决定了。。

 Yerk 回复于:2004-09-17 12:10:36
[quote:516c9490d8="peng"]我给做大邮件的公司咨询了一下,大体是这个样子的:

1、默认是不能挂载2t以上东西的,可以通过更改2。6以上内核、用reiserfs试试看。

2、没有一个公司用linux直接挂载1t以上的目录的,因为如果真是这样,系统?.........[/quote:516c9490d8]

关于最后一点gmail的看法,我不太赞同,其实他们这种方式才是更大的可扩展性,而且成本便宜、容易置换。

 helixgentoo 回复于:2004-09-17 12:21:15
Gentoo Linux 在安装时就必须编译内核,不需要软盘启动,Gentoo 用 livecd 启动,在安装完成后,我把整个RAID的容量1.1TB做成LVM,因为是做VOD应用,所以用XFS,XFS的设计思想是“考虑大东西”,我把1.1TB 全都挂载到一个目录文件总数也不是很多,全是RMVB格式的文件,每个文件都在300M(500K码率)以上,性能也不错。

 peng 回复于:2004-09-17 13:00:24
[quote:d3b5b62d94="Yerk"]

关于最后一点gmail的看法,我不太赞同,其实他们这种方式才是更大的可扩展性,而且成本便宜、容易置换。[/quote:d3b5b62d94]

也更容易丢失东西,更容易增加故障点。。

 SolidSnake 回复于:2004-09-17 21:55:10
[quote:476c20efe5="peng"]

也更容易丢失东西,更容易增加故障点。。[/quote:476c20efe5]

容易丢东西,我觉得不一定,每台机器都做raid 1,怎么丢东西?
另外,增加故障点这个问题要辨证的看,1000w用户一台阵列,阵列出了故障,1000w用户全都(暂时)无法使用,而您说的gmail的方式,顶多也就是那台机器上的小部分用户(暂时)无法使用。

至于成千上万台机器的管理么,我相信谁也比不上google,这应该没什么可争议的吧。

 SolidSnake 回复于:2004-09-17 22:16:48
[quote:5e514fb9f2="dlcat"]怎么有几个说是2T呢,明明是不能超过1T,谁作过超过1T的,告诉我什么版本的。

才看见,楼上是吴吧,我是学校的,冯。[/quote:5e514fb9f2]

兄弟,我去年就做过1.8T的分区了。。。系统是rhel-as-3。

大于2T的会有问题,因为linux2.4内核(目前的稳定版本)支持的最大block device大小是2TB。
这个2TB是怎么来的呢:
在32位平台上,系统能够支持的最大sector数量是2^32,而每sector的大小是512Byte,所以。。。

 eagerlinuxer 回复于:2004-09-18 00:04:07
[quote:f97e7342e0="SolidSnake"]

兄弟,我去年就做过1.8T的分区了。。。系统是rhel-as-3。

大于2T的会有问题,因为linux2.4内核(目前的稳定版本)支持的最大block device大小是2TB。
这个2TB是怎么来的呢:
在32位平台上,系统能够支持的最..........[/quote:f97e7342e0]
这个说法我觉得有道理。

 joeandjane 回复于:2004-09-21 09:17:08
还是做RAID吧,俺们的3台SOLARIS也是2T的光纤阵列,做的RIAD15。

 peng 回复于:2004-09-21 09:39:07
[quote:f85ab0d02d="joeandjane"]还是做RAID吧,俺们的3台SOLARIS也是2T的光纤阵列,做的RIAD15。[/quote:f85ab0d02d]

 :em06: 

搂住说一个机器挂2t的一个目录。。。

 q1208c 回复于:2004-09-21 09:41:21
做了RAID也是一样的。只能管一个分区是2T的(在特定的平台上)。

 leaper 回复于:2004-09-21 09:44:41
[quote:8b76154e0f="dlcat"]1 我不认为我的题目夸大,因为这个问题目前所有的人都无法给我解决方法,包括斑竹wind521知道的,我认为已经非常高的几个高人,甚至debian组织采用过其代码的人.经过我的分析和研究,我只能说1t是内核限制.但另一方面,现?.........[/quote:8b76154e0f]


先端正一下自己的思想状态。
1G的邮箱是用集群,阵列。跟这没什么关系。

一个人不要什么都懂,一个版主也不要什么都会。

人家不愿意回答你又怎么的。他们欠你什么吗?

 gydoesit 回复于:2004-09-23 08:31:04
redhat9支持reiserFS,记得是在安装的第一个选项时输入linux reiserfs.
fedora想来也是一样的吧.也许是fedora才这样,是网友试的,我记不清了.

推荐2.6内核一试,2.6.8-mm2之后的内核已经支持最新的reiser4文件系统了.
不过如何安装我还不清楚,毕竟没有哪个发行版自带:(

 lotusqqq 回复于:2004-09-23 09:20:45
我用两个160g的盘做lvm,为什么告诉我不能超过300g?

 thiz0 回复于:2004-09-23 11:43:20
大家各执己见,可是那个才是正确的阿?

有人出来总结一下了!!!

 blue_stone 回复于:2004-09-23 12:25:05
linux系统可以支持的最大分区与建立文件系统的时候选择的块的大小有关,同时也和文件系统有关,不过没用过那么大的硬盘,不知道怎么做,要不可以建立一个小一点的分区,装上系统后重新编译一下内核不就可以了么?

 SATAND 回复于:2004-09-24 15:09:43
我没有用过单机磁碟大于1T的系统
以前曾做过某公式分析的机子,金融数学方面的
曾想过变更系统获得大磁碟的支持
但老板指出在实际运用中使用新的内核以及单机环境都是不负责任的
最后作了个小集群,单系统挂理空间(146.8x6)730Gb,单架7台2U搞定
不过开支n费...
希望大家能够提出经济合理的解决方案
关键是能够投入实用
期待ing

 独行侠1 回复于:2004-09-24 16:14:29
我看了半天,也没搞明白。

难道是我想错了:我想,没有哪个人会有一个2T的目录吧?
那要是一个一个的子目录,你直接mount 不就行了?
/home   
/home/user1
/home/user2
/home/user3
......
......
这样会有问题吗?有单一的一个用户目录会超过2T吗?

不好意思,我不是很明白,只是把想法说出来,希望有人能帮我解释一下,也加深我的认识了。

 aquino 回复于:2004-09-24 23:00:46
都是一帮牛人, 俺刚知道40G硬盘张啥样

 netocool 回复于:2004-09-24 23:36:19
哈哈.....真牛
干嘛不用AS Linux呢?

你们不知道RedHat 9.0跟AS Linux的区别吗?

 rongler 回复于:2004-10-23 10:35:52
[quote:1a6183c47d="SolidSnake"]

兄弟,我去年就做过1.8T的分区了。。。系统是rhel-as-3。

大于2T的会有问题,因为linux2.4内核(目前的稳定版本)支持的最大block device大小是2TB。
这个2TB是怎么来的呢:
在32位平台上,系统能够支持的最..........[/quote:1a6183c47d]


看完我都晕了,还是比较相信这个数字!

 eagerlinuxer 回复于:2004-10-23 10:44:14
大家不要晕,看一下这篇有关LFS的文章,你们就会明白一点了 :)
http://www.suse.de/~aj/linux_lfs.html    E文不好的可以看一下其中的一张表:

Maximum On-Disk Sizes of the Filesystems
Filesystem File Size Limit Filesystem Size Limit 
ext2/ext3 with 1 KiB blocksize 16448 MiB (~ 16 GiB) 2048 GiB (= 2 TiB) 
ext2/3 with 2 KiB blocksize 256 GiB 8192 GiB (= 8 TiB) 
ext2/3 with 4 KiB blocksize 2048 GiB (= 2 TiB) 16384 GiB (= 16 TiB) 
ext2/3 with 8 KiB blocksize (Systems with 8 KiB pages like Alpha only) 65568 GiB (~ 64 TiB) 32768 GiB (= 32 TiB) 
ReiserFS 3.5 2 GiB 16384 GiB (= 16 TiB) 
ReiserFS 3.6 (as in Linux 2.4) 1 EiB 16384 GiB (= 16 TiB) 
XFS 8 EiB 8 EiB 
JFS with 512 Bytes blocksize 8 EiB 512 TiB 
JFS with 4KiB blocksize 8 EiB 4 PiB 
NFSv2 (client side) 2 GiB 8 EiB 
NFSv3 (client side) 8 EiB 8 EiB

所以文件系统已经不是超过2T分区的障碍,而真正的障碍是内核。我用RH AS 3 (2.4.21内核)做2T以上的分区不行,但用SUSE ES 9 (2.6.5-7.97)却一切OK。

 eagerlinuxer 回复于:2004-10-23 10:56:24
我公司最近也新买了两个3.4T的ATA盘柜,我把每一个盘柜做成两个1.7T大硬盘挂在机器的SCSI口上(SCSI最大单硬盘只能到2T),用SUSE 9 ES  做系统(它是2.6内核的),在安装时把它两个1.7T的盘做成RAID0。这样就是3.4T的一个大硬盘了 :)  再选XFS做为文件系统,安装后一切OK。

单个硬盘分区3.4T。 HOHO~~
在上面试验,做了一个50G的文本文件,可以用less查看,可以用tar -zcvf 压缩。

 peng 回复于:2004-10-23 11:43:10
我问了一个做存贮的公司的一个牛人吧。

他说不存在挂不上的说法,而是系统不能创建大分区。如果是阵列,用阵列的管理软件创建好了分区后,是可以mount在主机上的。

如果主机自己创建,就会出现2t的问题了。

 ak57 回复于:2004-12-22 13:50:09
一个国内厂商这么说的,他们说这是RAID5的限制,他们的产品确实做不了,我试了很多遍了.如果他们所说是真的,分成几个<2T的分区来使用是实际的做法.

原文转自:http://www.ltesting.net