鼎甲 InfoStor-TL 分布式磁帶存儲技術(shù)白皮書(shū)
發(fā)布人:Marketing 發(fā)布日期:2021-10-19 10:46:21 點(diǎn)擊數:11182
2021.02?第2.1版
冷數據的存儲從來(lái)沒(méi)有如現在一般迫切,其增長(cháng)勢頭,價(jià)值體現,來(lái)源都與以往不同,磁帶做為冷數據存儲介質(zhì),在現今IT環(huán)境中角色越發(fā)關(guān)鍵,把這個(gè)變化比做鳳凰涅磐也毫不夸大其辭。
此白皮書(shū)基于這一背景,磁帶在現有技術(shù)條件下,承載這些新的業(yè)務(wù)需求的磁帶布署方式也一樣發(fā)生了變化,企業(yè)對于彈性、簡(jiǎn)化以及成本的考量,促使磁帶技術(shù)以一種輕量級的方式提供服務(wù),分布式磁帶庫的應用變得更為廣泛。
分布式磁帶庫,以模塊的方式,能夠像搭積木的方式在機房中靈活部署,按照需求擴展,安裝和運維幾乎不需原廠(chǎng)干預,采用LTFS開(kāi)放軟件,使磁帶庫輕松融入客戶(hù)整體架構,另外,最重要的是各項成本和支出表現優(yōu)異,這使其成為企業(yè)的最佳選擇。
本白皮書(shū)同時(shí)對鼎甲INFOSTOR-TL產(chǎn)品做了基礎性的介紹,為用戶(hù)提供參考,以方便用戶(hù)作出最佳決定。
1.?分布式磁帶存儲技術(shù)
眾所周知,磁帶技術(shù)幾乎伴隨著(zhù)信息技術(shù)而生,曾經(jīng)作為主存儲使用,有著(zhù)光輝的歷史,但與硬盤(pán)的技術(shù)及市場(chǎng)的競爭中逐漸勢弱,不斷邊緣化,似有被磁盤(pán)技術(shù)完全替代的趨勢。然而,隨著(zhù)移動(dòng)技術(shù),大數據及云計算的興旺發(fā)展,信息技術(shù)革命真正進(jìn)入數據主導時(shí)代。
數據改變一切,當然也改變了數據存儲的方式,縱覽全球的大型的云數據中心,包括Microsoft, Google, AWS, Facebook, 磁帶技術(shù)已經(jīng)被大規模應用于冷數據存儲,成為歸檔及備份類(lèi)應用當仁不讓的第一選擇。
磁帶技術(shù)浴火重生,鳳凰涅槃,其背后的驅動(dòng)力仍在于數據,在于數據的價(jià)值,以及這些價(jià)值呈現方式,還包括數據的獲取成本,使用時(shí)機,難以衡量的生命周期,最關(guān)鍵的還是數據規模。與其他存儲介質(zhì)相比,磁帶存儲技術(shù)完美契合了這些新的需求,這表現在:
- 從成本上,不論是購買(mǎi)成本(CAPEX, 資本性支出),還是運維成本(OPEX,管理性支出),相比于閃存和硬盤(pán)(包括SMR類(lèi)高密度近線(xiàn)硬盤(pán)),磁帶的成本優(yōu)勢巨大,這種數倍甚至十數倍的TCO(總擁有成本)優(yōu)勢反饋到超大規模的數據量(通常數百PB甚至數個(gè)EB)層面,這就為企業(yè)節省了千萬(wàn)甚至數億人民幣級別的成本支出,這種節省,對改善企業(yè)基本面,增強企業(yè)顯示競爭力,具有無(wú)可抵御的吸引力。
- 從技術(shù)上,磁帶技術(shù)潛力巨大,磁錄密度幾乎線(xiàn)性增長(cháng),這與磁盤(pán)后繼乏力形成鮮明對比,根據現有的路線(xiàn)圖,磁帶介質(zhì)容量幾乎每3年增長(cháng)50%甚至100%,實(shí)驗室環(huán)境中單柄磁帶已經(jīng)做到了528TB,這確是磁盤(pán)甚至閃存難以企及的技術(shù)底蘊,更是光盤(pán)存儲望塵莫及的。除去密度之外,磁帶與生俱來(lái)的空隙(Air Gap)技術(shù)為網(wǎng)絡(luò )及數據安全提供最后的保障。
- 從產(chǎn)品生命周期及可靠性來(lái)講,磁帶技術(shù)(包括磁帶庫,磁帶機和磁帶)可謂超長(cháng)待機,磁帶的可靠性相較硬盤(pán)技術(shù)高3個(gè)數量級,這使磁帶機和磁帶庫的生命周期包括售后在內往往超過(guò)20年,而在數據中心中的30年前的磁帶比比皆是。
- 從企業(yè)社會(huì )責任來(lái)講,磁帶技術(shù)因其離線(xiàn)特性,天然對環(huán)境較為友好,電力消耗相對于閃存和硬盤(pán)來(lái)講幾乎忽略不計,這不僅節省運維成本,同時(shí)切實(shí)踐行了企業(yè)的社會(huì )責任承諾。除了電力消耗,磁帶對環(huán)境的友好性還表現在對數據中心的環(huán)境要求上,對機架,空氣質(zhì)量,溫濕度等等相比于其他存儲介質(zhì)均較為寬松。
1.2?LTO磁帶技術(shù)及路線(xiàn)圖
LTO 技術(shù)聯(lián)盟 (LTO Consortium)提供開(kāi)放磁帶技術(shù)發(fā)展路線(xiàn),包括LTO Ultrium磁帶技術(shù)以及LTFS (Linear Tape File System)磁帶開(kāi)源文件系統,聯(lián)盟廠(chǎng)商采用統一的技術(shù)路線(xiàn),提供標準化,統一開(kāi)放的產(chǎn)品,使磁帶技術(shù)能得以簡(jiǎn)單有效的方式提供給客戶(hù)。
LTO Ultrium的技術(shù)路線(xiàn)如圖1所示,2020年4季度末,LTO9產(chǎn)品已發(fā)布,并計劃于2021年第一季度向市場(chǎng)推出相應的產(chǎn)品。按照LTO聯(lián)盟的技術(shù)路線(xiàn)圖,今后的磁帶密度皆比上一代提升一倍。
圖1:LTO Ultrium磁帶技術(shù)路線(xiàn)圖
附表1則為目前及未來(lái)市場(chǎng)中的LTO磁帶技術(shù)的數據表:
LTO 6 | LTO 7 | LTO 8 | M8 | LTO 9 | LTO 10 | LTO 11 | LTO 12 | |
發(fā)布時(shí)間 | 2012/12 | 2015/12 | 2017/12 | 2020/09 | 2023*** | 2026*** | 2029*** | |
磁帶裸容量 (TB) | 2.5 | 6 | 12 | 9 | 18 | 36 | 72 | 144 |
磁帶壓縮容量 (TB)* | 6.25 | 15 | 30 | 22.5 | 45 | 90 | 180 | 360 |
磁帶長(cháng)度(m) | 846 | 960 | 960 | 960 | 1035 | / | / | / |
磁帶材料 | MP或BaFe | BaFe | BaFe | BaFe | / | / | / | / |
磁帶內存 (KiB) | 16 | 16 | 16 | 16 | / | / | / | / |
磁帶機未壓縮最大讀寫(xiě)速度(MB/s) | 160 | 300 | 360 | 300 | 400 | 1100** | / | / |
磁帶機壓縮后最大讀寫(xiě)速度(MB/s) | 400 | 750 | 900 | 750 | 1000 | 2750** | / | / |
全磁帶寫(xiě)入時(shí)間(按未壓縮速度hh:mm) | 04:20 | 05:33 | 09:16 | 08:20 | 12:30 | 12:07** | / | / |
WORM | 可以 | 可以 | 可以 | 不可以 | 可以 | / | / | / |
加密 | 可以 | 可以 | 可以 | 可以 | 可以 | / | / | / |
注: * 磁帶按2.5:1壓縮; **為技術(shù)計劃;***為預計時(shí)間; “/”表示尚無(wú)可披露數據 |
1.3?冷數據存儲技術(shù)方向以及對磁帶庫的要求
根據IDC的預測,企業(yè)數據產(chǎn)生的年度復合增長(cháng)率水平為40%-50%,每2-3年數據增長(cháng)一倍,這也意味著(zhù)全球范圍內,數據在2025年之前將達到甚至超過(guò)200ZB,其中產(chǎn)生于中國的數據將占據1/4。在這些數據中,溫冷數據占據總量的90%, 按照IDC的定義,超過(guò)30天的純冷數據則占總量的60%以上,這就是說(shuō),即便在中國,屆時(shí)每年會(huì )有將近30ZB的冷數據需要存儲。
與數據爆發(fā)式容量增長(cháng)的同時(shí),冷數據的價(jià)值體現也在發(fā)生改變,或者說(shuō),數據的價(jià)值呈現變得多元化,既存在數據價(jià)值相對較高的數據庫,ERP類(lèi)的數據,這類(lèi)數據增長(cháng)相對平緩;也存在大量AI科學(xué)訓練,媒體及醫學(xué)影像數據這類(lèi)相對價(jià)值稀薄的數據;還包括為滿(mǎn)足政策法規要求所必須存儲的價(jià)值幾乎為零的數據,可以說(shuō)數據的價(jià)值是與其復原或恢復的概率直接相關(guān)。
大幅降低冷數據單位存儲成本,這個(gè)要求變得愈發(fā)迫切,在存儲介質(zhì)一端,閃存通過(guò)技術(shù)的更新(如3D NAND)大幅增加容量以降低成本,而希捷大規模HAMR (Heat Assited magnetic Recording),西數借助MAMR (Microwave Assisted Magnetic Recards)技術(shù)期望提升硬盤(pán)容量,但值得指出的是磁記錄面密度的提升,磁帶的可提升空間相較于磁盤(pán)具有巨大優(yōu)勢,2020年底,Fujifilm聯(lián)合IBM發(fā)布基于鍶鐵氧體(SrFe)技術(shù)的磁帶技術(shù),單柄磁帶容量達到580TB,而磁記錄面密度也僅僅約為12TB硬盤(pán)密度的1/3。從技術(shù)角度而言,磁帶是唯一能解決這一要求的唯一選擇,包括DNA存儲,5D晶體技術(shù),磁阻式隨機訪(fǎng)問(wèn)存儲器(MRAM)都無(wú)法勝任。
包括Google、微軟、AWS一批云計算廠(chǎng)商大規模部署磁帶庫,云應用也改變了磁帶庫的傳統應用方式,最明顯的莫過(guò)于采用對象接口(S3)方式,在這方面有開(kāi)源項目可供利用,如OpenStack Swift,名為SwiftHLM的組件可插入OpenStack Swift堆棧以便在系統中添加磁帶作為二級或三級存儲使用,當然有更多的商業(yè)對象存儲軟件可供選擇,比如Xtreme Store以及PoINT歸檔網(wǎng)關(guān)等等。
冷數據應用還體現在量子計算領(lǐng)域,現有的非對稱(chēng)加密算法ECC,RSA以及AES-128/256都將變得不安全,新的量子安全加密(QSC)機制已經(jīng)提上日程,技術(shù)上,加密的數據無(wú)法壓縮(compresion)或除重(dedup),這對磁帶機的性能也提出了要求。另外,在超大規模歸檔存儲中,糾刪碼(EC)的使用會(huì )大幅降低數據存儲的安全成本,使用糾刪碼的環(huán)境下,作為可移動(dòng)存儲,磁帶與硬盤(pán)及SSD有著(zhù)很大不同,實(shí)踐中需要利用獨特方法例如小文件的聚合及片段讀取以提升整體性能。
云,AI以及邊緣計算的另一個(gè)技術(shù)趨向在于磁帶庫部署方式的改變,多點(diǎn)部署,業(yè)務(wù)可彈性,簡(jiǎn)化運維已成為互聯(lián)網(wǎng)及云計算廠(chǎng)商的三大基礎要求,基于這些要求,分布式磁帶庫成為更切實(shí)的選擇。
1.4?集中式及分布式磁帶存儲技術(shù)選擇
從產(chǎn)品形態(tài)上,集中式磁帶存儲技術(shù)最重要的技術(shù)特性表現在可橫向擴展上,例如IBM TS4500,昆騰Scalar i6000等產(chǎn)品,集中式磁帶存儲技術(shù)更多的應用在一兩個(gè)數據中心中,單個(gè)磁帶庫可擴充至一萬(wàn)甚至數萬(wàn)個(gè)磁帶槽位,同時(shí)賦予大量I/O槽位以便磁帶離庫操作,軟件上配置齊全,如磁帶虛擬化,多路徑以滿(mǎn)足傳統的,大規模備份和歸檔需要。配置強大是集中式磁帶技術(shù)的優(yōu)勢,但這種形態(tài)的磁帶庫劣勢同樣明顯,首先,其安裝相當復雜,很多情景下需要機房改造,全程需要原廠(chǎng)介入,其次,運維難度較高,有較高的學(xué)習成本,故障后只能依靠原廠(chǎng)資源,再有,部署無(wú)法靈活,遷移成本代價(jià)高昂,如果涉及到數據的大規模遠程復制難度幾乎無(wú)法想象,最后,集中式存儲的硬件價(jià)格,軟件許可,售后維保成本都比較昂貴。
如上文所述,分布式磁帶存儲技術(shù)是類(lèi)似于云歸檔存儲部署的最佳選擇,集中式磁帶技術(shù)的劣勢在新的技術(shù)環(huán)境中則成為優(yōu)勢,分布式磁帶技術(shù)從機械構件上相對簡(jiǎn)單,通常單機架部署,可充分利用現有機架空間,容量可通過(guò)3U或6U模塊擴充;安裝及維護簡(jiǎn)單,部件可熱插拔或僅需要較短的停機窗口更換并重新啟用,這些過(guò)程基本上可不需要原廠(chǎng)參與,在數據需要大規模遷移的情況下,甚至可以直接以物理遷移的方式,將一個(gè)數據中心的磁帶庫運送并掛載到新的數據中心使用,數據使用完畢后,再拆卸運送回原處或其他數據中心使用,這會(huì )極大降低網(wǎng)絡(luò )開(kāi)銷(xiāo)并切實(shí)提升業(yè)務(wù)效率。
在實(shí)際部署中,分布式磁帶存儲技術(shù)可以圖2所示類(lèi)似以細胞(Cell)形式無(wú)限擴展,每個(gè)細胞都由一組磁帶庫模塊構成,單個(gè)細胞內獨立擁有一個(gè)緩存及數據庫節點(diǎn)(服務(wù)器),也可多個(gè)細胞共享一個(gè)節點(diǎn)(服務(wù)器),節點(diǎn)提供的功能包括元數據(metadata)管理,HTTP接口服務(wù), 或作為備份服務(wù)器,另外最重要的的是作為讀寫(xiě)緩存(cache),作為應用和帶庫之間的臨時(shí)性存儲池。
圖2:分布式磁帶存儲細胞化部署
在細胞化結構中,節點(diǎn)之間通過(guò)以太網(wǎng)連接,節點(diǎn)和磁帶庫之間囿于現有技術(shù)可以FC或SAS方式直連,也可通過(guò)FC SAN交換機集中式管理,在一些商業(yè)軟件中,節點(diǎn)和磁帶機之間構筑分區,這種分區可以專(zhuān)有也可以動(dòng)態(tài)方式存在,每個(gè)分區所管理的磁帶(catridge)則固定不變。節點(diǎn)之間可互為冗余,當某個(gè)節點(diǎn)發(fā)生故障時(shí),其他節點(diǎn)可接管故障節點(diǎn)所管理的分區。如圖3所示:
圖3:PAG的動(dòng)態(tài)分區架構 (使用交換機及3/4 EC部署)
2.?鼎甲infostor-TL分布式磁帶存儲產(chǎn)品
2.1 INFOSTOR-TL磁帶庫總體情況
INFOSTOR-TL磁帶庫大致可分為兩類(lèi),一類(lèi)為中小客戶(hù)備份所需的入門(mén)級自動(dòng)加載器及磁帶庫, 均為機架安裝,包括1U和2U兩種形態(tài);另一類(lèi)則為模塊化分布式磁帶庫,每個(gè)模塊以3U或6U形式體現,可擴展至1個(gè)標準機架。
表2:為入門(mén)級自動(dòng)加載器及磁帶庫技術(shù)參數匯總如下:
1U磁帶自動(dòng)加載器 | 2U磁帶庫 | |
型號 | FlexStor 1U | FlexStor 2U |
安裝方式及機架高度 | 機架, 1U | 機架, 2U |
磁帶機數量 | 1個(gè)半高 | 1個(gè)全高或2個(gè)半高 |
磁帶機接口 | SAS, iSCSI, FC | SAS, iSCSI, FC |
可支持的磁帶機 | LTO6, 7, 8, 9* | LTO6, 7, 8, 9* |
磁帶總槽位數 | 8 | 24 |
I/O槽位數 | 1 | 1 |
機器人MCBF | 50萬(wàn)次 | 50萬(wàn)次 |
電源數量 | 1 | 1 |
電源功率 | 80W | 160W |
噪音輻射 | ≤ 5.8dB | ≤ 5.8dB |
溫度 | 10°C – 35°C | 10°C – 35°C |
相對濕度 | 20% -80% | 20% – 80% |
尺寸 | 447.5x740x43.8mm | 447.5x740x87.6mm |
重量 | 10Kg (不含磁帶) | 12Kg (不含磁帶) |
*表示計劃; |
2.2?INFOSTOR-TL分布式磁帶庫
INFOSTOR-TL分布式磁帶庫技術(shù)參數可匯總如下:
- (1)3U/42U塊化磁帶庫
3U模塊 | 42U磁帶庫 | |
型號 | Multistor 3U | / |
安裝方式及機架高度 | 機架, 3U | 機架, 42U, 1個(gè)基本模塊, 13個(gè)擴展模塊 |
磁帶機數量 | 3個(gè)半高或1個(gè)全高或1個(gè)全高+1個(gè)半高 | 14個(gè)全高或42個(gè)半高或14個(gè)全高+14個(gè)半高 |
磁帶機接口 | SAS, FC | |
可支持的磁帶機 | LTO6, 7, 8, 9* | |
磁帶總槽位數 | 80 | 560 |
I/O槽位數 | 5 | 最大70個(gè) |
帶倉數量 | 2 | 28 |
操作前面板 | 3.5”顯示器; 配置, 管理, 狀態(tài)及診斷菜單 | |
遠程管理接口 | 通過(guò)標準以太網(wǎng)連接(10/100/1000 Mbit), 基于Web管理 | |
安全 | SSL/TLS 1.2, 用戶(hù)管理/LDAP集成 | |
網(wǎng)絡(luò )協(xié)議 | IPv4/IPv6 | |
錯誤及告警(alert)管理 | SNMP Trap告警, 錯誤及警報郵件告警系統 | |
分區 | 20 | |
機器人MCBF | 100萬(wàn)次 | |
電源數量 | 2 | 最大28個(gè) |
單個(gè)電源最大功率 | 300W | |
噪音輻射 | ≤ 5.8dB | |
海拔 | 5000m | |
溫度 | 10°C – 35°C | 10°C – 35°C |
相對濕度 | 20% -80% | 20% – 80% |
單模塊尺寸 | 475x892x134mm | 475x892x134mm |
重量 | 20Kg (不含磁帶) | 280Kg (不含磁帶) |
*表示計劃; |
- (2)6U/42U塊化磁帶庫
6U模塊 | 42U磁帶庫 | |
型號 | Multistak 6U | / |
安裝方式及機架高度 | 機架, 6U | 機架, 42U, 1個(gè)基本模塊, 6個(gè)擴展模塊 |
磁帶機數量 | 6個(gè)半高或3個(gè)全高 | 21個(gè)全高或42個(gè)半高 |
磁帶機接口 | SAS, FC | |
可支持的磁帶機 | LTO6, 7, 8, 9* | |
磁帶總槽位數 | 80 | 560 |
I/O槽位數 | 5 | 最大70個(gè) |
帶倉數量 | 2 | 14 |
操作前面板 | 5.7”觸碰顯示器; 配置, 管理, 狀態(tài)及診斷菜單 | |
遠程管理接口 | 通過(guò)標準以太網(wǎng)連接(10/100/1000 Mbit), 基于Web管理 | |
安全 | SSL/TLS 1.2, 用戶(hù)管理/LDAP集成 | |
網(wǎng)絡(luò )協(xié)議 | IPv4/IPv6 | |
錯誤及告警(alert)管理 | SNMP Trap告警, 錯誤及警報郵件告警系統 | |
分區 | 20 | |
機器人MCBF | 200萬(wàn)次 | |
電源數量 | 2 | 最大14個(gè) |
單個(gè)電源最大功率 | 300W | |
噪音輻射 | ≤ 5.8dB | ≤ 5.8dB |
海拔 | 5000m | |
溫度 | 10°C – 35°C | 10°C – 35°C |
相對濕度 | 20% -80% | 20% – 80% |
單模塊尺寸 | 475x892x268mm | |
重量 | 44Kg (不含磁帶) | 308Kg (不含磁帶) |
*表示計劃; |
- (3)適配的LTO驅動(dòng)器
LTO驅動(dòng)器 | 接口及高度 |
LTO 6 | LTO 6 HH FC 單口半高
LTO 6 HH FC 雙口半高 LTO 6 HH SAS 雙口半高 |
LTO 7 | LTO 7 HH FC 單口半高
LTO 7 HH FC 雙口半高 LTO 7 HH SAS 雙口半高 |
LTO 8 | LTO 8 HH FC 單口半高
LTO 8 HH FC 雙口半高 LTO 8 FH FC 雙口半高 LTO 8 HH SAS 雙口全高 |
- (4)支持的SAS及FC接口速度
接口 | LTO磁帶機 | 端口速率 |
SAS | LTO 6/7/8/9 | 1.5 Gbps, 3 Gbps, 6 Gbps |
FC | LTO 6/7/8/9 | 2 Gbps, 4 Gbps, 8 Gbps |
- (5)Ultrium LTO 讀寫(xiě)兼容性表
LTO 5磁帶機 | LTO 6磁帶機 | LTO 7磁帶機 | LTO 8磁帶機 | |
LTO 5磁帶(未加密) | 讀/寫(xiě) | 讀/寫(xiě) | 只讀 | |
LTO 5磁帶(加密) | 讀/寫(xiě)(使用密鑰) | 讀/寫(xiě)(使用密鑰) | 只讀(使用密鑰) | |
LTO 6磁帶(未加密) | 讀/寫(xiě) | 讀/寫(xiě) | ||
LTO 6磁帶(加密) | 讀/寫(xiě)(使用密鑰) | 讀/寫(xiě)(使用密鑰) | ||
LTO 7磁帶(未加密) | 讀/寫(xiě) | 讀/寫(xiě) | ||
LTO 7磁帶(加密) | 讀/寫(xiě)(使用密鑰) | 讀/寫(xiě)(使用密鑰) | ||
LTO 8磁帶(未加密) | 讀/寫(xiě) | |||
LTO 8磁帶(加密) | 讀/寫(xiě)(使用密鑰) |