分享照片是Facebook上最風行的的功效之一。停止今朝，用戶已上傳跨越15億張照片，這使得Facebook成為最大的照片同享網站。對付每個上傳的照片，Facebook都天生並存儲四個巨細分歧的圖象，從而轉化為共60億張照片，總容量跨越1.5PB。今朝以每周220萬新照片的速率增加，相稱於每周要分外增長25TB存儲。在岑嶺期每秒須要傳輸55萬照片。這些數字對Facebook的照片存儲基本舉措措施的一個龐大的挑釁。

　　舊的 NFS 照片架構

　　老的照片體系架構分以下幾個層：

　　上傳層吸收用戶上傳的照片並保留在 NFS 存儲層。

　　照片辦事層吸收 HTTP 要求並從 NFS 存儲層輸出照片。

　　NFS存儲層樹立在貿易存儲體系之上。

　　由於每張照片都以文件情勢零丁存儲，如許宏大的照片量致使異常宏大的元數據范圍，跨越瞭 NFS 存儲層的緩存上限，致使每次要求上傳都包括屢次I/O操縱。宏大的元數據成為全部照片架構的瓶頸。這就是為何 Facebook 重要依附 CDN 的緣故原由。為懂得決這些題目，他們做瞭兩項優化：

　　由於每張照片都以文件情勢零丁存儲，大批為目次及文件在NFS 存儲層上發生瞭大批的元數據， 這個范圍的元數據量遠遠跨越瞭跨越瞭NFS 存儲層的緩存上限，致使每次雇用要求會上傳都包括屢次I/O操縱。宏大的元數據成為全部照片架構的瓶頸。這就是為何 Facebook重要依附 CDN 的緣故原由。為懂得決這些題目，他們做瞭兩項優化：

　　Cachr: 一個緩存辦事器，緩存 Facebook 的小尺寸用戶材料照片。

　　NFS文件句柄緩存：安排在照片輸出層，以下降 NFS 存儲層的元數據開消。

　　新的 Haystack 照片架構

　　新的照片架構將輸出層和存儲層歸並為一個物理層，樹立在一個基於HTTP 的照片辦事器上，照片存儲在一個叫做haystack 的工具庫，以清除照片讀取操縱中沒必要要的元數據開消。新架構中，I/O 操縱隻針對真實的照片數據(而沒有是文件體系元數據)。haystack 能夠細分為以下幾個功效層：

　　HTTP 辦事器

　　照片存儲

　　Haystack 工具存儲

　　文件體系

　　存儲空間

　　鄙人面的先容中，我們會對付上述的每一個功效層做具體的報告。

　　存儲空間

　　Haystack 安排在貿易存儲刀片辦事器上，典范設置裝備擺設為一個2U的辦事器，包括：

　　兩個4核CPU

　　16GB – 32GB 內存

　　硬件 RAID，含256-512M NVRAM 高速緩存

　　跨越12個1TB SATA 硬盤

　　每一個刀片辦事器供給約莫10TB的存儲才能，應用瞭硬件 RAID-6, RAID 6在堅持低本錢的基本上完成瞭很好的機能和冗餘。欠安的寫機能能夠經由過程RAID掌握器和NVRAM緩存回寫辦理，寫因為讀取大多是隨機的，NVRAM緩存是完整用於寫入的。

　　文件體系

　　Haystack 工具庫是樹立在10TB容量的單一文件體系之上。

　　圖片讀取要求須要在讀取體系挪用這些文件的地位偏移，然則為瞭履行讀取操縱，文件體系必需先找到現實物理卷上的數據。文件體系中的每一個文件都被一個叫做inode構造標識。inode包括瞭一個磁盤上邏輯文件偏移和物理區塊偏移的映照。在應用的特別范例文件體系時大文件塊映照大概相稱大。

　　基於文件體系的區塊為給個邏輯區塊和大文件保留映照。這些信息平日沒有合適保留在inode的緩存中，而是存儲在在直接地點塊。以是在讀取文件的時刻必需依照特定的流程。這裡能夠多個是直接地點塊，以是一個讀取會發生多個I/O取決因而否直接地點塊被緩存。

　　該體系隻為持續規模的區塊堅持映照。一個持續的大文件的塊映照能夠隻由一個規模的標識，如許是順應inode的體系需求的。然則，假如該文件是一個被切割的沒有持續的塊的話，他的塊輿圖大概異常的大。以上能夠經由過程文件體系自動為大的物理文件分派大塊的空間來削減碎片。

　　今朝應用的文件體系為XFS，一個很大水平供給高效的文件預分派體系。

　　Haystack 工具存儲

　　Haystack 是一個簡略的日記構造(隻能追加)，存儲著其內部數據工具的指針。一個 Haystack 包含兩個文件，包含指針和索引。上面的圖片將描寫haystack存儲文件的結構：

　　haystack最前面的8K存儲是被超等塊占用。緊隨超等塊是針，每針構成的一個頭部，數據和尾部：

　　一個針被他的元組標識，個中的偏移量為其在haystack存儲的偏移。Haystack沒有在任何健值上做限定，即許可能夠有反復鍵針。下圖表現瞭索引文件的結構：

　　在haystack存儲文件中有每針響應的的索引記載，而且包括針索引記載的次序必需和haystack存儲文件相幹的針的次序相婚配。依照劃定索引文件的最低需求是找到一個特定的針在haystack存儲文件的元數據。載入和構造索引記載到一個有用的查找數據構造是Haystack法式的義務。索引文件是否是很癥結，由於假如須要它能夠從haystack存儲文件重修。索引的重要職責是讓針元數據無需經由過程較大的Haystack存儲文件，快速加載到內存中。緣故原由是其可讓索引編程本來存儲的1%。

　　Haystack 寫操縱

　　Haystack 寫操縱同步將指針追加到 haystack 存儲文件，當指針積聚到必定水平，就會天生索引寫到索引文件。因為索引文件是否是很癥結，為瞭能有更快的機能以是采取異步的方法舉行寫入。

　　為瞭下降硬件妨礙帶來的喪失，索引文件還會按期寫到存儲空間中。在瓦解或忽然斷電的情形下，將haystack規復處置器存儲中任何殘破的針和截斷haystack存儲中末瞭一個有用的針。接下來，它會把喪失的針的索引記載 寫到haystack文件的末瞭。

　　Haystack沒有許可重寫現有的針偏移，假如一個針數據須要被重寫，那末新版本必需應用雷同的元組。運用法式會主動分辯出這兩個雷同的鍵，有最大偏移的就是最新的那一個。

　　Haystack 讀操縱

　　傳到 haystack 讀操縱的參數包含指針的偏移量，健，備用鍵，Cookie 和數據巨細。Haystack為數據巨細增加頭部和尾部的長度，然後依據數據尺寸從文件中讀取全部指針。讀取操縱勝利的癥結就是作為參數通報的健，備用鍵，Cookie是不是婚配，數據是不是經由過程瞭校驗，而且針沒有被刪撤除。(見下文)

　　Haystack 刪除操縱

　　刪除操縱比擬簡略 – 隻須要在 Haystack 存儲的指針字段中的刪除位標志一下便可。而且，相幹的索引記載沒有會做任何的修正。是終極的運用法式援用到的是一個刪除的針。像如許一個讀取刪除針的操縱將會返回一個響應的毛病給運用法式。空間對已刪除的針沒有做任何的收受接管，隻要如許，能力使 haystack 的空間異常的松散。(見下文)

　　照片存儲辦事器

　　照片存儲辦事器賣力接收 HTTP 要求，並轉換成響應的 Haystack 操縱。為瞭隻管削減辦事器檢索照片時的I/O操縱，該辦事器保護著全體 Haystack 中文件索引的緩存。辦事器啟動時，體系就會將這些索引讀到緩存中。因為每一個節點都稀有百萬張照片，必需包管索引的容量沒有會跨越辦事器的物理內存。在內存中僅須要保留查找照片所需的少許元數據便可。

　　對付用戶上傳的圖片，體系分派一個64位的自力ID，照片接著被縮放成4種分歧尺寸，每種尺寸的圖象具有雷同的隨機 Cookie 和64位的密鑰，圖片尺寸描寫(大，中，小，縮略圖)被存在代用key 中。接著上傳辦事器關照照片存儲辦事器將這些材料連同圖片存儲到 haystack 中。

　　每張圖片的索引緩存包括以下數據：

　　因為Google的開源 sparse hash data 構造對付每一個條目隻要2bit的開消，以是Haystack應用它來包管內存中的索引緩存盡量小。

　　照片存 儲的寫/修正操縱

　　寫操縱將照片數據寫到 Haystack 存儲並更新內存中的索引。假如該索引記載中包括瞭雷同的鍵，那末這是一次對現有的照片舉行修正的操縱。而且隻要修正索引記載中的偏移來反響新圖象在haystack存儲文件的地位。照片存儲一直假定，假如有反復的圖象(圖象具有雷同的鍵)，有較大的偏移量的誰人存儲是有用的。

　　照片存儲的讀操縱

　　通報給一個讀操縱的參包含Haystack ID，照片的 Key, 尺寸和 Cookie。辦事器事前在緩存中依照照片的Key和所需文件的偏移舉行查找。假如找到瞭它，並向haystack收回讀取詞圖象的要求。依照上面說的，haystack的刪除操縱其實不更新它的索引記載，是以增加到內存中的索引能夠包括從前刪除的照片的內容。當瀏覽從前的刪除的照片掉敗後，體系將在內存的索引中色繪制詞圖片的偏移量為0.

　　照片存儲的刪除操縱

　　關照 Haystack 履行刪除操縱以後，內存中的索引緩存會被更新，將偏移量設置為0，表現照片已被刪除。

　　從新整頓(緊縮)

　　從新整頓(緊縮)是一種收受接管刪除和反復的針(針應用雷同的Key)的在線操縱。它會經由過程復制針跳過任何反復或刪除的條目創立一個新的 haystack。一旦此操縱完成它就歸去調換失落內存中的文件和構造。

　　HTTP 辦事器

　　Http 框架應用的是簡略的基於開源的libevent庫的 evhttp 辦事器。應用多線程，每一個線程都能夠零丁處置一個 HTTP 要求。由於我們的體系消費大多是I/O操縱，HTTP辦事器的機能其實不很主要。

　　停止語

　　Haystack 是一個基於 HTTP 的工具存儲，包括指向實體數據的指針，該架構清除瞭文件體系元數據的開消，並完成將全體索引間接存儲到緩存，以最小的 I/O 操縱完成對比片的存儲和讀取。

　　本文編譯自：標點符，原文地點。