免费陕西麻将游戏|免费正宗陕西麻将
你好,游客 登錄
背景:
閱讀新聞

使用 Amazon S3 云服務輕松實現存儲

[日期:2010-02-28] 來源:IBM   作者:Andrew Glover [字體: ]

       Amazon Simple Storage Service (S3) 是一個公開的服務,Web 應用程序開發人員可以使用它存儲數字資產,包括圖片、視頻、音樂和文檔。 S3 提供一個 RESTful API 以編程方式實現與該服務的交互。通過本文,您將了解如何使用開源的 JetS3t 庫利用 Amazon 的 S3 云服務存儲和檢索數據。

簡介

       云是一個抽象的概念,表示松散連接在一起的計算機組,這些計算機共同執行某項任務或者服務,就像是使用一個單獨的實體完成一樣。此概念背后的架構也很抽象:每個云提供者都可以根據各自情況隨意設計它的產品。軟件即服務(Software as a Service,SaaS)是一個與云相關的概念,表示云向用戶提供某種服務。云模型可以降低用戶成本,因為他們無需購買軟件和硬件也可以運行 — 服務提供者已經為用戶提供了必要的組件。

       以 Amazon 的 S3 產品為例。顧名思義,這是一個公開的服務,使 Web 開發人員能夠存儲數字資產(如圖片、視頻、音樂和文檔等),以便在應用程序中使用。使用 S3 時,它就像一個位于 Internet 的機器,有一個包含數字資產的硬盤驅動。實際上,它涉及到許多機器(位于各個地理位置),其中包含數字資產(或者數字資產的某些部分)。 Amazon 還處理所有復雜的服務請求,可以存儲數據并檢索數據。您只需要付少量的費用(大約每月 15 美分 /GB)就可以在 Amazon 的服務器上存儲數據,1 美元即可通過 Amazon 服務器傳輸數據。

       Amazon 的 S3 服務沒有重復開發,它公開了 RESTful API,使您能夠使用任何支持 HTTP 通信的語言訪問 S3 。 JetS3t 項目是一個開源 Java 庫,可以抽象出使用 S3 的 RESTful API 的細節,將 API 公開為常見的 Java 方法和類。編寫的代碼越少越好,難道不是嗎?充分利用其他人的成果也是不錯的。在本文中您將看到,JetS3t 使 S3 和 Java 語言的工作變得更加簡單,從根本上提高了效率。

S3 概述

       理論上,S3 是一個全球存儲區域網絡 (SAN),它表現為一個超大的硬盤,您可以在其中存儲和檢索數字資產。但是,從技術上講,Amazon 的架構有一些不同。您通過 S3 存儲和檢索的資產被稱為對象。對象存儲在存儲段(bucket)中。您可以用硬盤進行類比:對象就像是文件,存儲段就像是文件夾(或目錄)。與硬盤一樣,對象和存儲段也可以通過統一資源標識符(Uniform Resource Identifier,URI)查找。

       例如,在我的硬盤中,我有一個名為 whitepaper.pdf的文件,它位于主目錄中名為 documents的文件夾中.相應的,該pdf文件的URI:/home/aglover/documents/whitepaper.pdf 。在 S3 中,URI 有一點不同。首先,存儲段只能是頂級的 — 無法像嵌套硬盤中的文件夾(或目錄)一樣進行嵌套。其次,存儲段必須遵循 Internet 命名法則;句點旁邊沒有斜杠,名稱不包括下劃線等等。最后,由于存儲段名稱已經是 Amazon 域內的 (s3.amazonaws.com) 公共 URI 的一部分,存儲段名稱必須在所有 S3 中是惟一的。(好消息是每個帳戶只能包含 100 個存儲段,因此不用擔心別人占用了所有的好名字)。

DNS 魔術

不用擔心 S3 資產的 URL 。通過 Domain Name System (DNS) 和 CNAME(canonical name的縮寫)記錄,您可以將自定義程度更高的 URL 映射到 S3 的 URL 。這樣一來,您就隱藏了您(或您的應用程序)依賴 S3 的事實!

       存儲段在 S3 中是 URI 的根。也就是說,存儲段的名稱將是指向 S3 中某個對象的 URI 的一部分。例如,如果我有一個名為 agdocs 的存儲段以及一個名為 whitepaper.pdf 的對象,URI 將是:http://agdocs.s3.amazonaws.com/whitepaper.pdf 。

       S3 還提供了指定存儲段和對象的所有者和權限的能力,就像對待硬件的文件和文件夾一樣。在 S3 中定義對象或存儲段時,您可以指定一個訪問控制策略,注明誰可以訪問您的 S3 資產以及如何訪問(例如,讀和寫權限)。相應地,您可以通過許多方式提供對您的對象的訪問,使用 RESTful API 只是其中一種。

開始使用 S3 和 JetS3t

       要開始使用 S3,您需要一個帳戶。 S3 不是免費的,因此在創建帳戶時您必須向 Amazon 提供一種支付手段(比如信用卡號碼)。不用擔心 — 不收初裝費;您只需要為使用付費。對于本文的示例,只需要支付不到 1 美元的費用。

       在創建帳戶的過程中,您還需要創建憑據:訪問密鑰和秘密密鑰(就像用戶名和密碼)。(您還可以獲取 x.509 證書;但是,只有在使用 Amazon 的 SOAP API 時才需要使用該證書)。和任何訪問信息一樣,都必須保管好您的秘密密鑰。因為任何人使用您的憑據訪問 S3 時,您都將為此付費。因此,每當創建存儲段或對象時,默認的行為是讓所有內容都私有;您必須顯式獲取對外部世界的訪問。

       有了訪問密鑰和秘密密鑰,您可以下載 JetS3t并使用它通過 RESTful API 與 S3 交互。

       使用編程手段通過 JetS3t 登錄 S3 可以分為兩步。首先,必須創建一個 AWSCredentials 對象,然后將它傳遞到 S3Service 對象。AWSCredentials 對象非常簡單。它將訪問密鑰和秘密密鑰視為 StringS3Service 對象實際上是一個接口類型。因為 S3 同時提供 RESTful API 和一個 SOAP API,JetS3t 庫可以提供兩種實現類型:RestS3ServiceSoapS3Service。就本文而言(包括大部分 S3 事務),RESTful API 的簡潔性讓它成為一個很好的選擇。

       創建一個連接的 RestS3Service 實例很簡單,如清單 1 所示:


清單 1. 創建一個 JetS3t 的 RestS3Service 實例

				
 def awsAccessKey = "blahblah" 
 def awsSecretKey = "blah-blah" 
 def awsCredentials = new AWSCredentials(awsAccessKey, awsSecretKey) 

 def s3Service = new RestS3Service(awsCredentials)

       現在可以執行一些有趣的操作了:例如,創建存儲段、添加一個影片,然后獲取一個有時間限制的 URL 。實際上,這聽起來像一個業務流程,不是嗎?這是一個與發布有限資產(比如影片)有關的業務流程。

創建存儲段

       對于虛構的電影業務,我將創建一個稱為 bc50i 的存儲段。借助 JetS3t,該流程很簡單。通過 S3Service 類型,您有幾個選項。我更喜歡使用 getOrCreateBucket 調用,如清單 2 所示。顧名思義,調用該方法可能返回一個存儲段實例(表示為 S3Bucket 類型的實例)或在 S3 中創建代碼段。


清單 2. 在 S3 服務器上創建存儲段

				
def bucket = s3Service.getOrCreateBucket("bc50i")

       不要被我這個簡單的代碼示例所蒙蔽。 JetS3t 庫的擴展性非常強。例如,您可以快速確定擁有多少存儲段 —— 只需通過 listAllBuckets 調用請求一個 S3Service 實例即可。該方法返回一個 S3Bucket 實例數組。對于任何存儲段實例,您可以詢問它的名稱和創建日期。更重要的是,您可以通過 JetS3t 的 AccessControlList 類型控制與之相關的權限。例如,我可以獲取 bc50i 存儲段實例,并允許任何人可以公開讀取和編寫,如清單 3 所示:


清單 3. 修改存儲段的訪問控制列表

				
def bucket.acl = AccessControlList.REST_CANNED_PUBLIC_READ_WRITE

       當然,通過 API,您也可以隨意刪除存儲段。 Amazon 甚至允許您指定創建存儲段的地理位置。 Amazon 簡化了存儲實際數據的復雜性,但是您可以告訴 Amazon 要將存儲段(及其內部所有的對象)放在美國或歐洲(當前可用選項)。

向存儲段添加對象

       使用 JetS3t 的 API 創建 S3 對象就像操作存儲段一樣簡單。 JetS3t 庫也很智能,可以負責處理與 S3 存儲段內文件相關的內容類型。例如,我想向 S3 上傳一段影片 nerfwars2.mp4,以便用戶能夠在有限的時間內觀看。創建一個 S3 對象與創建常見的 java.io.File 類型一樣簡單,并能將 S3Object 類型與存儲段關聯,如清單 4 所示:


清單 4. 創建一個 S3 對象

				
def s3obj = new S3Object(bucket, new File("/path/to/nerfwars2.mp4"))

       使用文件和存儲段初始化 S3Object 之后,要做的所有事情就是通過 putObject 方法上傳,如清單 5 所示:


清單 5. 上傳影片

				
s3Service.putObject(bucket, s3obj)

       使用清單 5 可以完成上傳。現在影片位于 Amazon 服務器了,影片的鍵就是它的名稱。當然,您可以根據需要重寫該名稱以調用其他對象。實際上,JetS3t API(以及 Amazon S3 RESTful API)公開了許多信息,供您創建對象時使用。我們知道,您還可以提供訪問控制列表。 S3 中的任何對象都可以保存 API 允許您創建的其他元數據。之后可以通過該元數據的 S3 API(以及派生的 JetS3t)查詢任何對象。


 

創建對象的 URL

       到現在為止,我的 S3 實例有一個包含影片的存儲段。實際上,我的影片可以通過以下 URI 獲取:http://bc50i.s3.amazonaws.com/nerfwars2.mp4 。但是,只有我才能獲取。(在本例中,我只能通過編程方式訪問它,因為與所有內容關聯的默認訪問控制被設置為拒絕任何未授權訪問)。我的目的是為選擇的用戶提供一種方式查看新影片(在有限的時間內),直到我開始收取訪問費用(S3 也會提供幫助)。

       圖 1 展示了默認的訪問控制。返回的 XML 文檔(相應地顯示在我的瀏覽器中)告訴我對當前資產的訪問被拒絕(http://bc50i.s3.amazonaws.com/nerfwars2.mp4)。


圖 1. Amazon 的安全機制
Amazon 的安全機制

       創建一個公共 URL 是 S3 提供的一個便捷功能;實際上,使用 S3,您可以創建一個公共 URL,但只在一段時間內有效(例如,24 小時內)。對于我剛剛存儲在 S3 服務器上的影片,我將創建一個 48 小時內有效的 URL 。然后我將向選定的用戶提供該 URL,以便他們下載并觀看(假定他們在兩天內下載)。

       要創建一個針對S3對象的時間敏感型URL,您可以使用JetS3t的createSignedGetUrl方法,這是一個S3Service 類型的靜態方法。該方法采用一個存儲段名稱、一個對象鍵(在本例中是影片名,還記得嗎?)、一些憑證(以 JetS3t 的 AWSCredentials 對象的形式)、截止日期。如果您了解所需的存儲段和對象鍵,則可以通過清單 6 中的 Groovy 代碼快速獲取 URL:


清單 6. 創建一個時間敏感型 URL

				
 def now = new Date() 
 def url = S3Service.createSignedGetUrl( 
   bucket.getName(), s3obj.key, awsCredentials, now + 2)

       使用 Groovy,我可以通過 + 2 語法輕松指定一個 48 小時的限定日期。得到的 URL 如下所示(只有一行):

https://bc50i.s3.amazonaws.com/nerfwars2.mp4?AWSAccessKeyId= 
   1asd06A5MR2&Expires=1234738280&Signature=rZvk8Gkms%3D

現在,通過該 URL,可以在瀏覽器中獲得圖 2 所示的內容:


圖 2. 用于下載的 URL
用于下載的 URL

       這個過程是不是很簡單?通過幾行代碼,我在云中創建了一個安全資產,該資產只能通過特殊的 URL 下載。

利用 S3 完成時間敏感型下載

       如果您的帶寬和存儲需求不穩定,則 S3 能提供很多幫助。例如,想想我演示的業務模型 — 影片在一年中特定的時間發布。在傳統的存儲模型中,您需要在某處機架上購買許多空間(或提供通向它的硬件和管道),很可能下載量很大,但隨后會相對降低。但是,您不能根據需要付費。使用 S3,該模型將根據需要付費 — 公司在需要時為存儲和帶寬付費。更重要的是,S3 的安全特性可以幫助您進一步指定人們何時可以下載視頻,甚至可以指定誰可以下載。

       使用 S3 實現這些需求非常容易。在高水平上,創建一個受限的影片公共下載需要 4 個步驟:

  1. 登錄 S3 。
  2. 創建存儲段。
  3. 向存儲段添加所需的視頻(或對象)。
  4. 創建一個指向該視頻的時間敏感型 URL 。

就是這樣!

結束語

       與傳統存儲模型相比,S3 的隨需付費模型有很多明顯的優勢。例如,在自己的硬盤上存儲音樂收藏,我必須預先花 130 美元購買一個 500GB 的存儲單元。我沒有 500GB 的數據可以存儲,因此我為自己不需要的空間花費了 25 美分 /GB(雖然很便宜)。我還需要維護設備并支付電費。如果我使用 Amazon,我不需要預先為不重要的資產支付 130 美元。我只需要支付 10 美分 /GB,無需為管理和維護存儲硬件付費。現在想想在整個企業范圍內實現這些服務的好處。以 Twitter 為例,在 S3 上為 100 萬個用戶帳戶存儲圖片。通過按照使用付費的方式,Twitter 不需要花費大量資金購買硬件基礎設施來存儲和提供圖片服務,也不需要支出人力和部件成本來配置和維護圖片。

       云的好處還不止這些。您還可以實現低延遲和高可用性。假設存儲在 Amazon 云中的資產遍布全世界,那么為各個位置提供內容的速度將會更快。更重要的是,由于您的資產分布在各種機器上,您的數據在一些機器(或部分網絡)癱瘓時也能保持高可用性。

       一言以蔽之,Amazon S3 的好處很簡單:低成本、高可用性、安全。除非您是一個 SAN 專家,喜歡維護硬件資產來存儲數據內容,但是 Amazon 可能比您做的更好。在資金緊張的時候,為什么還要將自己的資金提前預支在硬件上呢(不要忘了,硬件會隨時間貶值)?

推薦 打印 | 錄入: | 閱讀:
相關新聞      
本文評論   
評論聲明
  • 尊重網上道德,遵守中華人民共和國的各項有關法律法規
  • 承擔一切因您的行為而直接或間接導致的民事或刑事法律責任
  • 本站管理人員有權保留或刪除其管轄留言中的任意內容
  • 本站有權在網站內轉載或引用您的評論
  • 參與本評論即表明您已經閱讀并接受上述條款
免费陕西麻将游戏 时时彩6码 阶梯式倍投 至尊国际70220 斗牛2娱乐 二人扑克牌可以玩什么 时时彩后一6码倍投计划表 pk10滚雪球精准计划 北京pk10全天一期计划 高盛娱乐入口 比分网 登陆好运来彩票