24
ICLTECHNICALJOURNAL
12.25.2008
第
126
期電腦
與
通訊
雲端運算平台GoogleAppEngine簡介
AnIntroductiontoCloudComputingServicePlatform-GoogleAppEngine
張銘峰許閔雄陳桂慧
Ming-FengChang,Min-HsiungHsu,Kuei-HuiChen
中文摘要
Google
在
2004
年收購
Picasa
以擴充
Blogger
的功能，更在
2006
年以
16.5
億美元的天價併購
YouTube
，與其花大錢併購市場上熱門的網路服務，不如開放自家的雲端運算服務平台吸引各家 好手前來開發下一個熱門的網路服務，在這樣的前提之下，
Google
開發並開放了
GoogleAppEngine
平台。在這篇文章中，我們將對
GoogleAppEngine
所提供的功能與支援的開發工具做簡單的介紹。 文中並將對搭建
GoogleAppEngine
背後的雲端運算服務平台所包含的技術做進一步的說明。
Abstract
GoogleboughtPicasatoextendthefunctionofGoogleBloggerin2004.Andthenitspent1.65billiondollarstobuyYouTubein2006.Googlenowwouldratherreleasetheirowncloudcomputingserviceplatformtoappealtodeveloperstobuildthenextpopularnetworkservice,thanspendhugemoneytobuypopularnetworkservicesonthemarket.That’sthereasonwhyGoogleAppEngineisreleased.ThispaperpresentsabriefintroductiontothefunctionandsupporteddevelopmenttoolsofGoogleAppEngine.Inaddition,thekeytechnologiesofthecloudcomputingserviceplatformofGoogleAppEnginearealsointroducedinthispaper.
關鍵詞
(KeyWords)
Google
雲端運算服務平台
GAE(GoogleAppEngine)
雲端運算
(CloudComputing)Google
檔案系統
(GoogleFileSystem)
１．前言
今年
Google2008
台北程式開發日的重頭 戲之一，就是
Google
來台推廣他們的雲端運算 服務平台
GAE(GoogleAppEngine)
。藉由這個 平台所提供的免費服務，開發者不用再去管理 龐大的伺服器群、電力、網路頻寬等等的問題， 只要專心發展網站並上傳至
GAE
即可；換句話 說，
Google
就是打算提供一個強大的免費虛擬 主機，這對網站開發者來說是個福音，但對虛 擬主機商來說卻是個惡耗。對
Google
來說也有 它的利益考量，一旦開發者成功的在
GAE
平台 上建立了熱門的服務網站，吸引龐大網路流量 之後，
Google
就可以坐收超過流量的費用以及 廣告費。但對開發者來說，服務網站無法離開 這個平台，因為帳號管理都是使用
GoogleAccount
，雖然軟體可以複製，但是卻無法帶走 龐大的使用者。
ICLTECHNICALJOURNAL
12.25.2008
第
126
電腦
與
通訊
25
Google
為了推廣雲端運算服務平台
GAE
， 與
IBM
進行一項研究計畫，將投資建立兩個大 型的資料中心，配置在
6
個大學中，包括卡內基 美隆大學、麻省理工學院
(MassachusettsInstituteofTechnology)
、史丹佛大學
(StanfordUniversity)
、華盛頓大學
(UniversityofWashington)
、馬里蘭大學
(UniversityofMaryland)
與加州大學柏克萊分校
(UniversityofCaliforniaatBerkeley)
。同時，
Google
也和台 大、交大和北京清華合作推動雲端運算
(Cloudcomputing)
課程，教授下列課程：
(1)
可開發雲 端運算應用的開原碼
Java
軟體框架
Hadoop
；
(2)
由
Google
提供，可在平行運算系統上進行
100TB
以上巨資料處理的軟體框架
MapReduce
；以及
(3)
其專屬的檔案系統
GoogleFileSystem
等技術。
Google
提供全球大量的服務與儲存空間， 而且持續不斷成長中，在
GAE
推出後，勢必加 速這成長。是什麼樣的架構使得
Google
可以提 供這麼大量而穩定的服務與空間，
GoogleFellowJeffDean
在
2008
年
4
月
Yahoo
所舉辦的
Data-IntensiveComputingSymposium
中揭開
Google
的神秘面紗，解釋如何用
GoogleFileSystem
、
Bigtable
，與
MapReduce
三大核心技術 來處理大量的資訊，使得
Google
即使只是用大 量的平價伺服器、處理器、硬碟、
記憶
體等，
仍能
穩定提供服務。
GAE
亦
是
透
過這三大核心技術，來提供使 用者大量而穩定的服務，
本文
在
第二章
中將
介 紹
GAE
目前
所提供的功
能
與開發
方
式，
接著
在 後續的
章節
中
介紹
GAE
背
後的雲端運算服務平 台所包
含
的這三大技術，在
第
三
章
中
介紹
GoogleFileSystem
的功
能
與
設
計架構，在
第四 章
中將說
明
MapReduce
架構，
第五章則簡介
BigTable
的
設
計，
最
後一
章
為
結論
。
２．
GAE
平台所提供的功能與限制
GAE
平台
讓
Web
應用程式開發者用
簡單
的
方
式
部署
其所開發的網路應用程式，以使用
Google
所提供的雲端運算服務資
源
，並提供
直 譯
式
語言
、資料
庫
與開發
測試輔助
工
具
等，
讓
開發者
更方便
的建立與
維護
網站，同時
隨著
網 站流量的成長，硬體
效能
與頻寬的問題也可
透
過
付
費的
方
式
取
得
GAE
平台上
額外
的資
源
而不
需
要
變
動原來的網站
設
計。
本章
將
依序
說
明
GAE
平台的開發與
執
行
環境
，以及
目前
所提供 的功
能
與
限制
[1]
。
2.1GAE
開發與執行環境
目前
GAE
只
支援
使用
Python
語言
開發，
此
平台所提供的
執
行
環境
包
含特別版
的
Python
直 譯
器、
標準
的
Python
函
式
庫
、
GAE
特
有的
函
式
庫
與
APIs
以及為網
頁
伺服器
層
所提供的
標準介
面。其中有
六
項
標準函
式
庫
中的功
能
因
安
全
性
的問題
被關閉
，分
別
為
(1)networking
模組
；
(2)
寫入
檔案系統功
能
；
(3)
將
cPickle
模組更
換為
pickle
模組
；
(4)marshal
模組
；
(5)imp
、
ftplib
、
select
、
socket
等
模組
；以及
(6)tempfile
模組
。
Google
提供
GAE
軟體開發工
具
(SDK)
供開 發者下
載
，用以開發
GAE
上的應用程式，其中 包
含安裝
在
本
機端電
腦
上的
webserver
，以
模
擬 所有
GAE
平台上的服務，並
支援
所有
GAE
上提 供的
API
和
libraries
，
讓
開發者在
本
機端電
腦
上 進行
模
擬與
測試
。並可
透
過
SDK
所
附
的上傳工
具
程式，將程式與檔案上傳至
GAE
平台上。
本
機端的
模
擬
WebServer
提供以下的功
能
：
檢查
import
的
模組
是
否
合
乎
GAE
的要
求
、
模
擬
Appcaching
的行為、
模
擬
datastore
功
能
、
模
擬
GoogleAccounts
登入登
出的動作、
模
擬
URLfetch
、以 及
模
擬
mailservice
等，但不
模
擬
GAE
有
關
儲存
容
量與
timeout
時間的
檢查
。
GAE
並提供
五種
等
級
的日
誌
功
能方便除錯
，分
別
為
debug
、
info
、
warning
、
error
和
critical
，並可使用
adminconsole
或
是以
指令
下
載
日
誌
資料。
GAE
會選擇
將
某些
程式碼長時間的
放
在
記 憶
體
裡
，以
避
免
浪
費時間重複
載入
這
些
程式 碼，這
些
程式碼分
別
為
importedmodules
與
含
有
main()
函
式的
handlerscripts
，其中
handlerscript
是由使用者定
義
，用來處理
特
定
webrequest
的
26
ICLTECHNICALJOURNAL
12.25.2008
第
126
期電腦
與
通訊
模組
。運用這個
Appcache
的
特性搭
配使用
globalvariable
將可加
快
應用程式的
執
行速
度
。
開發者開發
完
成後，
經模
擬與
測試
，上傳 至
GAE
網站上後，即可對
外
提供服務。為提
高
開發者上傳程式與檔案的
效率
，
GAE
平台利用
版本控制
機
制
，
未經修改
的檔案將不
會
重複上 傳，而
本
機
刪除
的檔案
則
在伺服器上
先給予刪 除
的
標籤
，而不是
真正
進行
刪除
，
讓
開發者得 以有
效率
的
更新
網站。
GAE
是由
許多
個
webservers
所
組
成，在收
到
webrequest
後，
GAE
會根據當前
系統
狀況
， 分配一個
webserver
並
根據設
定檔
找到相
對應 的
handlerscript
處理
該
request
。但由
於
GAE
只有 在
handlerscript
結束
時
才
將資料
送
出，在
handler
結束前
，無法傳
送
資料至使用 者
瀏覽
器，因
此
Streaming
相關
的功
能
無法
支援
。
另 外
，
GAE
支援
Accept-Encoding
與
User-Agent
兩 個
參數
，可傳
送壓縮
的
response
給
使用者端。
2.2GAE
的功能
作為一個
web
應用程式平台，
GAE
除
了提 供強大的硬體
效能
，與龐大的網路頻寬資
源
之
外
，
亦
提供
各種
功
能介
面，
讓
開發者可
整
合
目 前
Google
的其他技術與服務，以進行開發。
簡 介
如下：
Datastore
的功
能
GAE
提供強大的分
散
式儲存機
制
datastore
，
具搜尋
引
擎
與
transactions
的
特 色
，如同分
散
式的
webserver
可以
隨著
網站 流量成長而
增
加，使得網站的儲存空間，
隨 著
應用程式的資料
增多
而成長。
讓
開發者可 專心
致
力
於
網站的程式開發，無
須
再
受
硬體 與頻寬的
限制
。
為了資料
庫
的
擴充性
，
datastore
並
非採
用
關連
式資料
庫
架構。
Datastore
以
entity
為
單 位
進行儲存與
查詢操
作，同時提供
transaction
為
單位
的
操
作，
若
transaction
中有 其中一個
操
作
失敗
，
則整
個
transaction
都
回 溯
，並提供兩
種查詢介
面
QueryObjectInterface
和
GQLinterface
，其中
GQL
為
Google
定
義
的
SQL-likelanguage
。
Datastore
的
Query
功
能
所提供的可
描述 查詢條件
為
entity
的
種類
、
entityproperty
值
的
比較條件
，和
查詢結果
的
排序條件
。
每
一 個
曾被執
行過的
query
都
會產生
一個
index
放
在
index.yaml
中。
datastore
執
行
查詢
的
步驟
如 下，
首先
使用
entity
的
種類
、
filterproperties
、
filteroperators
和
sortorders
這
四
個
條件
來進 行
query
，
接著
在
index.yaml
中
從第
一個
index
開
始逐條比
對
直到
檔
尾或
是下一
條已
不
符
合
filter
的
條件
。
Images
的功
能
這
部
分功
能取自
PythonImageLibrary
，
支援
檔案
格
式包
含
JPEG
、
PNG
、
GIF(
包
含靜態
與動
態
)
、
BMP
、
TIFF
、
ICO
；
共
有
六種
功
能
，包
含維
持原
比例放
大
縮小
、
旋轉
、
水
平對
調
、
垂直
對
調
、
裁剪
、
顏色
與 對
比度最佳化
。
Mail
的功
能
GAE
上的應用程式可利用
GAE
所提供 之
郵件
服務，
送
出電
子郵件
，並
支援
傳
送夾
檔，但不提供收
信
的功
能
。
郵件
傳
送
服務只 有系統管理者和一
般
使用者
登入
後，
才允許
提供服務。
郵件
應用程式
介
面
(mailAPI)
提供 兩
種方
式來使用
郵件
傳
送
服務，
呼叫
mail.send_mail()
函
式與使用
EmailMessage
類 別
。
Memcache
的功
能
Cache
功
能採
用
key-valuecache
的
形
式，用來儲存
暫
時的資料
或
是將
datastore
中 的資料
搬到
cache
中以
取
得
較快
的存
取
速
度
，並提供
cache
資料
expiretime
的
設
定。
URLFetch
的功
能
支援
使用
HTTP
與
HTTPS
存
取
網路上的 主機，但有以下的
限制
：
(1)
只
能
存
取
ports80(HTTP)
與
port443(HTTPS)
；
(2)urlfetch.fetch()
函
式為同
步
運作，即
此函
式
會被凍結
，
直到
收
到遠
端伺服器傳
回
的
結果
；
(3)
在使用
HTTPS
時，
目前版本
無法
認證遠
端的伺服 器；
(4)
最多
只
允許
HTTPredirect5
次
，也可
of 00
Google App Engine介紹
1,024 Reads
Info and Rating
| Category: | Uncategorized. |
| Rating: | |
| Upload Date: | 05/19/2009 |
| Copyright: | Attribution Non-commercial |
| Tags: |
Leave a Comment