I'm Coolman: 2月 2006

星期六, 2月 25, 2006

SQL Server 2005 新功能(二)

今天我們繼續談Data Mining的部份 , 深入探討SQL Server 2005提供的Data Mining 演算法分析工具 , 使用前先打開SQL server BI studio,建立一Analysis service Project,設定好Data source,在Data Mining 模型點選新增,就可以開始練習,其基本觀念如下

(一)決策樹(Decision Tree)

決策樹是利用樹的結構去將資料做分類，來找出各變數的關係和比例高的結果

如以下列資料為例

會員編號	年齡	性別	收入	是否買iPod
1	<35	男	中	是
2	>35	女	高	否
3	<35	男	低	是
4	>35	女	中	否

若要觀察年齡、性別、收入與是否購買iPOD的關係，則設是否買iPOD為預測變數(可預測)，年齡、性別、收入為自變數(輸入)，會員編號為索引鍵，透過決策樹演算法可以看出各變數的階層關係，並可以找出會買iPOD的相關條件族群。

(二) 群集演算法(Cluster Analysis)

其目的是將相似的事物歸類，如果在一群散亂的客戶資料裡，想由客戶的購買習慣將客戶分群，來找出潛藏的特殊族群加以促銷，可以利用群集演算法。

如下列資料

會員編號	年齡	性別	收入
1	<35	男	中
2	>35	女	高
3	<35	男	低
4	>35	女	中

在設定的時候，年齡、性別、收入都設為input，會員編號設為Key，透過群集演算法會分析性之間的關係加以分群，我們可以在分群結果命名，以後用此模型就容易找出符合該群組的會員。

(三) 時序群集(Sequence Clustering)

其目的在找出先後發生事物的關係，例如消費者購買A物品後又購買B物品的機率。

以下列資料為例

會員編號	交易時間	購買物品
1	2005/1/1	A, B, C
1	2005/2/14	A, C
2	2005/1/2	A, B
2	2005/2/13	C, F
2	2005/3/15	E, F
3	2005/1/5	A, D
3	2005/2/10	B, C

透過時序群集演算法可以分析出所有購買物品的群組關係及關聯強度。

其他演算法下一篇文章再繼續分享心得。

星期四, 2月 23, 2006

SQL server 2005 的新功能(一)

這星期抽空去聽一下SQL server 2005 Data Mining的座談會，微軟針對資料庫這塊真的了很多工夫，其價格與功能都非常誘人， Enterprise 版本可支援的CPU、記憶體及資料庫大小皆沒有限制 ,並支援多重核心64 位元處理器，在效能上有很大的突破。再試玩過覺得比較有趣的新玩意如下:

1. 管理介面整合 : 這是我最不習慣的部份 , 所有的功能可以再同一個介面裡搞定 ,主要分為SQL Server Management Studio和專門處理BI的 Business Intelligence Development Studio , Business Intelligence Development Studio是新的開發工具 , 主要先做塑模後再發佈到DB上 ,發布後的模型 , 可以在r Management Studio上做管理及執行。

2. 原有的DTS 變成功能更強大的SSIS ( SQL SERVER Integration service) , 可以轉換其他異質資料庫 , 如DB2 、Oracle ,並可以透過視覺化介面 , 設計data flow 和 control flow , 來處理更複雜的資料轉換及維護作業。

3. 原有的Analysis service 加入10種Data Mining演算法工具，分別是

決策樹、群集演算法，時序群集、時間序列、線性迴歸、羅吉斯回歸、關聯規則、類神經網路、貝式決策定理、Text Mining( English only)

透過採樣驗證後，可利用專業的Know-how去抓出隱藏的資料特徵，採礦的工作需要有良好的專業知識及邏輯，才能抓出符合實際的資訊。

4.原有的reporting service新增了report builder 讓報表產生更有彈性

5. 在分析方面，加強了MDX的功能及重要性，表示DBA們要多學一樣語言

6.在T-SQL開發方面，整合了CLR，表示透過.NET也能寫T-SQL，但前提是要用OLe DB provider來連結DB

7.多了XML型別，可直接將XML document塞進資料庫

8.透過資料庫鏡像(Mirror)和監控(Monitor) ，可以把原來Cluster架構的回覆的時間由30秒縮短為3秒。

微軟總共提供了30種特別的改善項目，再此不一一提供 ,對 Data Mining 有興趣的朋友可參考Microsoft提供的資料去做分析

目的	演算法
交叉銷售	決策樹, 類神經網路, 關聯規則, 時序群集, 貝氏決策定理,羅吉斯迴歸
顧客流失分析	決策樹, 類神經網路, 貝氏決策定理, 群集演算法,羅吉斯迴歸
顧客區隔	群集演算法, 決策樹, 關聯規則
信用評等	羅吉斯迴歸,決策樹, 類神經網路, 貝氏決策定理
詐騙分析	羅吉斯迴歸,決策樹, 類神經網路, 群集演算法, 貝氏決策定理
良率分析	時序群集, 群集演算法, 類神經網路, 決策樹
顧客價值管理	時間序列, 決策樹, 類神經網路,群集演算法,線性迴歸
銷售業績預測	時間序列, 決策樹, 類神經網路, 線性迴歸