[R]Random Forest常見的Error


[Type of predictors in new data do not match that of the training data.]


如果使用R裡面的RF package，建好模型之後放入Testing資料要做預測的時候常常會遇到這個錯誤


這是因為模型裡面的Factor Level跟Testing裡面的不一樣


而且不是說Testing裡面的Factor只要符合模型裡的Factor Level裡其中一個就好了


是Factor Level要完全一模一模


要完全一模一模


要完全一模一模


因為很重要所以說 3次!


例如模型建好了以後 有一個類別變數叫性別，裡面有二個Level是男、女


可是如果你只選取了一筆Testing資料做預測，這一筆的性別是女生，而你沒有把男生的level也設定進去的話


就會一直出現這個令人抓狂的錯誤 而且你不知道到底怎麼回事 為什麼一直過不了


解決的方法就是把Model裡的所有變數的Level通通取出來 強制設定在Testing資料中


就算目前資料裡面沒有這個Level也沒關係，如下


genderLevel <- as.factor(model$forest[[11]]$gender) #把模型中的gender變數裡的level取出

levels(Test$gender) <- levels(genderLevel) #強制設定給Testing的gender


所以保險起見 每一個類別變數都要這樣子設定一次 預測資料的時候才不會又error了



還有另外一個情況是Testing的Factor Level是Model裡面沒有的 例如 model裡面的性別level是男、女


但是Testing的性別level裡面有男、女、未知


這樣就不行了，RF Model不接受建模的時候沒有的level


可以用以下指令看二個類別變數不同的部份


setdiff(levels(Test$gender), levels(Model$gender))


所以解決的方式是 1. 把性別未知那一筆資料刪除 2.把未知的資料再丟進去建一次模型



以上解決方法分享給遇到同樣問題的苦主

留言

  1. Unknown2017年12月18日 晚上7:37

    我已經將level設定給testing data的變數了，為何還是出現Type of predictors in new data do not match that of the training data.

    回覆刪除
  2. XYT2019年9月5日 上午10:25

    可以試試用另外一種方法

    把rf模型裡的level調出來指定給predict data

    levels(PredictData$columnName) <- rfmodels$forest$xlevels$columnName

    回覆刪除

張貼留言

這個網誌中的熱門文章

R中Try and Catch的寫法

圖片
在R裡的Try and Catch可能比較少人用到 因為R code出現錯誤時不會導致R整個停機 只會出現錯誤訊息 而且可以繼續運作 但是因為我的系統是用Java去call R，R如果有error會停止運作然後害我整個系統死機 所以我需要一個方法可以先楨測我的R code有沒有error，如果有錯就不往下執行了 範例如下: 如果我直接在R裡面執行 a<-'abc' b<-1 c<-b/a 會看直接看到錯誤，因為我不能把字串去除以一個數值 所以我加了try and catch之後 Erroresult<- tryCatch({ a<-'abc' b<-1 c<-b/a }, warning = function(war) { print(paste("MY_WARNING: ",war)) }, error = function(err) { print(paste("MY_ERROR: ",err)) }, finally = { print(paste("End Try&Catch")) }) 結果就會像這樣了，Error已經不是紅色，而是一個字串輸出，可以像我一樣把tryCatch的結果再另存到一個變數，例如Erroresult，這樣你就可以把這個error message存著 Try and Catch的架構像這樣，其中warning,error,finally的結構一定要有，不然會報錯 tryCatch({ #要執行的指令放這裡 },warning = function(war){ print(paste("MY_WARNING: ",war)) #如果有warning則輸出warning,"MY_WARNING: "這一行可以自己改 },error = function(err) { print(paste("MY_ERROR: ",err)) #如果有error則輸出error,"
閱讀完整內容

如何將DSM(NAS)變成Mail Server

圖片
最近我的法國老闆指派給我一個新的任務 他想要把家裡的NAS變成mail server 從此以後收發mail不求人 說這樣子就有自由了(法國人可以不要動不動就扯到自由嗎) 身為家裡的資訊長兼軟體工程師兼財務長兼保潔阿姨 這個工作派下來之後我還真不曉得可以指派給誰 只好自己動手了 其實我也沒有設定過mail Server 都是從骨哥大師那裡查到一個一個步驟 撞牆之後再查一次 設定了好幾天以後終於成功了 用手機或是email軟體都可以收發才算大功告成 發現沒有人把整個流程寫下來 那我就來寫吧 多做善事看能不能以後不要下地獄 或是下了地獄至少不要上刀山下油鍋 當個觀眾就可以了 希望閰王爺有看到這一篇blog 我選擇用中華電信申請浮動ip送的固定ip + 去登記一個自已喜歡的網域來處理 申請網域的公司是法國老闆選的這家 gandi 我覺得服務很不錯啊  鄉民可以參考看看 首先我設定讓DSM可以自動撥號連網 取得固定ip  在DSM的應用程式裡面 選擇EZ-INTERNET 一開始會請你設定可以通過防火牆的port有那些 記得要把 mail server 跟 mail station 打勾 然後填入中華電信的帳號密碼 設定完成以後 你的DSM就可以自動撥號取得一組ip 假設是112.77.115.94 然後要到申請網域公司的網站 例如我就是到 gandi 去設定很重要的MX碼，同時也告訴gandi要把我註冊的網域跟我的ip連在一起哦 以gandi的介面為例，假設我申請了一個網域叫做abc.com 就要有一個 A type recored Name @ , Value "你的ip" 然後要有一個MX recored Name @ Value abc.com. 這樣子就等於是宣告所有寄到@abc.com的信都要指到112.77.115.94這個位址 因為我的法國老板喜歡@後面直接接網域名稱abc.com 所以要用@來設定 如果你想要設定成例如 email.abc.com 就要把 A type recored Name 改成 email, Value "你的ip" 對應的MX recored Name email, Value abc.com. 以此類推 鄉民們可以看到 我還另外
閱讀完整內容

使用VBA記錄股市每分鐘的交易記錄

其實也是一個很簡單的程式，但是看起來就不像是高手寫的，因為一直跳來跳去 假設工作表2是DDE的資料，將DDE的資料每分鐘copy到工作表1 Dim i As Single '宣告變數i Dim Workday As Integer  '宣告變數Workday Private Sub workbook_open() '當這個excel檔案打開時，執行以下程序 Workday = Application.Evaluate("WEEKDAY(TODAY())-1")     '算出今天是一星期中的第幾天，並將數值存入Workday If Workday >= 1 And Workday <= 5 Then   '判斷是否為工作天     If Format(Time, "hh:mm:ss") >= "09:00:00" And Format(Time, "hh:mm:ss") <= "13:31:00" Then   '判斷是否為盤中         Call a  '執行程序a     Else         Application.OnTime TimeValue("00:09:00"), "ThisWorkBook.a"  '如果不是在盤中則等待明天九點開盤     End If End If End Sub Private Sub a() '宣告一個程序a    i = 2    '將i預設為2,因為資料是由第2行開始貼上    Call b   '執行程序b  End Sub  Private Sub b() '宣告一個程序b     Range("Stock200").Rows("2:201").Copy     'Copy範圍"Stock200"中的第2到第201列     工作表1.Cells(i, 1).PasteSpecial xlPasteValues '從工作
閱讀完整內容