logo头像

Edward.K Thinking

Azure Data Factory

Azure Data Factory還原備份在Data Lake的Cosmos DB資料

Azure Data Factory還原備份在Data Lake的Cosmos DB資料

之前談到如何從Cosmos DB備份檔案到Data Lake中,請參考[透過Azure Data Factory備份Cosmos DB到Data Lake],如果要把儲存在Data Lake中的資料匯入到其他資料庫是否可以,當然是可以的,只是必須要花一點小技巧,因為,當時主要是整個Cosmo...

Azure Data Factory判斷Azure Data Lake的檔案/路徑是否存在

Azure Data Factory判斷Azure Data Lake的檔案/路徑是否存在

我們可以透過ADF不斷讀取Azure Data Lake內的檔案進行處理,不過,今天在ADF中,我們設定讀取Azure Data Lake的檔案路徑是透過Dynamic Content方式定義的時候,就必須注意到一件事情就是檔案或是資料夾是否存在,不然會出現找不到檔案的錯誤,如果,其中有又在...

透過Azure Data Factory備份Cosmos DB到Data Lake

透過Azure Data Factory備份Cosmos DB到Data Lake

之前寫一篇[Azure Cosmos DB to Cosmos DB的資料轉移工具],可以透過工具去轉移Cosmos DB到其他地方,不過,如果資料量大時候,就必須讓電腦開很久去跑,如果透過服務就會更方便,所以,如果想要透過Azure服務備份Cosmos DB資料或是轉移,可以使用Azure...

Azure Data Factory讓資料從Cosmos DB傳送到Azure SQL Database

Azure Data Factory讓資料從Cosmos DB傳送到Azure SQL Database

當我們把非結構化資料大量存放到Cosmos DB後,再來就要做大數據分析,在分析前,通常第一件事情就要整理資料,且把資料進行結構化的整理,這件事情有很多種作法,這裡進行其中一種作法,就是把Cosmos DB資料匯入到Azure SQL Database中,中間測試過幾種方法,如果只是小量資料...