logo头像

Edward.K Thinking

Azure Data Factory還原備份在Data Lake的Cosmos DB資料

Azure Data Factory還原備份在Data Lake的Cosmos DB資料

之前談到如何從Cosmos DB備份檔案到Data Lake中,請參考[透過Azure Data Factory備份Cosmos DB到Data Lake],如果要把儲存在Data Lake中的資料匯入到其他資料庫是否可以,當然是可以的,只是必須要花一點小技巧,因為,當時主要是整個Cosmo...

Azure Data Factory判斷Azure Data Lake的檔案/路徑是否存在

Azure Data Factory判斷Azure Data Lake的檔案/路徑是否存在

我們可以透過ADF不斷讀取Azure Data Lake內的檔案進行處理,不過,今天在ADF中,我們設定讀取Azure Data Lake的檔案路徑是透過Dynamic Content方式定義的時候,就必須注意到一件事情就是檔案或是資料夾是否存在,不然會出現找不到檔案的錯誤,如果,其中有又在...

透過Azure Data Factory備份Cosmos DB到Data Lake

透過Azure Data Factory備份Cosmos DB到Data Lake

之前寫一篇[Azure Cosmos DB to Cosmos DB的資料轉移工具],可以透過工具去轉移Cosmos DB到其他地方,不過,如果資料量大時候,就必須讓電腦開很久去跑,如果透過服務就會更方便,所以,如果想要透過Azure服務備份Cosmos DB資料或是轉移,可以使用Azure...

用YAML建置Azure DevOps CI的Pipeline

用YAML建置Azure DevOps CI的Pipeline

自從VSTS改名成為Azure DevOps後,多出一個能透過YAML檔案,建立CI Pipeline的選項(之前其實就已經有透露),既然是YAML檔案也就勢必在Azure DevOps中會看不到用圖形化介面去定義在CI流程中,定義每個Task的設定與流程。如果使用YAML來建置CI Pip...

Power BI 實踐即時串流資訊圖表

Power BI 實踐即時串流資訊圖表

Power BI是製作商業分析圖表的好工具,不得不說這分析工具真是多樣性,可以搭配很多資料進行分析,和繪製還算漂亮的統計資訊,當然,如果今天是用雲端版的Power BI,有一個好處就是可以製作即時串流的圖表,然後,在Power BI內,確實也有一個資料集叫做串流資料集,這資料及共有三種模式建...

Azure Data Factory讓資料從Cosmos DB傳送到Azure SQL Database

Azure Data Factory讓資料從Cosmos DB傳送到Azure SQL Database

當我們把非結構化資料大量存放到Cosmos DB後,再來就要做大數據分析,在分析前,通常第一件事情就要整理資料,且把資料進行結構化的整理,這件事情有很多種作法,這裡進行其中一種作法,就是把Cosmos DB資料匯入到Azure SQL Database中,中間測試過幾種方法,如果只是小量資料...

Azure Cosmos DB 取得現在的時間

Azure Cosmos DB 取得現在的時間

在使用Azure Cosmos DB時候,並不能像在使用一般的SQL DB一樣有內建函示可以直接取得當前時間,像是我們在SQL Server中可以用Getdate()取得現在系統時間。因此,今日想要在Cosmos DB也做出類似的用法,這部分必須要自己寫Function才有辦法。首先,必須到...

快速刪除Azure Container Registry內的Image Tag

快速刪除Azure Container Registry內的Image Tag

在Azure上面我們可以把客製化的Image存放到到Azure Container Registry裡面,作為私人或是企業自己私有的Docker Store,不過呢,畢竟在Azure存放還是需要$$,另外,再加上如果是採用DevOps團隊,每次Build出新的Image就放到ACR上,久了之...

用Azure Time Series Insights 看IoT串流資訊

用Azure Time Series Insights 看IoT串流資訊

Azure Time Series Insights是什麼?這是一個在Azure上的SaaS服務,顧名思義主要就要用來看時間區間資料的一種工具,畢竟,在IoT的世界中,大量資料流是很常發生,從IoT Hub資料要怎樣去看?會是一個麻煩點,所以,透過這個工具就可以很清楚去了解每個時間點的資料大...

PowerBI使用Azure Cosmos DB資料

PowerBI使用Azure Cosmos DB資料

PowerBI也可以取得從Azure Cosmos DB的資料了,不過,現階段在Office 365的PowerBI還沒有辦法,必須使用Desktop版的PowerBI才有辦法存取Cosmos DB的Data。所以,如果想在Office 365使用PowerBI且資料來源是Cosmos DB...

Azure Cosmos DB to Cosmos DB的資料轉移工具

Azure Cosmos DB to Cosmos DB的資料轉移工具

在Azure使用一陣子的Cosmos DB,如果需要把資料庫的資料轉移到其他資料庫,又或是想從雲端將資料庫的資料轉回地端的Cosmos DB模擬器,方便開發者使用資料進行開發,雖然,可以透過C#方式撰寫程式將資料抓回來,但是始終不是那樣方便。這時候就必須透過工具來幫忙就才會比較方便。工具下載...

使用Microsoft Teams遇到的小雷

使用Microsoft Teams遇到的小雷

之前發表過一篇[Microsoft Teams使用整理],Teams在協同合作確實是一個不可或缺的角色,但是,事情也並非這樣美好,任何的軟體使用很難盡善盡美,難免有一些小缺陷,針對使用Teams遇到的坑分享一下,既然是坑,就不一定每個人都會遇到,遇到又不一定就代表不好,就給大家多一些參考 ...

VSTS + Microsoft Teams 高效開發團隊溝通平台

VSTS + Microsoft Teams 高效開發團隊溝通平台

在先前的關於DevOps幾篇文章中,談到一個重點就是在DevOps要成功,重點在於團隊成員間的溝通。既然溝通這樣重要,就需要一個比較好的協同合作工具。在使用VSTS中,我們可以透過這工具完成下面事項 然後,藉由Microsoft Teams把整個溝通循環建立起來,來讓整個開發團隊在合作與溝通...

Microsoft Azure Storage Explorer另一個選擇

Microsoft Azure Storage Explorer另一個選擇

通常我們想要把資料上傳到Azure Blob空間存放,Blob是一個非常好用的存放檔案的空間。如果不透過程式做檔案上傳的功能,那樣目前市面上最好用的工具,就是微軟本身自己出的Micrsoft Azure Storage Explorer工具,不過呢,工具有時候太強對用戶來說,也會是一種困惱。...

(學習DevOps系列 14) 建立持續交付和發布的流水線

(學習DevOps系列 14) 建立持續交付和發布的流水線

持續交付流程是甚麼,就是讓我們從程式碼建置、測試、配置到佈署的連續性流程,在這流程中,會進行多項的測試或臨時建立環境產生我們要發布的管道,從自動創建運行基礎架構並且能佈署到正式環境。CD自動化,是讓我們發布流程中能一個流程接著一個流程持續下去,且在每個環節中都可以建立Check Point,...