logo头像

Edward.K Thinking

Azure

Azure DevOps Pipeline YAML 編輯進化了

Azure DevOps Pipeline YAML 編輯進化了

在前一篇的[用YAML建置Azure DevOps CI的Pipeline]中,說明可以用YAML去編寫CI的自動化Script,有用過的人,一定會覺得每個TASK的指令我怎可能背的下來,且又沒有提示資訊,怎會知道要怎樣寫?又加上預設是這樣子開始編輯Pipeline 整個困難度就提升非常的多...

Azure Blob 將檔案從一個Container搬移到另一個Container

Azure Blob 將檔案從一個Container搬移到另一個Container

通常要搬移 Azure Blob 間的檔案,最快方式就是透過AzCopy工具將檔案在不同 Blob Account 或是 Blob Container 間移動。但是,有些情境下卻不能只用 AzCopy,通常我認為會用到這工具的時候就是在整批檔案搬移到另一個 Container,中間不會有其他...

Azure DevOps 自動化建立Database版本差異化Script 簡化版

Azure DevOps 自動化建立Database版本差異化Script 簡化版

在之前打通自動化雲端部署到地端-自動化建立Database版本差異化Script這篇文章中介紹如何在DevOps中去自動化佈署或是建立佈署差異化的DB Script。在這本文中提到透過SQLpackage方式,且搭配相關參數來設定自動化的Script,雖然,並無錯誤,SQLpackage的指...

Azure DevOps找不到的一個可用的Agent

Azure DevOps找不到的一個可用的Agent

個人認為這情境絕對是一個意外的Bug,怎說呢,如果今天在Azure DevOps的CI,是透過YAML方式設定。YAML設定可以參考用YAML建置Azure DevOps CI的Pipeline,且如果是發動到地端的Agent執行CI時候,可能會發現有時候跑CI沒有問題,但是過一段時間CI怎...

Azure Custom Vision Region位置大小與像素座標的轉換

Azure Custom Vision Region位置大小與像素座標的轉換

使用 Custom Vision 可以在Project Types類型中,選擇Object Detection類型,Object Detection類型專案是可以讓我們在圖片去標示想要識別的物件,標示的方式是透過一個白色框去 Tag 該物件。因此,在圖片中定義要辨識的物件方框,稱為Regio...

用Azure AD帳號作為登入Azure Web Site之驗證機制

用Azure AD帳號作為登入Azure Web Site之驗證機制

通常網站登入我們都會設定登入帳號或是第三方驗證方式登入,如果,今天想要透過用戶本身的AAD帳號作為登入呢?且有不想要寫太多太多驗證帳號程式(基本上是不需要寫啦),就能達到這樣需求。下面實作方式,是使用OS是Windows的Azure Web進行。 應用程式註冊 首先必須先到Azure AD註...

Azure Data Factory還原備份在Data Lake的Cosmos DB資料

Azure Data Factory還原備份在Data Lake的Cosmos DB資料

之前談到如何從Cosmos DB備份檔案到Data Lake中,請參考[透過Azure Data Factory備份Cosmos DB到Data Lake],如果要把儲存在Data Lake中的資料匯入到其他資料庫是否可以,當然是可以的,只是必須要花一點小技巧,因為,當時主要是整個Cosmo...

Azure Data Factory判斷Azure Data Lake的檔案/路徑是否存在

Azure Data Factory判斷Azure Data Lake的檔案/路徑是否存在

我們可以透過ADF不斷讀取Azure Data Lake內的檔案進行處理,不過,今天在ADF中,我們設定讀取Azure Data Lake的檔案路徑是透過Dynamic Content方式定義的時候,就必須注意到一件事情就是檔案或是資料夾是否存在,不然會出現找不到檔案的錯誤,如果,其中有又在...

透過Azure Data Factory備份Cosmos DB到Data Lake

透過Azure Data Factory備份Cosmos DB到Data Lake

之前寫一篇[Azure Cosmos DB to Cosmos DB的資料轉移工具],可以透過工具去轉移Cosmos DB到其他地方,不過,如果資料量大時候,就必須讓電腦開很久去跑,如果透過服務就會更方便,所以,如果想要透過Azure服務備份Cosmos DB資料或是轉移,可以使用Azure...

用YAML建置Azure DevOps CI的Pipeline

用YAML建置Azure DevOps CI的Pipeline

自從VSTS改名成為Azure DevOps後,多出一個能透過YAML檔案,建立CI Pipeline的選項(之前其實就已經有透露),既然是YAML檔案也就勢必在Azure DevOps中會看不到用圖形化介面去定義在CI流程中,定義每個Task的設定與流程。如果使用YAML來建置CI Pip...

刪除Azure Container Registry內Image,釋放空間

刪除Azure Container Registry內Image,釋放空間

先前有一篇寫如何透過Power Shell去刪除Azure Container Registry上面的Image Tag (快速刪除Azure Container Registry內的Image Tag),以方便管理私有的Container。不過,這樣刪除有一個問題就是無法真正把Azure ...

Power BI 實踐即時串流資訊圖表

Power BI 實踐即時串流資訊圖表

Power BI是製作商業分析圖表的好工具,不得不說這分析工具真是多樣性,可以搭配很多資料進行分析,和繪製還算漂亮的統計資訊,當然,如果今天是用雲端版的Power BI,有一個好處就是可以製作即時串流的圖表,然後,在Power BI內,確實也有一個資料集叫做串流資料集,這資料及共有三種模式建...

使用Azure Function驅動Azure Analysis Services的Model同步

使用Azure Function驅動Azure Analysis Services的Model同步

Azure Analysis Services是一個在雲端的Analysis Services服務,其作用跟地端的Analysis Services功能是類似的,第一步都必須把資料從DataWare house或是Database等資料儲存體匯入到Analysis Services中(當然也...

Azure Data Factory讓資料從Cosmos DB傳送到Azure SQL Database

Azure Data Factory讓資料從Cosmos DB傳送到Azure SQL Database

當我們把非結構化資料大量存放到Cosmos DB後,再來就要做大數據分析,在分析前,通常第一件事情就要整理資料,且把資料進行結構化的整理,這件事情有很多種作法,這裡進行其中一種作法,就是把Cosmos DB資料匯入到Azure SQL Database中,中間測試過幾種方法,如果只是小量資料...

Azure Cosmos DB 取得現在的時間

Azure Cosmos DB 取得現在的時間

在使用Azure Cosmos DB時候,並不能像在使用一般的SQL DB一樣有內建函示可以直接取得當前時間,像是我們在SQL Server中可以用Getdate()取得現在系統時間。因此,今日想要在Cosmos DB也做出類似的用法,這部分必須要自己寫Function才有辦法。首先,必須到...

快速刪除Azure Container Registry內的Image Tag

快速刪除Azure Container Registry內的Image Tag

在Azure上面我們可以把客製化的Image存放到到Azure Container Registry裡面,作為私人或是企業自己私有的Docker Store,不過呢,畢竟在Azure存放還是需要$$,另外,再加上如果是採用DevOps團隊,每次Build出新的Image就放到ACR上,久了之...

用Azure Time Series Insights 看IoT串流資訊

用Azure Time Series Insights 看IoT串流資訊

Azure Time Series Insights是什麼?這是一個在Azure上的SaaS服務,顧名思義主要就要用來看時間區間資料的一種工具,畢竟,在IoT的世界中,大量資料流是很常發生,從IoT Hub資料要怎樣去看?會是一個麻煩點,所以,透過這個工具就可以很清楚去了解每個時間點的資料大...

PowerBI使用Azure Cosmos DB資料

PowerBI使用Azure Cosmos DB資料

PowerBI也可以取得從Azure Cosmos DB的資料了,不過,現階段在Office 365的PowerBI還沒有辦法,必須使用Desktop版的PowerBI才有辦法存取Cosmos DB的Data。所以,如果想在Office 365使用PowerBI且資料來源是Cosmos DB...

Azure Cosmos DB to Cosmos DB的資料轉移工具

Azure Cosmos DB to Cosmos DB的資料轉移工具

在Azure使用一陣子的Cosmos DB,如果需要把資料庫的資料轉移到其他資料庫,又或是想從雲端將資料庫的資料轉回地端的Cosmos DB模擬器,方便開發者使用資料進行開發,雖然,可以透過C#方式撰寫程式將資料抓回來,但是始終不是那樣方便。這時候就必須透過工具來幫忙就才會比較方便。工具下載...