C#でUWPデスクトップアプリを作る 4/5: 画像合成-背景と写真を組み合わせる

<Capabilities> <Capability Name="internetClient" /> <uap:Capability Name="picturesLibrary" /> </Capabilities>

using OpenCvSharp; using OpenCvSharp.Extensions; using System; using System.Collections.Generic; using System.IO; using System.Runtime.InteropServices; using System.Runtime.InteropServices.WindowsRuntime; using System.Threading.Tasks; using Windows.Media.Capture; using Windows.Storage; using Windows.UI.Xaml; using Windows.UI.Xaml.Controls; using Windows.UI.Xaml.Media.Imaging; namespace PhotoBooth { public sealed partial class MainPage : Page { private MediaCapture _mediaCapture; private bool _isPreviewing = true; public MainPage() { this.InitializeComponent(); EnterFullScreenMode(); InitializeCameraAsync(); } private void EnterFullScreenMode() { var view = Windows.UI.ViewManagement.ApplicationView.GetForCurrentView(); view.TryEnterFullScreenMode(); Windows.UI.ViewManagement.ApplicationView.PreferredLaunchWindowingMode = Windows.UI.ViewManagement.ApplicationViewWindowingMode.FullScreen; } private async void InitializeCameraAsync() { _mediaCapture = new MediaCapture(); await _mediaCapture.InitializeAsync(); CameraPreview.Source = _mediaCapture; await _mediaCapture.StartPreviewAsync(); } private async void CameraPreview_Tapped(object sender, Windows.UI.Xaml.Input.TappedRoutedEventArgs e) { if (_isPreviewing) { await StartCountdownAndTakePhoto(); } } private async Task StartCountdownAndTakePhoto() { try { CountdownText.Visibility = Visibility.Visible; for (int i = 2; i > 0; i--) { CountdownText.Text = i.ToString(); await Task.Delay(1000); } CountdownText.Visibility = Visibility.Collapsed; await TakePhotoAndCompositeWithOpenCVAsync(); } catch (Exception ex) { System.Diagnostics.Debug.WriteLine($"StartCountdownAndTakePhotoでエラーが発生しました: {ex.Message}"); } } public static Mat WriteableBitmapToMat(WriteableBitmap wb) { // WriteableBitmapのピクセルデータを配列として取得 using (var stream = wb.PixelBuffer.AsStream()) { byte[] pixels = new byte[stream.Length]; stream.Read(pixels, 0, pixels.Length); // OpenCVのMatオブジェクトを作成（BGRAフォーマット） Mat mat = new Mat(wb.PixelHeight, wb.PixelWidth, MatType.CV_8UC4); // 8UC4: 8ビット符号なし4チャンネル画像（BGRA） // MatのメモリバッファにWriteableBitmapのピクセルデータをコピー Marshal.Copy(pixels, 0, mat.Data, pixels.Length); return mat; } } public static WriteableBitmap MatToWriteableBitmap(Mat mat) { WriteableBitmap wb = new WriteableBitmap(mat.Width, mat.Height); using (Stream stream = wb.PixelBuffer.AsStream()) { byte[] pixels = new byte[mat.Width * mat.Height * mat.ElemSize()]; Marshal.Copy(mat.Data, pixels, 0, pixels.Length); stream.Write(pixels, 0, pixels.Length); } return wb; } private async Task<Mat> LoadAndResizeBackgroundImageAsync(StorageFile backgroundFile, int targetWidth, int targetHeight) { // 背景画像を読み込む Mat backgroundMat; using (Stream backgroundStream = await backgroundFile.OpenStreamForReadAsync()) { backgroundMat = Mat.FromStream(backgroundStream, ImreadModes.Unchanged); // Unchanged: 透明度情報を保持 } // 背景画像を目的のサイズにリサイズ if (backgroundMat.Width > targetWidth || backgroundMat.Height > targetHeight) { Cv2.Resize(backgroundMat, backgroundMat, new OpenCvSharp.Size(targetWidth, targetHeight)); } return backgroundMat; } private async Task TakePhotoAndCompositeWithOpenCVAsync() { try { // 写真撮影 var renderTargetBitmap = new RenderTargetBitmap(); await renderTargetBitmap.RenderAsync(CameraPreview); var pixelBuffer = await renderTargetBitmap.GetPixelsAsync(); var capturedBitmap = new WriteableBitmap(renderTargetBitmap.PixelWidth, renderTargetBitmap.PixelHeight); using (var stream = capturedBitmap.PixelBuffer.AsStream()) { await stream.WriteAsync(pixelBuffer.ToArray(), 0, (int)pixelBuffer.Length); } // WriteableBitmapをOpenCVのMatに変換 Mat capturedMat = WriteableBitmapToMat(capturedBitmap); // 画像フォルダから背景画像を読み込み、サイズ変更 var picturesFolder = await StorageFolder.GetFolderFromPathAsync(Environment.GetFolderPath(Environment.SpecialFolder.MyPictures)); var backgroundFile = await picturesFolder.GetFileAsync("background.png"); // 背景画像の読み込みとリサイズ（例：1920x1080にリサイズ） Mat backgroundMat = await LoadAndResizeBackgroundImageAsync(backgroundFile, 1920, 1080); // 透明部分をマスクとして抽出（アルファチャンネル値が0の部分） Mat[] bgChannels = new Mat[4]; Cv2.Split(backgroundMat, out bgChannels); Mat alphaChannel = bgChannels[3]; // 透明部分を二値化（アルファ値が0の箇所を白、それ以外を黒に） Mat transparentMask = new Mat(); Cv2.Threshold(alphaChannel, transparentMask, 0, 255, ThresholdTypes.BinaryInv); // 連結成分のラベリングで透明領域を探す Mat labels = new Mat(); Mat stats = new Mat(); Mat centroids = new Mat(); int numLabels = Cv2.ConnectedComponentsWithStats(transparentMask, labels, stats, centroids); // 最大の透明領域を探す int largestLabel = 0; int largestArea = 0; for (int i = 1; i < numLabels; i++) // 0番目のラベルは背景なので除外 { int area = stats.At<int>(i, 4); // Areaは4番目のインデックス if (area > largestArea) { largestArea = area; largestLabel = i; } } // 最大領域の座標を取得 int x = stats.At<int>(largestLabel, 0); // Left (0番目のインデックス) int y = stats.At<int>(largestLabel, 1); // Top (1番目のインデックス) int width = stats.At<int>(largestLabel, 2); // Width (2番目のインデックス) int height = stats.At<int>(largestLabel, 3); // Height (3番目のインデックス) // アスペクト比を保持しながら撮影された画像を透明領域に合わせてリサイズ（透明領域いっぱいに） double aspectRatio = (double)capturedMat.Width / capturedMat.Height; int newWidth, newHeight; // 透明領域の比率と比較して、小さい方の比率に合わせてリサイズ if ((double)width / height > aspectRatio) { newWidth = width; newHeight = (int)(width / aspectRatio); // 幅に合わせる } else { newHeight = height; newWidth = (int)(aspectRatio * height); // 高さに合わせる } // 撮影された画像を該当サイズにリサイズ Mat resizedCapturedMat = new Mat(); Cv2.Resize(capturedMat, resizedCapturedMat, new OpenCvSharp.Size(newWidth, newHeight)); // 中央揃えのためのオフセット計算（はみ出る部分を切り取る） int offsetX = x - (newWidth - width) / 2; // はみ出る部分の半分を左に移動 int offsetY = y - (newHeight - height) / 2; // はみ出る部分の半分を上に移動 // 透明領域に中央配置 for (int i = 0; i < height; i++) { for (int j = 0; j < width; j++) { int srcY = i + (newHeight - height) / 2; int srcX = j + (newWidth - width) / 2; if (srcY >= 0 && srcY < resizedCapturedMat.Height && srcX >= 0 && srcX < resizedCapturedMat.Width) { Vec3b fgPixel = resizedCapturedMat.At<Vec3b>(srcY, srcX); // 撮影された画像のピクセル（BGR） backgroundMat.Set(y + i, x + j, new Vec4b(fgPixel[0], fgPixel[1], fgPixel[2], 255)); // 背景画像に合成 } } } // MatをWriteableBitmapに変換 WriteableBitmap resultBitmap = MatToWriteableBitmap(backgroundMat); // 合成された画像を表示 CapturedImage.Source = resultBitmap; CapturedImage.Visibility = Visibility.Visible; CameraPreview.Visibility = Visibility.Collapsed; // ボタンを表示 ButtonPanel.Opacity = 1; // リソースの解放 capturedMat.Dispose(); resizedCapturedMat.Dispose(); backgroundMat.Dispose(); transparentMask.Dispose(); labels.Dispose(); stats.Dispose(); centroids.Dispose(); _isPreviewing = false; } catch (Exception ex) { System.Diagnostics.Debug.WriteLine($"TakePhotoAndCompositeWithOpenCVAsyncでエラーが発生しました: {ex.Message}"); } } private void RetakeButton_Click(object sender, RoutedEventArgs e) { ButtonPanel.Opacity = 0; CapturedImage.Visibility = Visibility.Collapsed; CameraPreview.Visibility = Visibility.Visible; _isPreviewing = true; } private void PrintButton_Click(object sender, RoutedEventArgs e) { // 印刷機能の実装予定 } } }