C#으로 UWP 데스크톱 앱 만들기 4/5: 이미지 합성 - 배경과 사진 결합

<Capabilities> <Capability Name="internetClient" /> <uap:Capability Name="picturesLibrary" /> </Capabilities>

using OpenCvSharp; using OpenCvSharp.Extensions; using System; using System.Collections.Generic; using System.IO; using System.Runtime.InteropServices; using System.Runtime.InteropServices.WindowsRuntime; using System.Threading.Tasks; using Windows.Media.Capture; using Windows.Storage; using Windows.UI.Xaml; using Windows.UI.Xaml.Controls; using Windows.UI.Xaml.Media.Imaging; namespace PhotoBooth { public sealed partial class MainPage : Page { private MediaCapture _mediaCapture; private bool _isPreviewing = true; public MainPage() { this.InitializeComponent(); EnterFullScreenMode(); InitializeCameraAsync(); } private void EnterFullScreenMode() { var view = Windows.UI.ViewManagement.ApplicationView.GetForCurrentView(); view.TryEnterFullScreenMode(); Windows.UI.ViewManagement.ApplicationView.PreferredLaunchWindowingMode = Windows.UI.ViewManagement.ApplicationViewWindowingMode.FullScreen; } private async void InitializeCameraAsync() { _mediaCapture = new MediaCapture(); await _mediaCapture.InitializeAsync(); CameraPreview.Source = _mediaCapture; await _mediaCapture.StartPreviewAsync(); } private async void CameraPreview_Tapped(object sender, Windows.UI.Xaml.Input.TappedRoutedEventArgs e) { if (_isPreviewing) { await StartCountdownAndTakePhoto(); } } private async Task StartCountdownAndTakePhoto() { try { CountdownText.Visibility = Visibility.Visible; for (int i = 2; i > 0; i--) { CountdownText.Text = i.ToString(); await Task.Delay(1000); } CountdownText.Visibility = Visibility.Collapsed; await TakePhotoAndCompositeWithOpenCVAsync(); } catch (Exception ex) { System.Diagnostics.Debug.WriteLine($"Error in StartCountdownAndTakePhoto: {ex.Message}"); } } public static Mat WriteableBitmapToMat(WriteableBitmap wb) { // WriteableBitmap의 픽셀 데이터를 배열로 가져옴 using (var stream = wb.PixelBuffer.AsStream()) { byte[] pixels = new byte[stream.Length]; stream.Read(pixels, 0, pixels.Length); // OpenCV의 Mat 객체를 생성 (BGRA 포맷) Mat mat = new Mat(wb.PixelHeight, wb.PixelWidth, MatType.CV_8UC4); // 8UC4: 8-bit unsigned 4-channel image (BGRA) // Mat의 메모리 버퍼에 WriteableBitmap의 픽셀 데이터를 복사 Marshal.Copy(pixels, 0, mat.Data, pixels.Length); return mat; } } public static WriteableBitmap MatToWriteableBitmap(Mat mat) { WriteableBitmap wb = new WriteableBitmap(mat.Width, mat.Height); using (Stream stream = wb.PixelBuffer.AsStream()) { byte[] pixels = new byte[mat.Width * mat.Height * mat.ElemSize()]; Marshal.Copy(mat.Data, pixels, 0, pixels.Length); stream.Write(pixels, 0, pixels.Length); } return wb; } private async Task<Mat> LoadAndResizeBackgroundImageAsync(StorageFile backgroundFile, int targetWidth, int targetHeight) { // 배경 이미지 로드 Mat backgroundMat; using (Stream backgroundStream = await backgroundFile.OpenStreamForReadAsync()) { backgroundMat = Mat.FromStream(backgroundStream, ImreadModes.Unchanged); // Unchanged: 투명도 정보 유지 } // 배경 이미지를 원하는 크기로 리사이즈 if (backgroundMat.Width > targetWidth || backgroundMat.Height > targetHeight) { Cv2.Resize(backgroundMat, backgroundMat, new OpenCvSharp.Size(targetWidth, targetHeight)); } return backgroundMat; } private async Task TakePhotoAndCompositeWithOpenCVAsync() { try { // 사진 촬영 var renderTargetBitmap = new RenderTargetBitmap(); await renderTargetBitmap.RenderAsync(CameraPreview); var pixelBuffer = await renderTargetBitmap.GetPixelsAsync(); var capturedBitmap = new WriteableBitmap(renderTargetBitmap.PixelWidth, renderTargetBitmap.PixelHeight); using (var stream = capturedBitmap.PixelBuffer.AsStream()) { await stream.WriteAsync(pixelBuffer.ToArray(), 0, (int)pixelBuffer.Length); } // WriteableBitmap을 OpenCV의 Mat으로 변환 Mat capturedMat = WriteableBitmapToMat(capturedBitmap); // 그림 폴더에서 배경 이미지 불러오기 및 크기 리사이즈 var picturesFolder = await StorageFolder.GetFolderFromPathAsync(Environment.GetFolderPath(Environment.SpecialFolder.MyPictures)); var backgroundFile = await picturesFolder.GetFileAsync("background.png"); // 배경 이미지 로드 및 리사이즈 (예: 1920x1080으로 리사이즈) Mat backgroundMat = await LoadAndResizeBackgroundImageAsync(backgroundFile, 1920, 1080); // 투명한 부분을 마스크로 추출 (알파 채널 값이 0인 부분) Mat[] bgChannels = new Mat[4]; Cv2.Split(backgroundMat, out bgChannels); Mat alphaChannel = bgChannels[3]; // 투명한 부분을 이진화 (알파 값이 0인 곳을 흰색, 나머지는 검정색) Mat transparentMask = new Mat(); Cv2.Threshold(alphaChannel, transparentMask, 0, 255, ThresholdTypes.BinaryInv); // 연결 성분 레이블링으로 투명한 영역 찾기 Mat labels = new Mat(); Mat stats = new Mat(); Mat centroids = new Mat(); int numLabels = Cv2.ConnectedComponentsWithStats(transparentMask, labels, stats, centroids); // 가장 큰 투명한 영역 찾기 int largestLabel = 0; int largestArea = 0; for (int i = 1; i < numLabels; i++) // 0번 레이블은 배경이므로 제외 { int area = stats.At<int>(i, 4); // Area는 4번째 인덱스 if (area > largestArea) { largestArea = area; largestLabel = i; } } // 가장 큰 영역의 좌표 가져오기 int x = stats.At<int>(largestLabel, 0); // Left (0번째 인덱스) int y = stats.At<int>(largestLabel, 1); // Top (1번째 인덱스) int width = stats.At<int>(largestLabel, 2); // Width (2번째 인덱스) int height = stats.At<int>(largestLabel, 3); // Height (3번째 인덱스) // 비율 유지하며 촬영된 이미지를 투명한 영역에 맞게 리사이즈 (투명한 영역에 꽉 차도록) double aspectRatio = (double)capturedMat.Width / capturedMat.Height; int newWidth, newHeight; // 투명한 영역의 비율과 비교하여 더 작은 비율에 맞춰 리사이즈 if ((double)width / height > aspectRatio) { newWidth = width; newHeight = (int)(width / aspectRatio); // 가로에 맞추기 } else { newHeight = height; newWidth = (int)(aspectRatio * height); // 세로에 맞추기 } // 촬영된 이미지를 해당 사이즈로 리사이즈 Mat resizedCapturedMat = new Mat(); Cv2.Resize(capturedMat, resizedCapturedMat, new OpenCvSharp.Size(newWidth, newHeight)); // 중앙 맞춤을 위해 오프셋 계산 (초과 부분 자르기) int offsetX = x - (newWidth - width) / 2; // 초과되는 부분의 반을 왼쪽으로 이동 int offsetY = y - (newHeight - height) / 2; // 초과되는 부분의 반을 위쪽으로 이동 // 투명한 영역에 중앙 배치 for (int i = 0; i < height; i++) { for (int j = 0; j < width; j++) { int srcY = i + (newHeight - height) / 2; int srcX = j + (newWidth - width) / 2; if (srcY >= 0 && srcY < resizedCapturedMat.Height && srcX >= 0 && srcX < resizedCapturedMat.Width) { Vec3b fgPixel = resizedCapturedMat.At<Vec3b>(srcY, srcX); // 촬영된 이미지의 픽셀 (BGR) backgroundMat.Set(y + i, x + j, new Vec4b(fgPixel[0], fgPixel[1], fgPixel[2], 255)); // 배경 이미지에 합성 } } } // Mat을 WriteableBitmap으로 변환 WriteableBitmap resultBitmap = MatToWriteableBitmap(backgroundMat); // 합성된 이미지 표시 CapturedImage.Source = resultBitmap; CapturedImage.Visibility = Visibility.Visible; CameraPreview.Visibility = Visibility.Collapsed; // 버튼 표시 ButtonPanel.Opacity = 1; // 리소스 해제 capturedMat.Dispose(); resizedCapturedMat.Dispose(); backgroundMat.Dispose(); transparentMask.Dispose(); labels.Dispose(); stats.Dispose(); centroids.Dispose(); _isPreviewing = false; } catch (Exception ex) { System.Diagnostics.Debug.WriteLine($"Error in TakePhotoAndCompositeWithOpenCVAsync: {ex.Message}"); } } private void RetakeButton_Click(object sender, RoutedEventArgs e) { ButtonPanel.Opacity = 0; CapturedImage.Visibility = Visibility.Collapsed; CameraPreview.Visibility = Visibility.Visible; _isPreviewing = true; } private void PrintButton_Click(object sender, RoutedEventArgs e) { // 인쇄 기능 구현 예정 } } }