DeNA TechCon 2025
Olive Lane 16:00 ~
データ品質テスト（QC）は、データが期待通りであることを確認するプロセスです。誤ったデータは誤った判断や意思決定を引き起こすため、データ品質を担保する上で QC は非常に重要です。しかし、大規模なデータに対して QC を厳密に行う場合、多くの時間、コスト、および運用工数がかかる課題があります。これらは一般的にデータ量の増加と共に増大します。そこで、QC をスケーラブルにするため、システムのリプレイスを行いました。新システムでは、Amazon Redshift Serverless と dbt を主要な技術スタックとして採用しました。また、QC の結果を運用作業者に分かりやすく通知するため、dbt パイプラインの監視ツール「Elementary」を導入しました。本発表では、リプレイスの背景や技術選定の理由、そしてその結果として得られた成果について紹介します。
Webシステムのバックエンド開発やデータサイエンスを経験したのち、データエンジニアリングに転向。 2023年にDeNAに入社し、DeSCヘルスケアに出向。 現在データエンジニアとしてヘルスケアデータプラットフォームの改善に取り組んでいる。 普段は名古屋からリモートで勤務している。
