スキップしてメイン コンテンツに移動

投稿

9月, 2024の投稿を表示しています

Open Table Format (OTF) のユースケース (#6, #7)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。この#6~#7では、AWS Glue プロダクトチームの関山 宜孝さんをゲストにOpen Table Format (OTF) のユースケースについてお話を伺いました。 ※今回録音環境に問題があったため、ゲストの声が聴きづらくなっています。 ゲスト: Noritaka Sekiyama ( @moomindani ) AWS Glue product team 所属の Principal Big Data Architect host:  @simosako  (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第6回:OTFのユースケース:CDCによるニアリアルタイムデータ連携 OTF Talk 第6回は、AWS Glue プロダクトチームの関山 宜孝さんをゲストに、OTFのユースケースの1つであるCDC (Change Data Capture)の活用についてお話をうかがいました。 ※今回録音環境に問題があったため、ゲストの声が聴きづらくなっています。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 RDBをリアルタイムにdata lakeに連携したい/CDC (Change Data Capture)/なぜ実現困難だったのか/Upsertとトランザクション/データレイクをデータソースにする https://podcasters.spotify.com/pod/show/otftalk/episodes/06-CDC-e2ntfg8/a-abgp2pr https://youtu.be/rc-DmRLeEFU?si=rPakLaQpNIdwEeU0 第7回:OTFのユースケース:個人情報保護のためのデータ削除 OTF Talk 第7回は、AWS Glue プロダクトチームの関山 宜孝さんをゲストに、OTFのユー...