スキップしてメイン コンテンツに移動

DWH利用者からみた Iceberg の魅力、 Iceberg本の輪読会 (#13, #14)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

第13回と14回ではケビンさんをゲストに、DWH利用者からみた Iceberg の魅力や、 Iceberg本の輪読会のトピックについてお話をうかがいました。


2024年12月追記:Iceberg本の輪読会が完了し、ケビンさんの方で輪読会のまとめブログを出されました。発表資料もまとめられているので以下をぜひご覧ください。

Apache Iceberg: The Definitive Guide 輪読会まとめ


guest: @kevinrobot34 (ケビン)

ナウキャスト データプラットフォームエンジニア 


host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。


※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。


第13回:DWH利用者からみた、Apache Icebergの魅力

OTF Talk 第13回はケビンさんに、DWH利用者からみた、Apache Icebergの魅力についてお話を伺いました。


SnowflakeのIceberg対応/Icebergの学習を通してDWHの内部を想像する/DWHとIcebergの使いわけ

https://podcasters.spotify.com/pod/show/otftalk/episodes/13-DWHApache-Iceberg-e2pt9n9

https://youtu.be/PyEQxQHv7Uw


第14回:Apache Iceberg The Definitive Guide 輪読会とIcebergのパフォーマンス最適化

OTF Talk 第14回は、ケビンさんに、Apache Iceberg The Definitive Guide 輪読会と、その輪読会での学習内容であるIceberg概要やIcebergのパフォーマンス最適化についてお話をうかがいました。


輪読会を運営中/なぜSnowflakeコミュニティがIcebergの勉強会を?/第1章:Icebergとは何か/第4章:パフォーマンス


https://podcasters.spotify.com/pod/show/otftalk/episodes/14-Apache-Iceberg-The-Definitive-Guide-Iceberg-e2pt9oh

https://youtu.be/qu7T6KDMvU0


参考文献)


SnowflakeのIcebergサポート (Snowflakeドキュメント)

https://docs.snowflake.com/en/release-notes/2024/other/2024-06-10-iceberg-tables


Apache Iceberg: The Definitive Guide

https://www.amazon.co.jp/dp/B0CZ4F2MP3


輪読会発表資料:1章 前田さん

https://drive.google.com/file/d/1a7J1OJustb5125KT6s2HkAqtzuifJvNT/view


輪読会発表資料:4章前半 ※ケビンさん

https://speakerdeck.com/kevinrobot34/apache-iceberg-the-definitive-guide-ch4


輪読会発表資料:4章後半 ※島尻さん

https://speakerdeck.com/rshimajiri/apache-iceberg-the-definitive-guide-lun-du-hui-4zhang-optimizing-the-performance-of-iceberg-tables-hou-ban


Bloom filter (Wikipedia)

https://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AB%E3%83%BC%E3%83%A0%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF

コメント

このブログの人気の投稿

OTF (Open Table Format)入門 (#01~#03)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 この#01~#03では、AWSの疋田さんをゲストに、OTF (Open Table Format) 入門と題して3回にわたってお話を伺いました。 #01 OTF (Open Table Format)入門 - OTF誕生の背景  (youtubeは こちら ) #02  OTF (Open Table Format)入門 - OTFの今 (youtubeは こちら ) #03 OTF (Open Table Format)入門 - OTFのこれから  (youtubeは こちら ) guest: @_Bassari (疋田 宗太郎/べりんぐ) AWSで金融のお客様を担当するソリューションアーキテクト。余暇はOTF/Iceberg関連の技術を探求中。 host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考文献) ■全般 べりんぐさんブログでのOTFへの全般的な解説 https://bering.hatenadiary.com/entry/2023/07/17/235246 Iceberg, Hudi, Delta Lakeの比較記事 ※記事はDremio社によるものです。DremioはIcebergにコミットしている企業である事に留意してください。 https://www.dremio.com/blog/comparison-of-data-lake-table-formats-apache-iceberg-apache-hudi-and-delta-lake/ ■ Apache Iceberg ホームページ https://iceberg.apache.org/ べりんぐさんブログでのIcebergの解説 https://bering.hatenadiary.com/entry/2023/09/24/175953 Iceberg: a fast table...

Trino概要とOTF対応のコネクタ (#11,12)

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 #11と#12ではStarburst の 蛯原 裕弥 さんをゲストに、Trinoの成り立ちやフェデレーション機能、TrinoコネクタのIceberg, Delta lake対応についてお話をうかがいました。 guest: @ebyhr (蛯原 裕弥) Starburst Engineer / Trino, Apache Polaris committer host: @ simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第11回:Trinoの成り立ちとコネクタの役割 OTF Talk 第11回は、Starburst の 蛯原 裕弥 さんに、OTFのデータをクエリする際によく利用されている分散SQLエンジンであるPresto/Trinoの成り立ちや、Trinoのフェデレーション機能と各種コネクタについてお話をうかがいました。 PrestoとTrinoの成り立ち/Trinoの特徴/フェデレーション機能とコネクタ/実装はどこが担うのか https://podcasters.spotify.com/pod/show/otftalk/episodes/11-Trino-e2p8r58/a-abiia6n https://youtu.be/vvfo60ZCq1M?si=OfG9ZXSVRqMgN08q ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 第12回:Trinoコネクタからみた OTF (Iceberg, Delta lake) OTF Talk 第12回は、Starburst の 蛯原 裕弥 さんに、OTF(Iceberg, Delta lake)をサポートするTrinoのコネクタについて、概要やその実装方法についてお話をうかがいました。 Trinoコネクタの役割/Icebergコネクタ/Trino+コネクタの特徴/Delta la...