AWS SDK for pandas｜やりたいことから引く！逆引きS3関数の使い方まとめ

import awswrangler as wr

# sample01.csvとsample02.csvをコピー
wr.s3.copy_objects(
    paths=[
        "s3://<バケット名>/<コピー元フォルダ>/sample01.csv",
        "s3://<バケット名>/<コピー元フォルダ>/sample02.csv"
    ],
    source_path="s3://<バケット名>/<コピー元フォルダ>/",
    target_path="s3://<バケット名>/<コピー先フォルダ>/"
)

import awswrangler as wr

# sample01.csvとsample02.csvを削除
wr.s3.delete_objects([
    "s3://<バケット名>/sample01.csv", 
    "s3://<バケット名>/sample02.csv"
])

# folder01配下のオブジェクトを削除
wr.s3.delete_objects("s3://<バケット名>/folder01/")

import awswrangler as wr

# 追記モードでデータセットをマージ
wr.s3.merge_datasets(
    source_path="s3://<バケット名>/<マージ元フォルダ>/",
    target_path="s3://<バケット名>/<マージ先フォルダ>/",
    mode="append"
)

import awswrangler as wr

# sample01.csvとsample02.csvのメタデータを取得
metadatas = wr.s3.describe_objects([
    "s3://<バケット名>/sample01.csv", 
    "s3://<バケット名>/sample02.csv"
])

# folder01配下のオブジェクトのメタデータを取得
metadatas = wr.s3.describe_objects("s3://<バケット名>/folder01/")

import awswrangler as wr

# sample01.csvが存在しているか判定
if wr.s3.does_object_exist("s3://<バケット名>/sample01.csv"):
    print("sample01.csvあり")
else:
    print("sample01.csvなし")

import awswrangler as wr

# バケットがあるリージョンのコードを取得
region = wr.s3.get_bucket_region("<バケット名>")

import awswrangler as wr

# バケットの一覧を取得
buckets = wr.s3.list_buckets()

import awswrangler as wr

# folder01配下のフォルダ一覧を取得
folders = wr.s3.list_directories("s3://<バケット名>/folder01/")

import awswrangler as wr

# folder01配下のオブジェクト一覧を取得
objects = wr.s3.list_objects("s3://<バケット名>/folder01/")

import awswrangler as wr

# sample01.csvとsample02.csvのサイズを取得
object_sizes = wr.s3.size_objects([
    "s3://<バケット名>/sample01.csv", 
    "s3://<バケット名>/sample02.csv"
])

# folder01配下のオブジェクトのサイズを取得
object_sizes = wr.s3.size_objects("s3://<バケット名>/folder01/")

import awswrangler as wr

# sample01.csvをローカルにダウンロード
wr.s3.download(
    path="s3://<バケット名>/sample01.csv",
    local_file="./sample01.csv"
)

import awswrangler as wr

# ローカルのsample01.csvをS3にアップロード
wr.s3.upload(
    local_file="./sample01.csv",
    path="s3://<バケット名>/sample01.csv"
)

import awswrangler as wr

# sample01.csvとsample02.csvができるまで待機
wr.s3.wait_objects_exist([
    "s3://<バケット名>/sample01.csv", 
    "s3://<バケット名>/sample02.csv"
])

import awswrangler as wr

# sample01.csvとsample02.csvが無くなるまで待機
wr.s3.wait_objects_not_exist([
    "s3://<バケット名>/sample01.csv", 
    "s3://<バケット名>/sample02.csv"
])

import awswrangler as wr

# sample01.csvをDataFrameとして読み込み
df = wr.s3.read_csv("s3://<バケット名>/sample01.csv")

import awswrangler as wr

# DataFrameをCSVファイルとして出力
df = pd.DataFrame({"col1": [1, 2, 3], "col2": [4, 5, 6]})
wr.s3.to_csv(df, path="s3://<バケット名>/sample01.csv")

import awswrangler as wr

# sample01.csvをSQL文でフィルターした内容でDataFrameとして読み込み
df = wr.s3.select_query(
    sql="SELECT * FROM s3object",
    path="s3://<バケット名>/sample01.csv",
    input_serialization="CSV",
    input_serialization_params={
        "FileHeaderInfo": "Use",
    },
)

import awswrangler as wr

# sample01.xlsxをDataFrameとして読み込み
df = wr.s3.read_excel("s3://<バケット名>/sample01.xlsx")

import awswrangler as wr

# DataFrameをEXCELファイルとして出力
df = pd.DataFrame({"col1": [1, 2, 3], "col2": [4, 5, 6]})
wr.s3.to_excel(df, path="s3://<バケット名>/sample01.xlsx")

import awswrangler as wr

# sample01.txtをDataFrameとして読み込み
df = wr.s3.read_fwf(
    path="s3://<バケット名>/sample01.txt",
    widths=[1, 3],
    names=["col1", "col2"]
)

import awswrangler as wr

# sample01.jsonをDataFrameとして読み込み
df = wr.s3.read_json("s3://<バケット名>/sample01.json")

import awswrangler as wr

# DataFrameをJSONファイルとして出力
df = pd.DataFrame({"col1": [1, 2, 3], "col2": [4, 5, 6]})
wr.s3.to_json(df, path="s3://<バケット名>/sample01.json")

import awswrangler as wr

# sample01.jsonをSQL文でフィルターした内容でDataFrameとして読み込み
df = wr.s3.select_query(
    sql="SELECT * FROM s3object",
    path="s3://<バケット名>/sample01.json",
    input_serialization="JSON",
    input_serialization_params={
        "Type": "Document",
    },
)

import awswrangler as wr

# sample01.parquetをDataFrameとして読み込み
df = wr.s3.read_parquet("s3://<バケット名>/sample01.parquet")

import awswrangler as wr

# DataFrameをParquetファイルとして出力
df = pd.DataFrame({"col1": [1, 2, 3], "col2": [4, 5, 6]})
wr.s3.to_parquet(df, path="s3://<バケット名>/sample01.parquet")

import awswrangler as wr

# sample01.parquetをSQL文でフィルターした内容でDataFrameとして読み込み
df = wr.s3.select_query(
    sql="SELECT * FROM s3object",
    path="s3://<バケット名>/sample01.parquet",
    input_serialization="Parquet",
)

import awswrangler as wr

# sample01.parquetのメタデータを取得
columns_types, partitions_types = wr.s3.read_parquet_metadata(
    "s3://<バケット名>/sample01.parquet"
)

import awswrangler as wr

# ParquetテーブルををDataFrameとして読み込み
df = wr.s3.read_parquet_table(database="<データベース>", table="<テーブル>")

import awswrangler as wr

# sample01.parquetをAWS Glue Data Catalogに登録
columns_types, partitions_types, partitions_values = wr.s3.store_parquet_metadata(
    path="s3://<バケット名>/sample01.parquet",
    database="<データベース>",
    table="<テーブル>",
)

import awswrangler as wr

# sample01.orcをDataFrameとして読み込み
df = wr.s3.read_orc("s3://<バケット名>/sample01.orc")

import awswrangler as wr

# DataFrameをORCファイルとして出力
df = pd.DataFrame({"col1": [1, 2, 3], "col2": [4, 5, 6]})
wr.s3.to_orc(df, path="s3://<バケット名>/sample01.orc")

import awswrangler as wr

# sample01.orcのメタデータを取得
columns_types, partitions_types = wr.s3.read_orc_metadata(
    "s3://<バケット名>/sample01.orc"
)

import awswrangler as wr

# ORCテーブルををDataFrameとして読み込み
df = wr.s3.read_orc_table(database="<データベース>", table="<テーブル>")

import awswrangler as wr

# Delta LakeテーブルをDataFrameとして読み込み
df = wr.s3.read_deltalake("s3://<バケット名>/<テーブルまでのパス>")