FunctionComputeを利用して日本と中国リージョン間でOSSファイル転送を実現

作成日:2020/03/18この記事は最終更新日から2年以上が経過しています。

FunctionComputeを利用して日本と中国リージョン間でOSSファイル転送を実現

本記事では、FunctionComputeを利用して日本と中国リージョン間でOSSファイル転送をする方法をご紹介します。

前書き

現在世界中にグロバール化が進んでいる一方、クラウドサービスを利用も拡大し、グローバルリージョンをまたがるファイル同期のニーズが高まっています。コスト抑えてリージョンをまたがるファイル転送とファイル同期は課題となっています。

実現方法が色々ありますが、今回では、OSSとFunction Computeを利用して迅速にファイルを同期しますソリューションを一つ実践してみます。

シナリオ

構成図は下記のように設定します。

20200311160651

アプリサーバが同じリージョンにあるOSSへファイルの処理・アップロードをします
アップロードはVPC内のイントラネットを経由します
ファイルアップロードと同時にFunction Computeから関数の呼び出しをトリガーします
呼び出された関数でファイルをリモートリージョンのOSSへ同期します

Function Compute によりファイル同期検証

今回は中国北京リージョンを転送元、東京を転送先として実行します。

１、OSSコンソールにログインし、北京リージョンで転送元の OSS バケット作成

OSS bucket名：src-bucket-test
他設定：デフォルト

20200311171141

２、東京リージョンで転送先の OSS バケット作成

OSS bucket名：dst-bucket-test
他設定：デフォルト

20200311171208

３、Function Computeのコンソールで、転送元の北京リージョンで関数を作成：

20200311154740

20200311154859

Python3のコードのサンプルとして、下記のように関数を作成：

# -*- coding: utf-8 -*-
import json
import oss2


def handler(event, context):
    evt = json.loads(event)
    logger.info("Handling event: %s", evt)
    creds = context.credentials

    # Required by OSS sdk
    auth = oss2.StsAuth(
        creds.access_key_id,
        creds.access_key_secret,
        creds.security_token)

    evt = evt['events'][0]
    
    bucket_name = evt['oss']['bucket']['name']
    endpoint = 'oss-' + evt['region'] + '.aliyuncs.com'
    bucket = oss2.Bucket(auth, endpoint, bucket_name)

    object_name = evt['oss']['object']['key']

    remote_stream = bucket.get_object(object_name)
    if not remote_stream:
        raise RuntimeError('failed to get oss object. bucket: %s. object: %s' % (bucket_name, object_name))
        return 
    print ('get object from oss success: {}'.format(object_name))

    target_bucket_name = 'dst-jp-bucket'
    target_endpoint = 'oss-ap-northeast-1.aliyuncs.com'
    target_bucket = oss2.Bucket(auth, target_endpoint, target_bucket_name)
    target_bucket.put_object(object_name, remote_stream)

    return 'success'