подключение AWS SAM Local с dynamodb в докере

Ответ 1

Большое спасибо Heitor Lessa, который ответил мне на Twitter с примером репо

Который указал мне на ответ...

• контейнер docker dynamodb находится на 127.0.0.1 из контекста моей машины (именно поэтому я мог взаимодействовать с ним)

• Локальный контейнер-док-станция SAM находится на 127.0.0.1 из контекста моей машины

• Но они не на 127.0.0.1 друг от друга контекста

Итак: https://github.com/heitorlessa/sam-local-python-hot-reloading/blob/master/users/users.py#L14

Направил меня на изменение кода подключения:

const AWS = require('aws-sdk')
const awsRegion = process.env.AWS_REGION || 'eu-west-2'

let dynamoDbClient
const makeClient = () => {
  const options = {
    region: awsRegion
  }
  if(process.env.AWS_SAM_LOCAL) {
    options.endpoint = 'http://dynamodb:8000'
  }
  dynamoDbClient = new AWS.DynamoDB.DocumentClient(options)
  return dynamoDbClient
}

module.exports = {
  connect: () => dynamoDbClient || makeClient()
}

с важными линиями:

if(process.env.AWS_SAM_LOCAL) {
  options.endpoint = 'http://dynamodb:8000'
}

из контекста локального контейнера док-станции SAM контейнер dynamodb открывается через его имя

Мои две команды запуска оказались такими:

docker run -d -v "$PWD": /dynamodb_local_db -p 8000:8000 --network lambda-local --name dynamodb cnadiminti/dynamodb-local

а также

AWS_REGION=eu-west-2 sam local start-api --docker-network lambda-local

с единственным изменением здесь, чтобы дать контейнеру dynamodb имя

Ответ 2

Если вы используете sam-local на Mac, как многие разработчики, вы можете просто использовать

options.endpoint = "http://docker.for.mac.localhost:8000"

Или на более новых установках докера https://docs.docker.com/docker-for-mac/release-notes/#docker-community-edition-18030-ce-mac59-2018-03-26

options.endpoint = "http://host.docker.internal:8000"

Вместо того, чтобы выполнять несколько команд, как показывал Пол выше (но это может быть более независимым от платформы?).

Ответ 3

Как отметил @Paul, речь идет о настройке вашей сети между контейнерами докеров - лямбдой и базой данных.

Другой подход, который работал для меня (с использованием докеры-компоновки).

докер-Compose:

version: '2.1'

services:
  db:
    image: ...
    ports:
      - "3306:3306"
    networks:
      - my_network
    environment:
      ...
    volumes:
      ...

networks:
  my_network:

Затем, после docker-compose up, работающая docker network ls покажет:

NETWORK ID          NAME                        DRIVER              SCOPE
7eb440d5c0e6        dev_my_network              bridge              local

Имя моего контейнера-докера - dev_db_1.

Мой код js:

const connection = mysql.createConnection({
    host: "dev_db_1",
    port: 3306,
    ...
});

Затем запустите команду sam:

sam local invoke --docker-network dev_my_network -e my.json

стек:

• Докер: 18.03.1-ce
• Docker-compose: 1.21.1
• MacOS HighSierra 10.13.6

Ответ 4

Если вы используете LocalStack для запуска DynamoDB, я считаю, что правильная команда для использования сети LocalStack для SAM:

sam local start-api --env-vars env.json --docker-network localstack_default

И в вашем коде имя хоста LocalStack должно быть localstack_localstack_1

const dynamoDbDocumentClient = new AWS.DynamoDB.DocumentClient({
  endpoint: process.env.AWS_SAM_LOCAL ?
    'http://localstack_localstack_1:4569' :
    undefined,
});

Однако я запустил LocalStack, используя docker-compose up. Использование инструмента pip CLI для запуска LocalStack может привести к различным идентификаторам.

Ответ 5

SAM запускает lambci/lambda контейнер lambci/lambda под капотом, если у вас есть другой контейнер, содержащий, например, dynamodb или любые другие службы, к которым вы хотите подключить вашу лямбду, так что вы должны иметь оба в одной сети.

Предположим, DynamodB (обратите внимание --name, это конечная точка сейчас)

docker run -d -p 8000:8000 --name DynamoDBEndpoint amazon/dynamodb-local

Это приведет к чему-то вроде этого

0e35b1c90cf0....

Чтобы узнать, какая сеть была создана внутри:

docker inspect 0e35b1c90cf0

Это должно дать вам что-то вроде

...
Networks: {
     "services_default": {//this is the <<myNetworkName>>

....

Если вы знаете свои сети и хотите поместить Docker-контейнер в определенную сеть, вы можете сохранить описанные выше шаги и сделать это одной командой при запуске контейнера с использованием --network

docker run -d -p 8000:8000 --network myNetworkName --name DynamoDBEndpoint amazon/dynamodb-local

Важно: у вашего лямбда-кода теперь должна быть конечная точка для динамо в DynamoDBEndpoint

Сказать например:

if(process.env.AWS_SAM_LOCAL) {
  options.endpoint = 'http://DynamoDBEndpoint:8000'
}

Тестирование всего:

Использование lambci:lambda

Это должно только перечислить все таблицы внутри вашего другого контейнера DynamodB

docker run -ti --rm --network myNetworkName lambci/lambda:build-go1.x \
   aws configure set aws_access_key_id "xxx" && \
   aws configure set aws_secret_access_key "yyy" &&  \
   aws --endpoint-url=http://DynamoDBEndpoint:4569 --region=us-east-1 dynamodb list-tables

Или для вызова функции: (Go Example, как NodeJS)

#Golang
docker run --rm -v "$PWD":/var/task lambci/lambda:go1.x handlerName '{"some": "event"}'
#Same for NodeJS 
docker run --rm -v "$PWD":/var/task lambci/lambda:nodejs10.x index.handler

Больше информации о lambci/lambda можно найти здесь

Используя SAM (который использует тот же контейнер lmabci/lambda):

sam local invoke --event myEventData.json --docker-network myNetworkName MyFuncName

Вы всегда можете использовать --debug если хотите увидеть больше деталей.

Кроме того, вы также можете использовать http://host.docker.internal:8000 без хлопот с докером, этот URL-адрес зарезервирован для внутреннего использования и дает вам доступ к вашему хост-компьютеру, но убедитесь, что вы открываете порт 8000 при запуске динамод контейнер. Хотя это довольно просто, но это не работает во всех операционных системах. Для получения более подробной информации об этой функции, пожалуйста, проверьте докер документацию