it-swarm.com.ru

подключение AWS SAM Local с динамодабом в докере

Я настроил пару API-шлюз/AWS-лямбда с помощью AWS sam local и подтвердил, что могу успешно вызвать ее после запуска

sam local start-api

Затем я добавил локальный экземпляр Dynamodb в Docker-контейнер и создал на нем таблицу, используя aws cli.

Но, добавив код в лямбду для записи в экземпляр Dynamodb, я получаю:

2018-02-22T11: 13: 16.172Z ed9ab38e-fb54-18a4-0852-db7e5b56c8cd Ошибка: не удалось записать в таблицу: {"message": "connect ECONNREFUSED 0.0.0.0:8000","code":"NetworkingError","errno":"ECONNREFUSED","syscall":"connect","address ":" 0.0.0.0" , "порт": 8000, "область": "ес-запад-2", "Имя хоста": "0.0.0.0", "retryable": правда, "время": "2018-02 -22T11: 13: 16.165Z "} запись события из команды: {"name": "test", "geolocation": "xyz", "type": "createDestination"} END RequestId: ed9ab38e-fb54-18a4-0852-db7e5b56c8cd

В Интернете я увидел, что вам может понадобиться подключиться к той же сети докера, поэтому я создал сеть docker network create lambda-local и изменил мои команды запуска на:

sam local start-api --docker-network lambda-local

а также

docker run -v "$PWD":/dynamodb_local_db -p 8000:8000 --network=lambda-local cnadiminti/dynamodb-local:latest

но все равно получаю ту же ошибку

sam local печатает 2018/02/22 11:12:51 Connecting container 98b19370ab92f3378ce380e9c840177905a49fc986597fef9ef589e624b4eac3 to network lambda-local

Я создаю DynamodBclient с помощью:

const AWS = require('aws-sdk')
const dynamodbURL = process.env.dynamodbURL || 'http://0.0.0.0:8000'
const awsAccessKeyId = process.env.AWS_ACCESS_KEY_ID || '1234567'
const awsAccessKey = process.env.AWS_SECRET_ACCESS_KEY || '7654321'
const awsRegion = process.env.AWS_REGION || 'eu-west-2'

console.log(awsRegion, 'initialising dynamodb in region: ')

let dynamoDbClient
const makeClient = () => {
  dynamoDbClient = new AWS.DynamoDB.DocumentClient({
    endpoint: dynamodbURL,
    accessKeyId: awsAccessKeyId,
    secretAccessKey: awsAccessKey,
    region: awsRegion
  })
  return dynamoDbClient
}

module.exports = {
  connect: () => dynamoDbClient || makeClient()
}

и проверяя DynamodBclient мой код создает шоу

DocumentClient {
  options:
   { endpoint: 'http://0.0.0.0:8000',
     accessKeyId: 'my-key',
     secretAccessKey: 'my-secret',
     region: 'eu-west-2',
     attrValue: 'S8' },
  service:
   Service {
     config:
      Config {
        credentials: [Object],
        credentialProvider: [Object],
        region: 'eu-west-2',
        logger: null,
        apiVersions: {},
        apiVersion: null,
        endpoint: 'http://0.0.0.0:8000',
        httpOptions: [Object],
        maxRetries: undefined,
        maxRedirects: 10,
        paramValidation: true,
        sslEnabled: true,
        s3ForcePathStyle: false,
        s3BucketEndpoint: false,
        s3DisableBodySigning: true,
        computeChecksums: true,
        convertResponseTypes: true,
        correctClockSkew: false,
        customUserAgent: null,
        dynamoDbCrc32: true,
        systemClockOffset: 0,
        signatureVersion: null,
        signatureCache: true,
        retryDelayOptions: {},
        useAccelerateEndpoint: false,
        accessKeyId: 'my-key',
        secretAccessKey: 'my-secret' },
     endpoint:
      Endpoint {
        protocol: 'http:',
        Host: '0.0.0.0:8000',
        port: 8000,
        hostname: '0.0.0.0',
        pathname: '/',
        path: '/',
        href: 'http://0.0.0.0:8000/' },
     _clientId: 1 },
  attrValue: 'S8' }

Должна ли эта настройка работать? Как мне заставить их говорить друг с другом?

---- Правка ----

Основываясь на разговоре в Твиттере, стоит упомянуть (возможно), что я могу взаимодействовать с DynamodB в CLI и в веб-оболочке

 dynamo db at the CLI

 dynamodb web Shell

7
Paul D'Ambra

Большое спасибо Heitor Lessa, который ответил мне в Twitter с примером репо

Который указал мне на ответ ...

  • контейнер Docker DynamodB находится на 127.0.0.1 из контекста моей машины (именно поэтому я мог взаимодействовать с ним)

  • Докерский контейнер SAM local находится на 127.0.0.1 из контекста моей машины

  • Но они не на 127.0.0.1 друг от друга 

Итак: https://github.com/heitorlessa/sam-local-python-hot-reloading/blob/master/users/users.py#L14

Указал мне на изменение моего кода подключения на:

const AWS = require('aws-sdk')
const awsRegion = process.env.AWS_REGION || 'eu-west-2'

let dynamoDbClient
const makeClient = () => {
  const options = {
    region: awsRegion
  }
  if(process.env.AWS_SAM_LOCAL) {
    options.endpoint = 'http://dynamodb:8000'
  }
  dynamoDbClient = new AWS.DynamoDB.DocumentClient(options)
  return dynamoDbClient
}

module.exports = {
  connect: () => dynamoDbClient || makeClient()
}

с важными линиями, являющимися: 

if(process.env.AWS_SAM_LOCAL) {
  options.endpoint = 'http://dynamodb:8000'
}

из контекста локального docker-контейнера SAM, контейнер Dynamodb предоставляется через его имя

Мои две команды запуска закончились как:

docker run -d -v "$PWD":/dynamodb_local_db -p 8000:8000 --network lambda-local --name dynamodb cnadiminti/dynamodb-local

а также

AWS_REGION=eu-west-2 sam local start-api --docker-network lambda-local

с единственным изменением здесь, чтобы дать имя контейнера Dynamodb имя

7
Paul D'Ambra

Если вы используете sam-local на Mac, как многие разработчики, вы можете просто использовать 

options.endpoint = "http://docker.for.mac.localhost:8000"

Или на более новых установках docker https://docs.docker.com/docker-for-mac/release-notes/#docker-community-edition-18030-ce-mac59-2018-03-26

options.endpoint = "http://Host.docker.internal:8000"

Вместо того, чтобы выполнять несколько команд, как показывал Пол выше (но это может быть более независимым от платформы?).

7
Ellery

Как упомянул @Paul, речь идет о настройке вашей сети между контейнерами Docker - лямбда и база данных.

Другой подход, который работал для меня (с помощью docker-compose).

докер-Compose:

version: '2.1'

services:
  db:
    image: ...
    ports:
      - "3306:3306"
    networks:
      - my_network
    environment:
      ...
    volumes:
      ...

networks:
  my_network:

Затем, после docker-compose up, запуск docker network ls покажет:

NETWORK ID          NAME                        DRIVER              SCOPE
7eb440d5c0e6        dev_my_network              bridge              local

Мой док-контейнер называется dev_db_1.

Мой код JS:

const connection = mysql.createConnection({
    Host: "dev_db_1",
    port: 3306,
    ...
});

Затем запустите команду sam:

sam local invoke --docker-network dev_my_network -e my.json

Стек:

  • Докер: 18.03.1-й
  • Docker-compose: 1.21.1
  • MacOS HighSierra 10.13.6
1
Yair Segal