AWS: DynamoDB Java API

15 Haziran 2016
AWS DynamoDB JAVA
No Comments

DynamoDB’nin ne olduğuna, özelliklerine ve ücretlendirmesine daha önce şu yazımda değinmiştim. Şimdi ise Java kullanarak DynamoDB ile nasıl haberleşebileceğimize değinmek istiyorum.

DyanmoDB’nin Java API’si hemen hemen her ihtiyacı gidermeye yönelik. Temel de Java API’si diye bir şey yok aslında. DynamoDB tamamen HTTP üzerinden konuşacak şekilde tasarlanmış, zaten kendi dokümantasyonunda da Low Level API olarak bu konuya değinmiş. Çok kritik bir durum olmadıkça kimsenin bu API ile ilgileneceğini sanmıyorum. Bu sebepten ben AWS SDK’sının sağladığı Java API’lerine değineceğim.

Java API’lerine diyorum, çünkü birden fazla Java API’si mevcut.

Low Level Java API: HTTP isteklerinin bir level üstü gibi düşünebilirsiniz. HTTP talebini doldurmak yerine Request-Response kelimeleri ile biten java nesnelerini doldurup SDK üzerinden gönderiyorsunuz. Sonra gelen veriyi kendiniz Map edip kullanıyorsunuz. Yani JDBC ve JPA kavramlarını metafor olarak kullanacak olursak, Low Level Java API’si JDBC’ye denk geliyor.
High Level Java API: JPA ya da ORM tadındaki Java API’si. Veritabanınızı belirten modelinizi DynamoDB özelindeki annotasyonlar ile veritabanınıza map ediyorsunuz. Temel CRUD operasyonlarını kendi sağlıyor. Siz özel sorgular yazmak isterseniz Hibernate’in Criteria API’sine benzer bir API üzerinden taleplerinizi gönderiyorsunuz.

Ben bu yazıda High Level Java API’yı üzerinde duracağım. Eğer uygulamanız çok yüksek TPS değerlerinde çalışmayacaksa, size önerimde bu API’sini kullanmanız. Aksi halde her tablonuz için ayrı Mapper sınıfları yazıp, sorgulama sonuçlarınızı iki de bir dönüştürmeniz ve üzerine bunların bir de testlerini yazmanız gerekiyor. Bir sürü keyifsiz iş. Fakat belirtmeden de geçmeyeyim. High Level Java API’si kullanarak, seçimli yükleme yapamıyoruz. Yani bana sadece seçtiğim kolonları getir diyemiyorsunuz. Eğer tüm satıra ihtiyacınız yoksa bu DynamoDB kullanım maaliyetinizi arttırabilir.

Hazırlık

Projemizi Maven ve Java 8 kullanarak geliştireceğiz. Sırasıyla Maven ayarlarını ve AWS yetkilendirmesini yaptıktan sonra veritabanımızı yaratacağız. Geliştireceğimiz uygulama basit bir kullanıcı servisi olacak. Buna uygun veritabanını yarattıktan sonra uygulamamızı geliştirmeye başlayacağız.

Maven ve Bağımlılıklar

Basit bir konsol uygulaması yazacağımız için istediğiniz archetype’ı kullanabilirsiniz. Ben maven-archetype-quickstart‘ı kullanarak oluşturuyorum. Daha sonrasında projeye aşağıdaki bağımlılığı eklemeniz yeterli olacaktır.

<!-- AWS DynamoDB Dependency -->
<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-dynamodb</artifactId>
    <version>1.11.7</version>
</dependency>

<groupId>com.amazonaws</groupId>

<artifactId>aws-java-sdk-dynamodb</artifactId>

</dependency>

AWS Yetkilendirmesi

Şimdi ise yetkilendirmeyi yapalım. Doğrudan AWS bilgilerinizi kullanarak da servise bağlanabilirsiniz. Fakat hemen hemen hiç bir AWS servisini ana yetkiyle kullanmamanızı öneririm. Kullanacağınız her servis için ayrı kullanıcılar yaratıp yetkilendirmelerini ayrı ayrı yapın. Kısaca DynamoDB için nasıl ayrı bir kullanıcı oluşturacağınızı ve yetkilendireceğinizi anlatacağım. Bu işlemler ek bir ücrete tabi değil ondan gönül rahatlıyla yapabilirsiniz.

AWS Console üzerinden IAM (Identity and Access Management) servisine gidin.
Sol taraftaki menuden Users’a tıklayın
Üst taraftaki mavi butona, Create New Users, tıklayın
Beğendiğiniz bir kullanıcı adı girin (dynamodb_bhdrkn).
Generate Access Key For Each User seçeneği seçili kalsın, sonrasında Create’e tıklayın.
Burada isterseniz Show Credentials diyerek, isterseniz Download Credentials diyerek kullanıcı erişim bilgilerini kaydedin. Bu bilgileri java uygulamasını geliştirirken kullanacağız.
Sonrasında, Close’a tıklayın. Bu sizi kullanıcıların listelendiği sayfaya götürecek. Burada biraz beklerseniz, yeni yarattığınız kullanıcıları görebilirsiniz.
Kullanıcınıza (dynamodb_bhdrkn) tıklayın. Açılan sayfada Permissions sekmesine gelin ve Attach Policy’e tıklayın.
Yeni açılan ekrandaki kutucuğa DynamoDB yazıp filtreleyin. Gelen listeden AmazonDynamoDBFullAccess i seçin ve attach policy’e tıklayın.

AmazonDynamoDBFullAccess üzerinde full yetkiye sahip bir kullanıcı yarattık. Şimdi uygulamamıza geri dönüp Credential bilgilerini uygulamaya ekleyelim. Biz basit ve taşınabilir olması için properties dosyasında okuyacağız. Bunun için src/main/resources altına aws.properties dosyasını yaratıp içerisini aşağıdaki gibi dolduruyorsunuz.

aws.properties

accessKey=<Yetkilendirme adımında aldığınız AccessKey>
secretKey=<Yetkilendirme adımında aldığınız SecretKey>

1 2	accessKey=<Yetkilendirme adımında aldığınız AccessKey> secretKey=<Yetkilendirme adımında aldığınız SecretKey>

Veritabanının Yaratılması

Son olarak veritabanımızı yaratalım. Bu işlemi uygulama içerisinden de yapmak mümkün fakat uygulama kısmını basitleştirmek adına veritabanını web üzerinden yaratalım. Bunun için aşağıdaki adımları izliyoruz:

AWS Console üzerinden DynamoDB servisine gidin.
Açılan sayfadan Create Table butonuna tıklıyoruz.
Table Name olarak Users giriyoruz.
Partition Key olarak username giriyoruz. Eğer partition key neydi, hash key neydi diye hafızanısı tazelemek isterseniz bu yazıdan faydalanabilirsiniz.
Use Default Settings seçeneiğini seçili bırakıp tablomuzu yaratıyoruz. Bu seçenek RCU ve WCU değerleri olarak 5’i kullanıyor. Sadece bir tutorial yapacağımız için bu değerler bize fazlasıyla yeter.

Burada dikkatinizi çekmek istediğim diğer bir nokta ise, sadece Partition Key’i belirtmiş olmamız. Bu DynamoDB’nin şemasız bir yapısı olduğundan kaynaklanıyor.

Uygulamanın Geliştirilmesi

Daha öncede belirttiğim gibi basit bir kullanıcı uygulaması yazacağız. Uygulama da değil aslında sadece DAO kısmını yazacağız.

Modelin Geliştirilmesi

Giriş kısmında belirttiğim gibi ORM benzeri High Level Java API kullanacağız. Bu sebepten veritabanımıza karşılık gelen modelimizi yaratalım ve gerekli annotasyonlarını ekleyelim.

package com.bahadirakin.dynamodb.model;

import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBAttribute;
import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBHashKey;
import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBTable;

import java.util.Objects;

@DynamoDBTable(tableName = "Users")
public class User {

    @DynamoDBHashKey(attributeName = "username")
    private String username;

    @DynamoDBAttribute(attributeName = "password")
    private String password;

    @DynamoDBAttribute(attributeName = "email")
    private String email;

    public String getUsername() {
        return username;
    }

    public void setUsername(String username) {
        this.username = username;
    }

    public String getPassword() {
        return password;
    }

    public void setPassword(String password) {
        this.password = password;
    }

    public String getEmail() {
        return email;
    }

    public void setEmail(String email) {
        this.email = email;
    }

    @Override
    public boolean equals(Object object) {
        if (this == object) {
            return true;
        }

        if (object == null || getClass() != object.getClass()) {
            return false;
        }

        User that = (User) object;
        return Objects.equals(this.username, that.username)
                && Objects.equals(this.email, that.email)
                && Objects.equals(this.password, that.password);

    }

    @Override
    public int hashCode() {
        return Objects.hash(username, email, password);
    }
}

package com.bahadirakin.dynamodb.model;

import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBAttribute;

import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBHashKey;

import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBTable;

import java.util.Objects;

@DynamoDBTable(tableName = "Users")

public class User {

@DynamoDBHashKey(attributeName = "username")

private String username;

@DynamoDBAttribute(attributeName = "password")

private String password;

@DynamoDBAttribute(attributeName = "email")

private String email;

public String getUsername() {

return username;

}

public void setUsername(String username) {

this.username = username;

}

public String getPassword() {

return password;

}

public void setPassword(String password) {

this.password = password;

}

public String getEmail() {

return email;

}

public void setEmail(String email) {

this.email = email;

}

@Override

public boolean equals(Object object) {

if (this == object) {

return true;

}

if (object == null || getClass() != object.getClass()) {

return false;

}

User that = (User) object;

return Objects.equals(this.username, that.username)

&& Objects.equals(this.email, that.email)

&& Objects.equals(this.password, that.password);

}

@Override

public int hashCode() {

return Objects.hash(username, email, password);

}

Eğer daha önce bir ORM aracı (PA olur Hibernate olur) kullandıysanız, yukarıdaki sınıfın Entity’lere çok benzediğini sadece annotasyonların adlarının değiştiğini göreceksiniz. Fakat daha önce kullanmamış olanlar için, kullandığımız annotasyonlara değinmek istiyorum.

@DynamoDBTable(tableName = “Users”): Bu model nesnesinin “Users” isimli veritabanıyla ilişkili olduğunu belirtiyor. Bu annotasyon bulunmazsa DynamoDB hata verecektir.
@DynamoDBHashKey(attributeName = “username”): Bu annotasyonu, PartitionKey‘imizi belirtmek için kullanıyoruz. Tahmin edersiniz ki attributeName de veritabanında kullanılacak kolon adına denk geliyor.
@DynamoDBAttribute(attributeName = “password”): Bu annotasyonu ise sıradan kolonları belirtmek için kullanıyoruz.

Tabi tüm annotasyonlar bu kadar değil. Tüm annotasyon listesine DynamoDB’nin dokümantasyonundan ulaşabilirsiniz.

DAO Katmanı

Sırada DAO katmanımız var. Arayüz üzerinden başlayacak olursak:

package com.bahadirakin.dynamodb.dao;

import com.bahadirakin.dynamodb.model.User;

import java.util.List;

public interface UserRepository {

    void put(User user);

    void delete(String username);

    User get(String username) throws Exception;

    List<User> findAll();

    List<User> findByEmail(final String email);
}

package com.bahadirakin.dynamodb.dao;

import com.bahadirakin.dynamodb.model.User;

import java.util.List;

public interface UserRepository {

void put(User user);

void delete(String username);

User get(String username) throws Exception;

List<User> findAll();

List<User> findByEmail(final String email);

}

Basit bir arayüzümüz olacak. Amacım temel işlemleri gösterebilecek bir arayüz yazmak. Dikkatinizi çekmek istediğim nokta, Update ve Save gibi iki ayrı işlem yerine Put diye tek bir işlem kullanacak olmam. Bunun sebebi DynamoDB’nin yapısından kaynaklanıyor. Bize iki farklı işlem sunmuyor.

Şimdi de bu arayüzün nasıl uygulandığına bakalım:

package com.bahadirakin.dynamodb.dao;

import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBMapper;
import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBScanExpression;
import com.amazonaws.services.dynamodbv2.model.AttributeValue;
import com.amazonaws.services.dynamodbv2.model.ComparisonOperator;
import com.amazonaws.services.dynamodbv2.model.Condition;
import com.bahadirakin.dynamodb.model.User;

import java.util.Collections;
import java.util.List;
import java.util.Optional;

//CHECKSTYLE.OFF: AbbreviationAsWordInName
public class UserRepositoryImpl implements UserRepository {

    private final DynamoDBMapper dynamoDBMapper;

    public UserRepositoryImpl(DynamoDBMapper dynamoDBMapper) {
        this.dynamoDBMapper = dynamoDBMapper;
    }

    @Override
    public void put(User user) {
        this.dynamoDBMapper.save(user);
    }

    @Override
    public void delete(String username) {
        final User user = new User();
        user.setUsername(username);
        this.dynamoDBMapper.delete(user);
    }

    @Override
    public User get(String username) throws Exception {
        return Optional.ofNullable(dynamoDBMapper.load(User.class, username))
                .orElseThrow(() -> new Exception(String.format("User for username %s was not found", username)));
    }

    @Override
    public List<User> findAll() {
        return dynamoDBMapper.scan(User.class, new DynamoDBScanExpression());
    }

    @Override
    public List<User> findByEmail(String email) {
        final List<User> users = dynamoDBMapper.scan(User.class,
                new DynamoDBScanExpression().withFilterConditionEntry("email",
                        new Condition().withComparisonOperator(ComparisonOperator.EQ)
                                .withAttributeValueList(Collections.singletonList(new AttributeValue(email)))));
        if (users == null) {
            return Collections.emptyList();
        } else {
            return users;
        }
    }
}

package com.bahadirakin.dynamodb.dao;

import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBMapper;

import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBScanExpression;

import com.amazonaws.services.dynamodbv2.model.AttributeValue;

import com.amazonaws.services.dynamodbv2.model.ComparisonOperator;

import com.amazonaws.services.dynamodbv2.model.Condition;

import com.bahadirakin.dynamodb.model.User;

import java.util.Collections;

import java.util.List;

import java.util.Optional;

//CHECKSTYLE.OFF: AbbreviationAsWordInName

public class UserRepositoryImpl implements UserRepository {

private final DynamoDBMapper dynamoDBMapper;

public UserRepositoryImpl(DynamoDBMapper dynamoDBMapper) {

this.dynamoDBMapper = dynamoDBMapper;

}

@Override

public void put(User user) {

this.dynamoDBMapper.save(user);

}

@Override

public void delete(String username) {

final User user = new User();

user.setUsername(username);

this.dynamoDBMapper.delete(user);

}

@Override

public User get(String username) throws Exception {

return Optional.ofNullable(dynamoDBMapper.load(User.class, username))

.orElseThrow(() -> new Exception(String.format("User for username %s was not found", username)));

}

@Override

public List<User> findAll() {

return dynamoDBMapper.scan(User.class, new DynamoDBScanExpression());

}

@Override

public List<User> findByEmail(String email) {

final List<User> users = dynamoDBMapper.scan(User.class,

new DynamoDBScanExpression().withFilterConditionEntry("email",

new Condition().withComparisonOperator(ComparisonOperator.EQ)

.withAttributeValueList(Collections.singletonList(new AttributeValue(email)))));

if (users == null) {

return Collections.emptyList();

} else {

return users;

}

Burada dikkatinizi çekmek istediğim noktalar:

DynamoDBMapper: Nesne tabanlı işlemlerimizi, Low Level Java-API’sine çeviren katmandır. JPA jargonundaki EntityManager olarak düşünebilirsiniz.
Scan: findByEmail metoduna bakacak olursanız, scan diye bir işlem kullandığımı göreceksiniz. DynamoDB temelinde iki türlü sorgulama yapmanıza olanak sağlıyor. Birincisi Query, PartitionKey ( ve eğer varsa/isterseniz SortKey) kullanarak sorgulama yapmanıza olanak sağlıyor. İkincisi ise Scan, bunda ise PartitionKey kullanmanıza gerek yok. Tahmin edersiniz ki PartitionKey ile yaptığınız sorgulamlar çok daha performanslı çalışıyor.

Uygulama

DynamoDB’nin lokalde nasıl test edileceği apayrı bir konu olduğundan bu yazıda değinmeyeceğim. Bunun yerine bir konsol uygulaması ile her bir metodu test etmeye çalışacağız.

package com.bahadirakin.dynamodb;

import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.PropertiesCredentials;
import com.amazonaws.regions.Region;
import com.amazonaws.regions.Regions;
import com.amazonaws.services.dynamodbv2.AmazonDynamoDB;
import com.amazonaws.services.dynamodbv2.AmazonDynamoDBClient;
import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBMapper;
import com.bahadirakin.dynamodb.dao.UserRepository;
import com.bahadirakin.dynamodb.dao.UserRepositoryImpl;
import com.bahadirakin.dynamodb.model.User;

import java.io.InputStream;
import java.util.List;

public final class App {

    public static void main(String[] args) throws Exception {
        final InputStream properties = Thread.currentThread().getContextClassLoader()
                .getResourceAsStream("aws.properties");
        final AWSCredentials propertiesCredentials = new PropertiesCredentials(properties);

        final AmazonDynamoDB amazonDynamoDb = new AmazonDynamoDBClient(propertiesCredentials);
        amazonDynamoDb.setRegion(Region.getRegion(Regions.US_WEST_2));
        final DynamoDBMapper dynamoDBMapper = new DynamoDBMapper(amazonDynamoDb);
        final UserRepository userRepository = new UserRepositoryImpl(dynamoDBMapper);

        // Save
        final User user = new User();
        user.setUsername("bhdrkn");
        user.setEmail("bhdrkn@gmail.com");
        user.setPassword("1q2w3e");
        userRepository.put(user);

        // Read
        final User readUser = userRepository.get("bhdrkn");
        assert user.equals(readUser);

        // Read All
        final List<User> users = userRepository.findAll();
        assert users.contains(user);


        // Find by email
        final List<User> findUsers = userRepository.findByEmail("bhdrkn@gmail.com");
        assert findUsers.contains(user);

        // Find by email
        final List<User> notFound = userRepository.findByEmail("asdf");
        assert notFound.isEmpty();

        // Delete
        userRepository.delete("bhdrkn");
        final List<User> all = userRepository.findAll();
        assert all.isEmpty();

        System.out.println("Finished!");
    }
}

package com.bahadirakin.dynamodb;

import com.amazonaws.auth.AWSCredentials;

import com.amazonaws.auth.PropertiesCredentials;

import com.amazonaws.regions.Region;

import com.amazonaws.regions.Regions;

import com.amazonaws.services.dynamodbv2.AmazonDynamoDB;

import com.amazonaws.services.dynamodbv2.AmazonDynamoDBClient;

import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBMapper;

import com.bahadirakin.dynamodb.dao.UserRepository;

import com.bahadirakin.dynamodb.dao.UserRepositoryImpl;

import com.bahadirakin.dynamodb.model.User;

import java.io.InputStream;

import java.util.List;

public final class App {

public static void main(String[] args) throws Exception {

final InputStream properties = Thread.currentThread().getContextClassLoader()

.getResourceAsStream("aws.properties");

final AWSCredentials propertiesCredentials = new PropertiesCredentials(properties);

final AmazonDynamoDB amazonDynamoDb = new AmazonDynamoDBClient(propertiesCredentials);

amazonDynamoDb.setRegion(Region.getRegion(Regions.US_WEST_2));

final DynamoDBMapper dynamoDBMapper = new DynamoDBMapper(amazonDynamoDb);

final UserRepository userRepository = new UserRepositoryImpl(dynamoDBMapper);

// Save

final User user = new User();

user.setUsername("bhdrkn");

user.setEmail("bhdrkn@gmail.com");

user.setPassword("1q2w3e");

userRepository.put(user);

// Read

final User readUser = userRepository.get("bhdrkn");

assert user.equals(readUser);

// Read All

final List<User> users = userRepository.findAll();

assert users.contains(user);

// Find by email

final List<User> findUsers = userRepository.findByEmail("bhdrkn@gmail.com");

assert findUsers.contains(user);

// Find by email

final List<User> notFound = userRepository.findByEmail("asdf");

assert notFound.isEmpty();

// Delete

userRepository.delete("bhdrkn");

final List<User> all = userRepository.findAll();

assert all.isEmpty();

System.out.println("Finished!");

}

Son

Yularıdaki adımlardan sonra uygulamanızın sorunsuz bir şekilde çalışması gerekiyor. Uygulamanın tamamına aşağıdaki adresten ulaşabilirsiniz.

https://github.com/bhdrkn/Java-Examples/blob/master/aws-dynamodb-tutorial/

AWS: DynamoDB Java API

Hazırlık

Maven ve Bağımlılıklar

AWS Yetkilendirmesi

Veritabanının Yaratılması

Uygulamanın Geliştirilmesi

Modelin Geliştirilmesi

DAO Katmanı

Uygulama

Paylaş:

Machine Learning Uygulaması: Servisler

Machine Learning Uygulaması: Modelin Oluşturulması

Machine Learning Uygulaması: Giriş

AWS: DynamoDB için Testlerin Yazılması