List.ofがJacksonでdeserializeできない話

こんにちは。 エキサイト株式会社の三浦です。

JavaにはJacksonというライブラリがあり、Javaコード上のデータをJSONに変換したり(serialize)、逆にJSONJavaコード上のデータに変換したり(deserialize)してくれます。 今回は、このJacksonを使った時にある条件下で詰まった話をしていきます。

Jackson

Jacksonは、Githubのページで以下のように定義されています。

Jackson has been known as "the Java JSON library" or "the best JSON parser for Java". Or simply as "JSON for Java".

端的に言えばJava用のJSONライブラリで、JSONJavaコード上データの相互変換等をしてくれます。 例えば、APIでリクエスト元にデータを返す時にJavaコード上のデータをJSONに変換してから返したり、キャッシュ保存時にデータをJSON化してから保存し、逆にキャッシュからデータを取得する時にJSONJavaコード上のデータに変換する、などで使われたりします。

大体のデータであればJacksonを使えば相互変換ができるのですが、実はまだ対応していない条件があります。 それが List.of です。

List.of と Jackson

List.of はJava9から追加されたメソッドで、immutableなリストを提供してくれます。 すなわち、 List.of で定義したリストは追加や削除、更新することができず、安全に取り扱えるため、非常に使い勝手がよいわけです。

List<String> sampleList = List.of("a", "b");

// 追加できない
sampleList.add("c");

ただ、残念ながらこの List.of はJacksonには対応していません。

// SAMPLE_KEYを使ってキャッシュする
@Cacheable(cacheNames = CacheKeyType.SAMPLE_KEY)
public List<String> getSampleList() {
    return List.of("a", "b");
}

このようにキャッシュをすると、キャッシュからデータを取得する時に Could not read JSON が発生します。 キャッシュデータを見ると以下のように保存されています。

["a", "b"]

一見問題ないように見えますが、実はJacksonではJSON化する際に変換元データの型も保存するようになっており、それをJSONから戻す際に使用するという仕様になっています。 List.of では型を保存してくれないので、Jacksonでは戻すことができないのです。

また、 List.of の使い方によっては型を保存してくれる場合もあるのですが、どうやら List.of で作られた型はまだJacksonで対応されていない型のようで、いずれにしろエラーが起きてしまいます。

解決方法

もっとも安易な解決方法は、 List.of を使わないことでしょう。 例えば上記であれば、 List.of の代わりに Arrays.asList を使うことができます。

// SAMPLE_KEYを使ってキャッシュする
@Cacheable(cacheNames = CacheKeyType.SAMPLE_KEY)
public List<String> getSampleList() {
    return Arrays.asList("a", "b");
}

こちらだとキャッシュでは、以下のように保存されます。

[
    "java.util.Arrays$ArrayList",
    ["a", "b"]
]

こちらであればJacksonに対応している型が保存されるため、Jacksonで問題なく戻すことができます。

可能であれば、

// 空リストを作るとき
Collections.emptyList();

// 1件だけのリストを作るとき
Collections.singletonList("a");

// 2件以上のリストを作るとき
Arrays.asList("a", "b");

とできると、空・1件のみのリストはimmutableになるのでおすすめです。

最後に

List.of は非常に便利ですが、このように落とし穴があるため気をつける必要があります。 状況に合わせて使い分けていきましょう。

なお、2021年9月6日現在では List.of がJacksonで使用できませんが、今後のアップデートで使用できるようになる可能性があります。 また、見つけられていないだけで、実は現状でも使えるようになる設定がある可能性もあります。

あらかじめご了承下さい。

Nimを使ってGUIアプリケーションを作成してみる

今回のあらすじ

前回の記事、「Nim言語を使って簡単に文章の類似度を計算してみる」の続きになります。
今回は文章の類似度を計算するGUIアプリケーションに挑戦していきます。

NiGUI

NiGUIは「cross-platform desktop GUI toolkit」ということで、
Windows, Mac, Linuxで動作するGUI用のライブラリです。
https://github.com/trustable-code/NiGui

アプリケーションを作成する

NiGUIのインストール

nimble install nigui

Macの場合

MacでNiGUIを利用しようとすると、
could not load: libgtk-3.0.dylib
と怒られることがあります。

その場合はbrewなどで必要なライブラリを入れてあげます。

brew install libgtk

準備

せっかくなので前回のコードを使いまわしましょう。
Nim言語を使って簡単に文章の類似度を計算してみるのコードを「ngram.nim」、
今回のコードを「nigui_test.nim」として以下のように保存します。

f:id:taanatsu:20210830183349p:plain

ngram.nimの中身

一応コピペができるように前回のコードをこちらに記載しておきます。
まだ読んでない方はぜひNim言語を使って簡単に文章の類似度を計算してみるを読んでみてくださいね!

import unicode
import tables
import math

proc createNGram*(n: int, text: string): seq[string] =
    ##
    ## n-gramデータを作成します
    ## 
    ## n: n-gramのnに当たる数値
    ## text: n-gramに分解(コーパス)したい文字列
    
    # マルチバイト文字列を扱えるようにテキストをルーン化する(Goとかにもある、アレ)
    let runeText = text.toRunes()

    # 何文字目まで連結させたかを保持しておく変数(Runeは1文字ずつ扱うため、indexでどこまで扱ったかをカウントしておく)
    var index = 0
    # n-gramで何文字ずつの文字列(コーパス)にするかを決めるためのカウント変数
    var cnt = 0
    # n-gramでの文字列を作成する際に利用するtmp変数
    var tmp: string

    while true:
        # cntがn-gramの指定文字数を超えたらそこで切り出す(安全のため<=としている)
        if n <= cnt:
            # resultは暗黙変数(nimでは返り値を定義すると自動的にresult変数が生成される)
            result.add(tmp)

            tmp = ""
            cnt = 0

            # n-gramの特性上一つ前の文字をもう一度利用するので、n-1をしている
            index = index - (n - 1)
            
        
        if text.runeLen() <= index:
            break
        
        # 1文字ずつ連結していく
        tmp = tmp & $runeText[index]

        cnt = cnt + 1
        index = index + 1


proc tf*(corpus: seq[string]): Table[string, int] =
    ##
    ## コーパスの中のTFを計算します
    ## 
    ## corpus: コーパスが格納されたseq配列を指定します

    for c in corpus:
        # 連想配列にその単語があれば1加算、なければその連想配列のキーを作成し、1を代入
        if result.hasKey(c):
            result[c] += 1
        else:
            result[c] = 1

proc cosineSimilarity*(text1: string, text2: string, ngramNum: int): float =
    ##
    ## 文章の類似度を調べます
    ## 
    ## text1: 1つ目の文章
    ## text2: 2つ目の文章
    ## ngramNum: 何gramにテキストを分解するか
    ##

    # 文章をそれぞれコーパスに分解します
    let text1Copus = createNGram(ngramNum, text1)
    let text2Copus = createNGram(ngramNum, text2)

    # text2のTF値を求めます
    let text2Tf = tf(text2Copus)

    # コサイン類似度の計算に必要な分子分母の変数
    var c = 0.0
    var m1 = 0.0
    var m2 = 0.0

    for t1c in text1Copus:
        # text2のコーパスにtext1のコーパスがあるかないかで類似度を計算することにします
        # text2のコーパスにtext1のコーパスがあれば1、なければ0を使います
        var n = 0.0
        if text2Tf.hasKey(t1c):
            n = 1.0
        
        # コサイン類似度に利用する分子分母の数値を計算
        c += (1 * n)
        m1 += 1 * 1
        m2 += n * n
    
    # コサイン類似度の計算
    if m1 == 0 or m2 == 0:
        return 0
    result = c / round(sqrt(m1) * sqrt(m2))

GUIの作成

NiGUIを使ってGUIを作成していきます。

import nigui

app.init()

# ウインドウの作成
var window = newWindow("テキストの類似度を計算する")
# ウインドウのサイズを設定
window.width = 600.scaleToDpi
window.height = 265.scaleToDpi

# ボタンなどを表示する領域の作成
var container = newContainer()
window.add(container)

# テキストエリアを作成
var textArea1 = newTextArea()
container.add(textArea1)
textArea1.x = 0
textArea1.y = 0
textArea1.width = 290
textArea1.height = 200

# テキストエリアを作成
var textArea2 = newTextArea()
container.add(textArea2)
textArea2.x = 310
textArea2.y = 0
textArea2.width = 290
textArea2.height = 200

# 類似度計算ボタンを作成
var calcButton = newButton("類似度の計算")
container.add(calcButton)
calcButton.x = 480
calcButton.y = 220
calcButton.width = 100
calcButton.height = 35

window.show()
app.run()

上記のコードを実行してみます。

$ nim c -r nigui_test.nim

すると、以下のような画面が生成されます。
f:id:taanatsu:20210830183542p:plain

これでGUIの基盤ができました。

ボタンを押したら類似度を計算し、表示させる

Nim言語を使って簡単に文章の類似度を計算してみるのコード(ngram.nim)を読み込みます。

import ngram

次にボタン押下時の処理を追加します。

# 類似度計算ボタン押下時の処理
calcButton.onClick = proc(event: ClickEvent) =
  let textArea1Text = textArea1.text
  let textArea2Text = textArea2.text

  # 2つの文章の類似度を計算
  let similarity = ngram.cosineSimilarity(textArea1Text, textArea2Text, 2)

  # メッセージボックスで、計算した類似度を表示
  window.alert("2つの文章の類似度は" & $similarity & "です。")

これで準備が完了です。
全体のコードを以下に記載いたします。

import nigui
import ngram


app.init()

# ウインドウの作成
var window = newWindow("テキストの類似度を計算する")
# ウインドウのサイズを設定
window.width = 600.scaleToDpi
window.height = 265.scaleToDpi

# ボタンなどを表示する領域の作成
var container = newContainer()
window.add(container)

# テキストエリアを作成
var textArea1 = newTextArea()
container.add(textArea1)
textArea1.x = 0
textArea1.y = 0
textArea1.width = 290
textArea1.height = 200

# テキストエリアを作成
var textArea2 = newTextArea()
container.add(textArea2)
textArea2.x = 310
textArea2.y = 0
textArea2.width = 290
textArea2.height = 200

# 類似度計算ボタンを作成
var calcButton = newButton("類似度の計算")
container.add(calcButton)
calcButton.x = 480
calcButton.y = 220
calcButton.width = 100
calcButton.height = 35

# 類似度計算ボタン押下時の処理
calcButton.onClick = proc(event: ClickEvent) =
  let textArea1Text = textArea1.text
  let textArea2Text = textArea2.text

  # 2つの文章の類似度を計算
  let similarity = ngram.cosineSimilarity(textArea1Text, textArea2Text, 2)

  # メッセージボックスで、計算した類似度を表示
  window.alert("2つの文章の類似度は" & $similarity & "です。")


window.show()
app.run()

動作

f:id:taanatsu:20210830183438p:plain

おわりに

さて、一通りソフトウェアの開発ができました。
Nimはなかなかおもしろい言語ですので、よかったらはまってみてください!
(Excite内でもはまっている人もいます!)

では、また次回!

Terraformの「Objects have changed outside of Terraform」について

こんにちは。 エキサイト株式会社の三浦です。

AWSGCPで環境を構築するとき、Terraformを使用する方も多いかと思います。 今回は、Terraformでたまに起きる「Objects have changed outside of Terraform」について説明していきます。

Terraformとは

Terraformは、公式では以下のように紹介されています。

Terraform is an open-source infrastructure as code software tool that provides a consistent CLI workflow to manage hundreds of cloud services.

端的に言えば「クラウドサービス用のIaC」と言ったところで、AWSGCPなどのクラウドサービスで環境構築する際に、Webコンソール上で作成するのではなくコードとして作成・管理することで、環境構築の再現性を担保したり、コード自体にドキュメントとしての意味を持たせたものになります。

Terraformを実行すると、コードで記述したサービスがクラウドサービス上に作成され、同時に初回実行であれば現在のサービスの状態を保存するための状態管理ファイルが作成されます。 2回目以降にTerraformを実行する場合は、状態管理ファイルを使用することで、前回の実行時との差分などを判定します。

基本的には、コードを全く変更せずに2回連続でTerraformを実行した場合、クラウドサービスの実態と状態管理ファイルの中身には差分は無いはずです。 ですが、たまに「変更された」判定が起きる場合があります。

Objects have changed outside of Terraform

コードが変更されていないにもかかわらず「変更された」判定が起きる場合、「Objects have changed outside of Terraform」というメッセージが表示されます。 このとき、原因としては以下の2点が考えられます。

  1. Terraformを使わずに、以前Terraformで作成したサービスを変更した
  2. それ以外

1の、「Terraformを使わずに、以前Terraformで作成したサービスを変更した」であれば話は簡単で、Terraformのコードを変更された後の状態に修正するか、もしくは修正せずにTerraformを実行することで現状のTerraformのコードの状態にサービス側を戻せば良いでしょう。 もしTerraform外で変更されるのが必然的な状況であれば、 ignore_changes という設定を使い、該当部分の変更をTerraform側で関知しないようにするのもいいかもしれません。

問題は、2の「それ以外」の場合です。

「それ以外」の場合、考えられるパターンとしては

  • 一度のTerraformの実行で複数サービスが作成されるとき、サービス作成順の関係で初回実行ではサービスの状態が完全には状態管理ファイルに反映されず、2回目の実行で「変更された」判定となってしまう
  • 作成に改行文字などを使用するサービスの場合、環境ごとの改行文字の細かい違いによって、サービスで実際に保存されている文字列と状態管理ファイルに保存されている文字列が違っており、2回目の実行で「変更された」判定となってしまう

などが挙げられ、おそらく上記以外にも様々なパターンがあると思われます。

f:id:excite-takayuki-miura:20210830114847p:plain
「それ以外」の例

もちろん可能であればこの表示が出ないようにTerraformを修正したいところですが、なかなか修正が難しいというのが現状だと思います。 こういった場合は、 terraform applyterraform apply -refresh-only などで状態管理ファイルを更新するのが現状だと現実解でしょう。

最後に

初めてこういった差分が出ると、何かミスをしてしまったのかと思ってしまうのではないでしょうか。 そのような状況のときに、この記事が役に立てれば幸いです。

なお上記は Terraform v1.0.5 にて確認したメッセージなので、バージョンが上がることでメッセージが変わったり、もしかしたらこういった差分は起こらないようになっていく可能性があります。 あらかじめご了承ください。

sql serverのflywayの設定について

ご無沙汰しています。株式会社エキサイトの中尾です。

sql serverの本番のデータベースの定義をローカル環境のdockerに再現する際に罠にかかったのでその内容を記載します。

なお、復旧にはflywayを使用します。

やりたいことは以下です。

  • ローカル環境にsql serverを立てる
  • 本番環境のTBL定義を読み込ませる

です。

まず、TBL定義を持ってきます。MSSMSを使用してバックアップスクリプトから取得します。

ここまではうまくいきます。

ローカルに持ってきてflywayを実行するとエラーになります。

以下の対応をすると、flywayが実行されました。

mysqldumpみたいに一回でできたら嬉しいですが、難しいようです。

WITH句の使い方

エキサイトのしばたにえんです。 sqlのWITH句をこないだ初めて使いましたのでその使い方を紹介いたします。

でWITH句を使用することができます。

使い方

以下のような商品販売テーブル(sales)があるとします

code sales_date item_count
A00003 2021-05-17 10:30:00.000 2
A00001 2021-05-17 10:20:00.000 3
A00002 2021-05-17 10:15:00.000 3
A00003 2021-05-17 10:10:00.000 4
A00001 2021-05-17 10:08:00.000 3
A00002 2021-05-17 10:05:00.000 3
A00001 2021-05-17 10:03:00.000 3
SELECT 
    * 
FROM
    sales;

このテーブルにcode毎にitem_countを合計した値も追加して取得する必要があるとします。

code sales_date item_count sum_count
A00003 2021-05-17 10:30:00.000 2 6
A00001 2021-05-17 10:20:00.000 3 9
A00002 2021-05-17 10:15:00.000 3 6
A00003 2021-05-17 10:10:00.000 4 6
A00001 2021-05-17 10:08:00.000 3 9
A00002 2021-05-17 10:05:00.000 3 6
A00001 2021-05-17 10:03:00.000 3 9
-- WITH句を使わない場合
SELECT
    sales.*,
    sum_count
FROM
    sales
JOIN (
    SELECT
        SUM(item_count) AS sum_count,
        code
    FROM
        sales
    GROUP BY
        code
) AS sub_sales
ON
    sales.code = sub_sales.code;

これで取得することができますが、 JOIN句の中に、SELECT句があるので読みにくいです。

WITH句を使った場合

-- WITH句を使う場合
WITH alias AS (
    SELECT
        SUM(item_count) AS sum_count,
        code
    FROM
        sales
    GROUP BY
        code
)
SELECT
    sales.*, alias.sum_count
FROM
    sales
JOIN
    alias
ON
    sales.code = alias.code

WITH句にあるSQL文は、その後のSELECT句より先に実行されます。 WITH句を使わない場合に比べ、JOINにあるSELECT句が外に出るので見やすくなっています。

使う機会があれば使ってみるといいかもしれません。

gradleからgradle実行

こんばんは。エキサイト株式会社中尾です。

gradleからjibを実行する時引数でいろいろ指定すると思いますが、めんどくさいですよね?

※例ではspring.profiles.activeしか指定していません。

./gradlew jib -Djib.container.args=--spring.profiles.active=dev -Djib.to.image=$IMAGE

個人的にargsとか、環境ごとには変わりますが基本コマンド変わらないと思います。 ということ、私は以下のような形でgradleからgradleを実行します。

./gradlew apiAuthBuild -Ptag= bugfix/test

コマンドを実行する前に、aws configreは設定しています。 DOCKER_CONFIGを指定することでloginした際のcredentialsを別ディレクトリに保存ができます。

ext repositoryDev = hoge
ext repositoryNameApiAuth = hogehoge

task apiAuthBuild(type: Exec) {
    doFirst {
        def tag = getProperty('tag').replaceAll( "/","-" )
        def apiAuth = repositoryDev + "/" + repositoryNameApiAuth + ":" + tag
        def ecrLogin = "aws ecr get-login-password | docker login --username AWS --password-stdin " + repositoryDev
        environment "DOCKER_CONFIG" , System.getProperty("user.dir") + "/.docker"
        executable "sh"
        args "-c", ecrLogin + " && " +
                "./gradlew api-auth:jib " +
                "      -Djib.container.args=--spring.profiles.active=dev " +
                "      -Djib.to.image=" + apiAuth

    }
}

aws configreさえ設定していれば、ローカルからでもjenkinsからでもどこでも実行できて便利になると思います。 リリースコマンドはツールに依存しない形にするととても便利になると思います。

Jetpack ComposeのContentColorを活用する

こんにちは。エキサイト株式会社 Androidエンジニアの克です。

今回は、ContentColorを使って色の変更をシンプルにするお話をします。

まずは普通に要素を表示してみる

とりあえず適当なアイコンとテキストを表示するコードを用意しました。

Box(
    modifier = Modifier.fillMaxSize(),
    contentAlignment = Alignment.Center,
) {
    Column {
        Row(
            modifier = Modifier.padding(8.dp),
            verticalAlignment = Alignment.CenterVertically,
        ) {
            Icon(
                imageVector = Icons.Rounded.Android,
                contentDescription = null,
            )
            Text(text = "サンプル1")
        }
        Row(
            modifier = Modifier.padding(8.dp),
            verticalAlignment = Alignment.CenterVertically,
        ) {
            Icon(
                imageVector = Icons.Rounded.Android,
                contentDescription = null,
            )
            Text(text = "サンプル2")
        }
    }
}

こちらを実行すると次のような画面になります。 f:id:katsuhiro-ito:20210826173914p:plain:w320

もしこの状態で「上側の要素の背景を黒くしたい」という要件が出てきたらどのようにするでしょうか。

単純にRowの背景を黒くしてみます。

---
Row(
    modifier = Modifier
        .background(Color.Black)
        .padding(8.dp),
    verticalAlignment = Alignment.CenterVertically,
) { 
---

f:id:katsuhiro-ito:20210826173923p:plain:w320

アイコンとテキストは黒のままなので、当然ですが見えなくなってしまいます。

そのためアイコンとテキストの色も変えていきます。

---
Icon(
    imageVector = Icons.Rounded.Android,
    contentDescription = null,
    tint = Color.White,
)
Text(
    text = "サンプル1",
    color = Color.White,
)
---

f:id:katsuhiro-ito:20210826173932p:plain:w320

これで要件を満たすことはできましたが、このやり方には下記のような問題点があります。

  • 要素が増えた場合、全ての要素に色の設定をする必要がある
  • 設定の漏れにより、意図しない表示になりやすい

ContentColorを使うようにすると、こういった問題を解決することができます。

ContentColorとは

既存で用意されているComposableの多くは、デフォルトでContentColorを参照するものが多いです。

@Composable
fun Icon(
---
    tint: Color = LocalContentColor.current.copy(alpha = LocalContentAlpha.current)
)
@Composable
fun Text(
---
) {
    val textColor = color.takeOrElse {
        style.color.takeOrElse {
            LocalContentColor.current.copy(alpha = LocalContentAlpha.current)
        }
    }

例であげたものでは LocalContentColor.currentが使われています。

こちらは現在設定されているContentColorを参照するというもので、このContentColorを変更してあげれば自動的に要素に反映されるということになります。

ContentColorを使ってみる

先程のコードを、ContentColorを使用したものに変更してみましょう。

鍵となるのはSurfaceです。

SurfaceBoxなどと同様に要素を配置できるものですが、名前の通り要素の下に敷くような用途で使用します。

Surfaceでは自身の色とともに、ContentColorを設定することもできるので今回はこちらを活用していきます。

公式のドキュメントでも、背景色の設定にはSurfaceを使用することが記載されています。

developer.android.com

要素の背景色を設定する際は、Surface を使用することをおすすめします。Surface は適切なコンテンツ色を設定します。Modifier.background() で直接呼び出すと適切なコンテンツ色が設定されないため、ご注意ください。

先程のコードをSurfaceに置き換えたものが下記となります。

Surface(
    color = Color.Black,
    contentColor = Color.White,
) {
    Row(
        modifier = Modifier.padding(8.dp),
        verticalAlignment = Alignment.CenterVertically,
    ) {
        Icon(
            imageVector = Icons.Rounded.Android,
            contentDescription = null,
        )
        Text(text = "サンプル1")
    }
}

要素自体に色を指定する必要がなくなったので、どれだけ要素が増えようとも困ることはありませんね。

最後に

個別の対応や同じコードの繰り返しを多用すると、仕様の変更に対応しにくくなったり人為的なミスが発生しやすくなります。 フレームワークが用意してくれている共通化できるような機能を積極的に活用していくようにしましょう。