2020-04-03

InfluxDBに配列データは入れられない(bitFlyerの板情報を記録したい)

そもそもデータベースは項目数が可変する設計はできないはず。bitFlyerの配列で入ってくる板情報を使い設計を考える。

入ってくるデータ

投資に関係ないユーザーでも参考になるようにデータに関して少し説明する。

次のようなJSONデータを時系列DBで正しく扱えるのか、という命題だ。

// message
{
  "mid_price": 33320,
  "bids": [
    {
      "price": 30000,
      "size": 0.1
    },
    {
      "price": 25570,
      "size": 3
    }
  ],
  "asks": [
    {
      "price": 36640,
      "size": 5
    },
    {
      "price": 36700,
      "size": 1.2
    }
  ]
}

★公式に掲載されているサンプルを引用

配列になっている

ここで問題なのは bid と ask が配列になっていることだ。通常データーベースでこのような一対多のデータを扱う場合はテーブルを分けて扱うはずだが、これはそういうDBではない。

試しにやってみる

１つのテーブルに複数のデータが入れられないかやってみる。次のようなスキーマを定義する。

★Node.jsのためJavaScriptの構文で進める。

    const influx = new Influx.InfluxDB({
        host: 'localhost',
        database: 'bitFlyer_db',
        schema: [
            {
                measurement: 'lightning_board_snapshot_FX_BTC_JPY',
                fields: {
                    mid_price: Influx.FieldType.INTEGER,
                    bids: [
                        {
                            price: Influx.FieldType.INTEGER,
                            size: Influx.FieldType.FLOAT
                        }
                    ],
                    asks: [
                        {
                            price: Influx.FieldType.INTEGER,
                            size: Influx.FieldType.FLOAT
                        }
                    ]
                },
                tags: [
                ]
            }
        ]
    })

え？配列は登録できないの？

できないのである。

例えば上のような定義を行って次のコードでデータを送るとエラーだ。

なおデータはmessageという変数に格納されて送られてくるとする

  influx.writePoints([
      {
          measurement: 'lightning_board_snapshot_FX_BTC_JPY',
          tags: {},
          fields: {
              mid_price: message.mid_price,
              asks: [...message.asks], //asks: message.asks でももちろんだめ
              bids: [...message.bids],
          },
      }

スプレッド構文がだめとかそういうのは関係なくだめなのだ。

英語フォーラムにも同じ質問をしているページがあり「できないよ（1個づつ分け定義してね）」と解答されている。

どうしたらいいのか

今回は次の方法で対応という解決策しか浮かばなかった。

スキーマの定義

    schema: [
        {
            measurement: 'lightning_board_snapshot_FX_BTC_JPY',
            fields: {
                mid_price: Influx.FieldType.INTEGER,
                asks: Influx.FieldType.STRING,
                bids: Influx.FieldType.STRING,
            },
            tags: []
        }
    ]

asks と bids を単なる string と定義する。

データの登録

  const asks = JSON.stringify(message.asks)
  const bids = JSON.stringify(message.bids)    
  influx.writePoints([
      {
          measurement: 'lightning_board_snapshot_FX_BTC_JPY',
          tags: {},
          fields: {
              mid_price: message.mid_price,
              asks: asks,
              bids: bids,
          },
      }