postgresqlのcsvエクスポートとインポート

usersというテーブルに以下のようなレコードがあった。

                id                |               name
----------------------------------+----------------------------------
 paul                             | Paul McCartney
 pete                             | Pete Townshend
 john2                            | John Ryden
 bob                              | Bod Dylan
 john                             | John Lennon

bobの名前が間違っている。 Bob Dylanに直したい。 Excelあるいはテキスト感覚で直接テーブルを開いて書き換えたいところだが、 それはできない（よね？） csvでエクスポートインポートできるようなのでやってみた。

monqy=# COPY users TO '/var/lib/pgsql/users.csv' WITH CSV DELIMITER ',';
COPY 5

出力先は当然ながら書き込み権限が必要で、書き込み先に権限を与える（postgresの）か、書き込み権限のある場所にエクスポートする。 さっきのBob Dylanを直してインポートしようとしたら

monqy=# COPY users FROM '/var/lib/pgsql/users.csv' with csv;
ERROR:  duplicate key value violates unique constraint "users_pkey"
DETAIL:  Key (id)=(paul                            ) already exists.
CONTEXT:  COPY users, line 1

1件目の登録で already exists のエラーが。 上書きするオプションみたいなものは無いようで、一時的に作ったテーブルにインポートしてそこからupdateするとかいうことが必要らしい。 しょうがないので updateで更新。

monqy=# UPDATE users set name = 'Bob Dylan' where id = 'bob';
UPDATE 1
monqy=# select id,name from users;
                id                |               name
----------------------------------+----------------------------------
 paul                             | Paul McCartney
 pete                             | Pete Townshend
 john2                            | John Ryden
 john                             | John Lennon
 bob                              | Bob Dylan
(5 rows)

更新後のテーブルを表示すると更新したレコードが最後になっている。 削除・登録になっているのか？

psycopg2 検索cgi

DBといえば検索だよね。

私は何かを探す場合はほとんどシーケンシャル処理で正規表現でさがす。
あつかうデータがいろいろでフォーマットも不明な場合が多いからだ。
でもDBがあるなら、キーで検索すれば瞬時に見つかる。


検索フォーム

<!DOCTYPE html>
<html>
<head>
<title>dbq</title>
</head>
<body>
<form action="/cgi-bin/dbq.py" method="POST">
  <input type="text" name="text" value="id" />
  <input type="submit" name="submit" />
</form>
</body>
</html>

検索cgi

dbq.py

#!/usr/bin/python

import cgi
import psycopg2
import psycopg2.extras
import os

path = "localhost"
port = "5432"
dbname = "monqy"
user = "postgres"
password = "hogehoge"

pg_params = "host={} port={} dbname={} user={} password={}"
pg_params = pg_params.format(path,port,dbname,user,password)

connection = psycopg2.connect(pg_params)
cur = connection.cursor(cursor_factory=psycopg2.extras.DictCursor)

html_body = """
<!DOCTYPE html>
<html>
<head>
<title>your query</title>
<style>
h1 {
font-size: 3em;
}
</style>
</head>
<body>
<h1>%s</h1>
</body>
</html>
"""

form = cgi.FieldStorage()
qtext = form.getvalue('text','')

cur.execute('SELECT * FROM Users WHERE id = %s', (qtext,))

results = cur.fetchone()

if results is None:
        text = "not found"
else:
        text = results['name']

cur.close
connection.close

print(html_body % (text))

テーブル users から、idというフィールドが検索文字列と一致するレコードを探し、
一致しなければ「not found」、一致すればそのレコードの name フィールドを表示する。

単純な動作なのでフォームや実行結果を表示するまでもないでしょう。

このテーブルはid がkeyであり重複するレコードはないので fetchoneを使っている。

「レコードが見つからない場合」をどう書くのか、少し探した。
見つからない場合に results をそのまま表示すると「None」となることはわかったのだが、
results eq None
とか
results == "None"
ではダメで、
正しくは
results is None
であった。

python3のcgiでpostgresqlのデータを参照する @CentOS8

pythonからpostgresqlを使うためのライブラリとして psycopg2というものがよく使われているようである。 

エラーが出ては足りないものをインストールした結果、 以下が必要であった。

dnf install postgresql-devel
dnf install gcc
dnf install python3-devel
pip install psycopg2

pythonでcgiが動くことはすでに確認済み。 

OSはCentOS8、pythonは3.6.8である。 

以下がpostgresqlのDBに登録されている内容を表示するcgiの例である。 

ローカル（cgiを実行しているサーバ）にある、 

monqy というデータベースの、 usersというテーブルに登録されているレコードの、 nameという項目の内容を、すべて表示する。

   

#!/usr/bin/python

import cgi
import psycopg2
import psycopg2.extras
import os

path = "localhost"
port = "5432"
dbname = "monqy"
user = "postgres"
password = "hogehoge"

pg_params = "host={} port={} dbname={} user={} password={}"
pg_params = pg_params.format(path,port,dbname,user,password)

sql = """select * from users"""

print('Content-Type: text/html; charset=utf-8')
print('')
print('')

connection = psycopg2.connect(pg_params)
cur = connection.cursor(cursor_factory=psycopg2.extras.DictCursor)
cur.execute(sql)

results = cur.fetchall()
for row in results:
        print(row['name'])
        print("
")

cur.close
connection.close

print("")

この例ではDBの内容を辞書形式で取得することによって、項目名で値を取り出している。 

せっかくDBを使っているのに名前を使わないなんてわざわざライブラリを使う意味がないだろうから辞書形式で取得するのは必須だろう。

postgresqlをインストールしテーブルにデータを登録するまで（postgresql on CentOS8）

インストール

# dnf install postgresql

サーバーをインストール

# dnf install postgresql-server


初期化

# postgresql-setup initdb


設定ファイル変更
# cd /var/lib/pgsql/data/

デフォルト設定をバックアップ
# cp postgresql.conf postgresql.conf.org

# vi /var/lib/pgsql/data/postgresql.conf

最後の行に1行追加

  ....
  # CUSTOMIZED OPTIONS
  #------------------------------------------------------------------------------
  # Add settings for extensions here
  listen_addresses = '*'


もう一個設定ファイル変更

# cd ../data
# pwd
/var/lib/pgsql/data

# cp pg_hba.conf pg_hba.conf.org
# vi pg_hba.conf

以下のように変更
# cat pg_hba.conf

  # PostgreSQL Client Authentication Configuration File
  # ===================================================
　local   all     all                     trust
  host    all     all     127.0.0.1/32    trust
  host    all     all     ::1/128         trust




postgresqlを再起動

# systemctl restart postgresql

active(running) になる。

# systemctl status postgresql

● postgresql.service - PostgreSQL database server

   Loaded: loaded (/usr/lib/systemd/system/postgresql.service; disabled; vendor preset: disabled)

   Active: active (running) since Sat 2020-02-15 13:58:56 JST; 1s ago

  Process: 14332 ExecStartPre=/usr/libexec/postgresql-check-db-dir postgresql (code=exited, status=0/SUCCESS)
（以下略）


接続

# psql -U postgres -h 127.0.0.1 -w
psql (10.6)
Type "help" for help.

postgres=#

^Zで抜ける


パスワード変更

# psql -U postgres -c "ALTER ROLE postgres WITH PASSWORD 'hogehoge'"
ALTER ROLE

データベース作成


#psql -U postgres -W -c "CREATE DATABASE my_db";
Password for user postgres:

CREATE DATABASE

データベースを指定して接続

psql -U postgres my_db
my_db=#

Users というテーブルを作る

my_db=# create table Users (
my_db(#   userid         char(032)     primary key,
my_db(#   fullname       char(100),
my_db(#   phonenum       char(11),
my_db(#   postal         char(7),
my_db(#   created        timestamp,
my_db(# active boolean);
CREATE TABLE

my_db=#

確認

my_db=# \d
         List of relations
 Schema | Name  | Type  |  Owner
--------+-------+-------+----------
 public | users | table | postgres

(1 row)



テーブル定義を表示



my_db=# \d Users

                          Table "public.users"
  Column  |            Type             | Collation | Nullable | Default
----------+-----------------------------+-----------+----------+---------
 userid   | character(32)               |           | not null |
 fullname | character(100)              |           |          |
 phonenum | character(11)               |           |          |
 postal   | character(7)                |           |          |
 created  | timestamp without time zone |           |          |
 active   | boolean                     |           |          |
Indexes:
    "users_pkey" PRIMARY KEY, btree (userid)


テーブルにレコードを追加

my_db=# INSERT INTO Users(userid,fullname,created) VALUES ('john','John Lennon', current_timestamp);

INSERT 0 1

my_db=# INSERT INTO Users(userid,fullname,created) VALUES ('paul','Paul McCartney', current_timestamp);

INSERT 0 1


テーブルのレコードを表示



my_db=# select * from Users;

   userid   |   fullname      | phonenum | postal |     created                | active
------------+-----------------+----------+--------+----------------------------+--------
 John       | John Lennon     |          |        | 2020-02-15 14:23:36.832459 |
 monqy      | Paul McCartney  |          |        | 2020-02-15 14:23:53.176765 |
(2 rows)


※実際は項目長の長さだけ表示されるので折り返して汚くなったが上記は見やすく整形してある。



とりあえず一つのテーブルが作成できた。

今度はこのDBの内容をCGIで表示してみる。
そして登録、修正、削除ができるようにする。