このブログを検索

2020/02/16

djangoとapacheの連携

# httpd -v
Server version: Apache/2.4.37 (centos)
Server built:   Dec 23 2019 20:45:34

/var/www 
で、djangoのプロジェクトを作る。

/var/www/kingyo
を作った。


mod_wsgiをインストール

dnf install python3-mod_wsgi


/usr/lib64/python3.6/site-packages/mod_wsgi/server
にある
mod_wsgi-py36.cpython-36m-x86_64-linux-gnu.so

/etc/httpd/modules
にコピーする。

/etc/httpd/conf.d

django.conf
を作る。

# cat django.conf
LoadModule wsgi_module modules/mod_wsgi-py36.cpython-36m-x86_64-linux-gnu.so

WSGIScriptAlias / /var/www/kingyo/kingyo/wsgi.py
WSGIPythonPath /var/www/kingyo/

<Directory /var/www/kingyo/kingyo>
<Files wsgi.py>
Require all granted
</Files>
</Directory>

/var/www/kingyo

wsgi.py
を作る。


# cat wsgi.py
#!/usr/bin/python
#coding:utf-8

import os
import sys

from django.core.wsgi import get_wsgi_application

sys.path.append("/var/www/kingyo")
sys.path.append("/var/www/kingyo/kingyo")

os.environ.setdefault("DJANGO_SETTINGS_MODULE", "kingyo.settings")


application = get_wsgi_application()


apache再起動

これでapacheのデフォルトサイトがdjangoで作ったサイトになる。

この時、2つほど問題が
1.管理ページにアクセスできない
2.1を解決した後、管理ページのcssが読み込まれない

1.の解決
djangoで作ったプロジェクトフォルダ、dq.sqlsite3、のownerをapacheに変える

2.の解決
settings.py
に以下を追記
STATIC_ROOT = os.path.join(BASE_DIR, "static")

下記を実行
python manage.py collectstatic

/etc/httpd/conf/httpd.conf
にaliasを追加

Alias /static/ /var/www/kingyo/static/

<Directory /var/www/kingyo/static>
    Require all granted
</Directory>

apacheをリスタート

なかなか認証にたどりつけない....
が、この管理サイトというものがすでにpython+djangoで認証しているのである。
これに一般ユーザを追加すればよいのだ。

そしてdjangoはさっきちらっとでてきたが、デフォルトでSQLiteを使っている。

つまり上記の設定により Apache + python + SQLite が動いているのだ。

そこでWSGIという仕組みが使われている。

dbは好きなものに変更でき、postgresqlも使える。









django

pythonのcgiでdbにアクセスできるようになった。
さあ、dbを使ってちょっとしたアプリケーションを作ってみたいが、
何をするにもサービスにログインする仕組みは必要だろう。
以前からログインの仕組みをやりたいと思っていた。
しらべるとdjangoを使った方法が紹介されていたので、
まずdjangoを使ってみる。

centos8, python3が前提


pip intall django

以下は適当な場所にフォルダを作り、そこで実行した。

プロジェクトの作成
# django-admin startprojects myproject

#cd myproject

アプリケーションの作成
#python manage.py startapp myapp

myapp/views.py を編集

from django.shortcuts import render

# Create your views here.

from django.http import HttpResponse

def index(request):
        return HttpResponse("Hello")


myproject/urls.py を編集、
import myapp.views を追加、
最後のところに作成したアプリケーションへのpathを追加

from django.contrib import admin
from django.urls import path
import myapp.views

urlpatterns = [
    path('admin/', admin.site.urls),
    path(r'', myapp.views.index, name='index')
]


myproject/myproject/settigs.py

にアクセスを許可するホスト名を追加する

ALLOWED_HOSTS = ['*']
で、なんでも許可

デフォルトは何も設定されていないので必ずエラーになる。

プロジェクトフォルダにある manage.pyを使って
migrate(設定の反映みたいなもの?)を実行

python manage.py migrate


アプリケーションを実行
xx.xx.xx.xxはサーバのグローバルIPアドレス
アドレスを指定しないと127.0.0.1になり、外部からアクセスできない。

python manage.py runserver xx.xx.xx.xx:8000


fierwall-cmdでtcp8000を開ける。

http://www.example.com:8000
にアクセス

Hello
と表示される。











postgresqlのcsvエクスポートとインポート

usersというテーブルに以下のようなレコードがあった。
                id                |               name
----------------------------------+----------------------------------
 paul                             | Paul McCartney
 pete                             | Pete Townshend
 john2                            | John Ryden
 bob                              | Bod Dylan
 john                             | John Lennon
bobの名前が間違っている。 Bob Dylanに直したい。 Excelあるいはテキスト感覚で直接テーブルを開いて書き換えたいところだが、 それはできない(よね?) csvでエクスポートインポートできるようなのでやってみた。
monqy=# COPY users TO '/var/lib/pgsql/users.csv' WITH CSV DELIMITER ',';
COPY 5
出力先は当然ながら書き込み権限が必要で、書き込み先に権限を与える(postgresの)か、書き込み権限のある場所にエクスポートする。 さっきのBob Dylanを直してインポートしようとしたら
monqy=# COPY users FROM '/var/lib/pgsql/users.csv' with csv;
ERROR:  duplicate key value violates unique constraint "users_pkey"
DETAIL:  Key (id)=(paul                            ) already exists.
CONTEXT:  COPY users, line 1
1件目の登録で already exists のエラーが。 上書きするオプションみたいなものは無いようで、一時的に作ったテーブルにインポートしてそこからupdateするとかいうことが必要らしい。 しょうがないので updateで更新。
monqy=# UPDATE users set name = 'Bob Dylan' where id = 'bob';
UPDATE 1
monqy=# select id,name from users;
                id                |               name
----------------------------------+----------------------------------
 paul                             | Paul McCartney
 pete                             | Pete Townshend
 john2                            | John Ryden
 john                             | John Lennon
 bob                              | Bob Dylan
(5 rows)
更新後のテーブルを表示すると更新したレコードが最後になっている。 削除・登録になっているのか?

psycopg2 検索cgi

DBといえば検索だよね。

私は何かを探す場合はほとんどシーケンシャル処理で正規表現でさがす。
あつかうデータがいろいろでフォーマットも不明な場合が多いからだ。
でもDBがあるなら、キーで検索すれば瞬時に見つかる。


検索フォーム
<!DOCTYPE html>
<html>
<head>
<title>dbq</title>
</head>
<body>
<form action="/cgi-bin/dbq.py" method="POST">
  <input type="text" name="text" value="id" />
  <input type="submit" name="submit" />
</form>
</body>
</html>
検索cgi

dbq.py


#!/usr/bin/python

import cgi
import psycopg2
import psycopg2.extras
import os

path = "localhost"
port = "5432"
dbname = "monqy"
user = "postgres"
password = "hogehoge"

pg_params = "host={} port={} dbname={} user={} password={}"
pg_params = pg_params.format(path,port,dbname,user,password)

connection = psycopg2.connect(pg_params)
cur = connection.cursor(cursor_factory=psycopg2.extras.DictCursor)

html_body = """
<!DOCTYPE html>
<html>
<head>
<title>your query</title>
<style>
h1 {
font-size: 3em;
}
</style>
</head>
<body>
<h1>%s</h1>
</body>
</html>
"""

form = cgi.FieldStorage()
qtext = form.getvalue('text','')

cur.execute('SELECT * FROM Users WHERE id = %s', (qtext,))

results = cur.fetchone()

if results is None:
        text = "not found"
else:
        text = results['name']

cur.close
connection.close

print(html_body % (text))

テーブル users から、idというフィールドが検索文字列と一致するレコードを探し、
一致しなければ「not found」、一致すればそのレコードの name フィールドを表示する。

単純な動作なのでフォームや実行結果を表示するまでもないでしょう。

このテーブルはid がkeyであり重複するレコードはないので fetchoneを使っている。

「レコードが見つからない場合」をどう書くのか、少し探した。
見つからない場合に results をそのまま表示すると「None」となることはわかったのだが、
results eq None
とか
results == "None"
ではダメで、
正しくは
results is None
であった。


2020/02/15

python3のcgiでpostgresqlのデータを参照する @CentOS8

pythonからpostgresqlを使うためのライブラリとして psycopg2というものがよく使われているようである。 

エラーが出ては足りないものをインストールした結果、 以下が必要であった。
dnf install postgresql-devel
dnf install gcc
dnf install python3-devel
pip install psycopg2

pythonでcgiが動くことはすでに確認済み。 
OSはCentOS8、pythonは3.6.8である。 

以下がpostgresqlのDBに登録されている内容を表示するcgiの例である。 

ローカル(cgiを実行しているサーバ)にある、 
monqy というデータベースの、 usersというテーブルに登録されているレコードの、 nameという項目の内容を、すべて表示する。
   
#!/usr/bin/python

import cgi
import psycopg2
import psycopg2.extras
import os

path = "localhost"
port = "5432"
dbname = "monqy"
user = "postgres"
password = "hogehoge"

pg_params = "host={} port={} dbname={} user={} password={}"
pg_params = pg_params.format(path,port,dbname,user,password)

sql = """select * from users"""

print('Content-Type: text/html; charset=utf-8')
print('')
print('')

connection = psycopg2.connect(pg_params)
cur = connection.cursor(cursor_factory=psycopg2.extras.DictCursor)
cur.execute(sql)

results = cur.fetchall()
for row in results:
        print(row['name'])
        print("
") cur.close connection.close print("")
この例ではDBの内容を辞書形式で取得することによって、項目名で値を取り出している。 

せっかくDBを使っているのに名前を使わないなんてわざわざライブラリを使う意味がないだろうから辞書形式で取得するのは必須だろう。

postgresqlをインストールしテーブルにデータを登録するまで(postgresql on CentOS8)

インストール

# dnf install postgresql

サーバーをインストール

# dnf install postgresql-server


初期化

# postgresql-setup initdb


設定ファイル変更
# cd /var/lib/pgsql/data/

デフォルト設定をバックアップ
# cp postgresql.conf postgresql.conf.org

# vi /var/lib/pgsql/data/postgresql.conf

最後の行に1行追加

  ....
  # CUSTOMIZED OPTIONS
  #------------------------------------------------------------------------------
  # Add settings for extensions here
  listen_addresses = '*'


もう一個設定ファイル変更

# cd ../data
# pwd
/var/lib/pgsql/data

# cp pg_hba.conf pg_hba.conf.org
# vi pg_hba.conf

以下のように変更
# cat pg_hba.conf

  # PostgreSQL Client Authentication Configuration File
  # ===================================================
 local   all     all                     trust
  host    all     all     127.0.0.1/32    trust
  host    all     all     ::1/128         trust




postgresqlを再起動

# systemctl restart postgresql

active(running) になる。

# systemctl status postgresql

● postgresql.service - PostgreSQL database server

   Loaded: loaded (/usr/lib/systemd/system/postgresql.service; disabled; vendor preset: disabled)

   Active: active (running) since Sat 2020-02-15 13:58:56 JST; 1s ago

  Process: 14332 ExecStartPre=/usr/libexec/postgresql-check-db-dir postgresql (code=exited, status=0/SUCCESS)
(以下略)


接続

# psql -U postgres -h 127.0.0.1 -w
psql (10.6)
Type "help" for help.

postgres=#

^Zで抜ける


パスワード変更

# psql -U postgres -c "ALTER ROLE postgres WITH PASSWORD 'hogehoge'"
ALTER ROLE

データベース作成


#psql -U postgres -W -c "CREATE DATABASE my_db";
Password for user postgres:

CREATE DATABASE

データベースを指定して接続

psql -U postgres my_db
my_db=#

Users というテーブルを作る

my_db=# create table Users (
my_db(#   userid         char(032)     primary key,
my_db(#   fullname       char(100),
my_db(#   phonenum       char(11),
my_db(#   postal         char(7),
my_db(#   created        timestamp,
my_db(# active boolean);
CREATE TABLE

my_db=#

確認

my_db=# \d
         List of relations
 Schema | Name  | Type  |  Owner
--------+-------+-------+----------
 public | users | table | postgres

(1 row)



テーブル定義を表示



my_db=# \d Users

                          Table "public.users"
  Column  |            Type             | Collation | Nullable | Default
----------+-----------------------------+-----------+----------+---------
 userid   | character(32)               |           | not null |
 fullname | character(100)              |           |          |
 phonenum | character(11)               |           |          |
 postal   | character(7)                |           |          |
 created  | timestamp without time zone |           |          |
 active   | boolean                     |           |          |
Indexes:
    "users_pkey" PRIMARY KEY, btree (userid)


テーブルにレコードを追加

my_db=# INSERT INTO Users(userid,fullname,created) VALUES ('john','John Lennon', current_timestamp);

INSERT 0 1

my_db=# INSERT INTO Users(userid,fullname,created) VALUES ('paul','Paul McCartney', current_timestamp);

INSERT 0 1


テーブルのレコードを表示



my_db=# select * from Users;

   userid   |   fullname      | phonenum | postal |     created                | active
------------+-----------------+----------+--------+----------------------------+--------
 John       | John Lennon     |          |        | 2020-02-15 14:23:36.832459 |
 monqy      | Paul McCartney  |          |        | 2020-02-15 14:23:53.176765 |
(2 rows)


※実際は項目長の長さだけ表示されるので折り返して汚くなったが上記は見やすく整形してある。



とりあえず一つのテーブルが作成できた。

今度はこのDBの内容をCGIで表示してみる。
そして登録、修正、削除ができるようにする。

systemctl status を実行したら degrated と表示された @CentOS7

CentOS7の話

以前さくらのVPSでmysqlをインストールしてちょっと使ってみたことがあったのだが、
久しぶりにDBをいじってみたいと思い、mysqlが起動しているか確認するために

systemctl status

を実行したら、赤字で

State: degrated

と表示された。


うわ!と思い、検索すると起動に失敗したサービスがある場合にそうなるらしいことがわかった。

きっと使ってないしょうもないサービスだろうから無効にしようと思い、

systemctl --failed

を実行すると

● firewalld.service loaded failed failed firewalld - dynamic firewall daemon


firewalldが起動していなかった。

さすがにそれはマズいだろうとちょっと焦ってなんでだろうと調べた結果思い当たったのは、しばらく前にpythonのシンボリックリンクを3系向けに変更したことだった。

それを変更したのはpythonで書いたcgiが動かなくなったからだったのだが、
firewallが起動しないことの方が問題なのでとりあえずシンボリックリンクを2系向けに戻した。

firewalldは起動するようになり、cgiはエラーになった。

cgiの1行目(これなんて言うんだっけ)を

#!/bin/python3.6

に直す。

これでcgiも動くようになった。

pythonのデフォルトバージョンが2系になってしまったが、
コマンドでpythonを実行することはあまりないのでいいか.....

それにしてもpythonの2系・3系問題はウザいね.....

CentOS8はみんなpython3系になっているようなのでこういうことは起こらないみたい。

で、本来確認したかったmysqlは動いてなかった。

ある暴露話について感じたこと

twitterであるプロジェクトの暴露話が話題になった。

それに関して感じたことを書いておきたい。

どこまで本当の話かわからないし、ブログの筆者、かれが非難している「PM」なる人に対して批判や反論をしたいわけではないので、リンク等は一切貼らない。

暴露した人は結局耐え切れずにプロジェクトを抜けており、
一方的にプロジェクトを、そしてその「PM」を非難しているので、
どこまで信用できるかわからないが、それほど事実とことなる話ではなさそうに感じた。

同情する点、自分も反省しないとと思わされた点もあったが、彼の言い分に同意できない部分もあった。

この話で完全に否定されている「PM」と呼ばれている人物が誰なのかとても知りたくて、
この話にまつわるtweetを読み漁り特定のキーワードで検索した結果、誰なのか(twitterのアカウント)がわかった。

けっこう有名人らしく、確かに大規模案件を成功させてきた実績のある人らしい。

本人も自分のことだと認めるような発言をしていた。
(ただしもちろんブログの内容自体を認めているわけではない)

私は彼のツイートも読み漁った。

ブログにはプロジェクトの参画者をツイッターで募ったもののそのツイートが非常識で時代錯誤なものであったため誰も集まらなかったと書いてあるのだが、その求人ツイートも確認できた。

その後プロジェクトが難航して参画者が「逃げた」ので仕切り直しになったということもツイートしており、ブログに書かれていることがおおまかに事実であることがわかった。

このプロジェクトはDBを使ったアプリケーションの開発のようで、私の仕事とは少し違う分野なのだが、私の仕事でも「PM」、「仕様と実装」みたいなものがあるのは同じである。

かなり古い時代だが、DBを使ったアプリケーション構築もしたことがある。

そして、批判されている「PM」は、私と同年代であり、
批判している人は若く、せいぜい30代くらいと思われる。

そのことが、私に彼への批判をそのまま受け取りにくくさせた。

面倒なので、ブログを書いた人をA君、批判された「PM」をB氏としよう。

さっきからずっと「PM」とカッコにくくっているが、それはA君はあまりにPM(プロジェクトマネージャー)の役割やあるべき姿に対して固定観念を持ちすぎであると感じたからだ。

A君が思い描いていたPMの姿、それはどこから得たものかわからない。本で読んだのか、過去に参画したPM達の仕事ぶりからの一般論なのか。

確かにプロジェクトマネジメントに関する資格はあり、その保持者でないとPMになれない、というプロジェクトもあるが、医師、弁護士、会計士、税理士といった資格とは違って、「よく勉強している人」程度のものでしかなく、PMの資格をもっていないとシステム開発をおこなえないわけではない。

この話で一番感じたのがこのA君の一方的なPM像についての違和感である。

そして次に、この話のタイトルにもなっている、大規模プロジェクトを少人数で担当したという点である。

A君はプロジェクトの規模が大きいことを金額で示した。

これにも違和感がある。

そもそも彼が書いている「数億円」という規模は、B氏が受注した金額ではなく、
他の有名企業が見積もった金額らしい。

そしてB氏はそれをはるかに下回る金額と短納期で受注したようなのだ。

私はあまり工数や費用の見積もりに詳しくないが、
ことITに関しては非常に難しく、開発する側の立場としてはほとんどの場合過剰に高額に見積もられていると感じる。

それは多分多くの人が自覚している。私も、『こんなことでこんなに貰えるならもっと安い金額で自分でやろうかな』と思ったことが何度もある。

おそらくB氏は私が思っただけで終わってしまったことを実行に移したのである。

どうやらB氏はPMだけでなく営業もしており、さらに企業の社長であり講演などもおこなっている。そしてもともと自分自身で手を動かし開発してきた技術者であり、いまでも自身で開発業務もおこなっているようである。

現在私の職場では、PMという役割は基本的に技術的なことにタッチしない。ほとんどのPMは技術者あがりで自分は手を動かさないものの技術的なことを理解はしている。

しかし中には、ほとんど技術的なことを理解しておらず、自分以外の誰かに仕事を割り当てて顧客の要求をそのまま横流しするようなPMやPLを見かける。
この話もそのようなことなのかなと思った。

私も、「仕様のないプロジェクト」というものに参画したことがある。
「仕様がなくてはできません」と文句を言ったこともある。

しかし後から振り返ってみれば、私が想定していたピラミッドのようにきれいに階層化されて、上から顧客の要求を注ぎ込むと、あとはコーディングするだけの技術仕様ができるような組織なんて、ユートピアのようなほとんどありえないものだったとわかる。

そのように見えるプロジェクトには必ずスーパーマンがいて、常人の何十倍何百倍の効率で仕事をしている人がいるのだ。その「何百倍」というのは労働時間のことではない。

IT業界で長年にわたり問題になっているのは工数を人数×労働時間「人日」で見積もることである。

どんな業界でも労働時間が生み出す価値に必ずしも比例するものではないが、IT業界、開発業務においてはとくにそれが著しいと思う。

極端な例を言うと、バグだらけのシステムを開発して長い時間をかけて改修し続ければ、納期に間に合わせさえすれば時間をかければかけるほど開発者は多くの報酬を得るのである。

ソフトウェア開発も「設計」、「構築」、「開発」などどという言葉を使うが、物理的な建築物にくらべて制約が極端にゆるく無制限といっていいくらい柔軟な対応ができる。

言語やツールも豊富にありどれを使っても自由だ。

だから、工数などというものも、やる前から見積もるのは非常に難しくほとんど意味がないとさえ言えるのだ。

やりようによっては10人で1か月かかるし、1人で一週間で終わる。

大人数でやると、開発そのものと同じかひどい場合はそれを上回る情報共有や進捗管理の工数が発生する。

私が経験してきたプロジェクトはほとんどが中身に比して人員過剰管理過剰になっていて、それによってかえって労働時間が増え品質も低下していると感じる場合がほとんどだった。

うまくいったプロジェクトは少人数で、ある程度気心のしれたメンバーでとくにルールもなく柔軟に対応していたものだった。

だが、その個人の裁量にまかせる柔軟なやり方は大規模で大人数のプロジェクトではうまくいかない。そういう「わかっている」人達は大規模組織で守るべきプロセスがかったるくて実力もでない。(私の実体験A)

一方、強力な管理体制をしいてプロセスやルールも厳密にしたプロジェクトはほとんど何も知らない人を使っても一応動くが、膨大な無駄な印刷物が発生したり、常識では考えられないミスが見過ごされることがある。(私の実体験B)

私の実体験AとBを比べると、Aの方がマシだった。Aではプロジェクト内に論争が絶えなかったが常に皆が何かを考え改善しようという動きがあった。

Bではニュースになるほどの大規模障害を発生させたことがありその反省から非常事態宣言が発令され、より一層堅固な管理体制がしかれていた。

具体的にはレビューの回数を増やす、作業実施時に確認者に加えてさらにそれを確認する確認者を付けるなど。

私が参画したのはその障害発生後だった。私はそのプロジェクトに参画して数か月くらいたって、障害の原因は管理体制の不十分さではなく、むしろ逆に管理しすぎたことではないかと思っていた。

そのプロジェクトでは私を含め、とにかく楽をしよう、失敗をさけよう、という気持ちが蔓延していて、より良いものを作ろうなどという意識は誰も持てなくなっていた。


暴露話の件に戻る。

もうひとつ、決定的な齟齬を生んでいたと思われるのは、B氏は機能単位で報酬を決めていたのに対し、A君は最初から最後まで時間単位で考えていたと思われるところである。

「(1か月)100時間しか参加できないと伝えていたのにフルタイムということになっていた」
というところにそれが見える。

B氏が受注したのはおそらく人日に基づいて見積もられた金額とスケジュールに対し、機能に基づいて見積もられた金額とスケジュールであったからだろう。
そういうことをツイートしていた。

B氏は必要な機能を完成させさえすれば1時間でも50万払うし、できるまではどれだけかかろうと完成させろということだったのだろう。

契約的にはどれだけかけても完成させるというのは無理だろうから、報酬を出さないとか
減額するとかいうことになるのだろうが、その辺がどうだったのかはわからない。

B氏のとにかく機能が実装できればやり方は問わないという姿勢をA君は理解できず自分が経験してきたあるいは知っている方法でやることにこだわりすぎ最後までかみ合わなかった。

私はB氏と同年代なのだが、仕事に対する考え方はA君に近い。

B氏のようなやり方の人とはあまり相性がよくない。

「指示されたことだけやるのではなく自主的に動け」というのは若いころからよく言われて、『そんなこといったって...』と不満に思いながらも確かに自分の自主性や積極性のなさは欠点だと感じ続けていた。

スティーブジョブズなんかもかなりの曲者だったらしい。

皆がA君が考えているような仕事のしかたをするようになれば楽に働けるようにはなるかもしれない。

でもきっと、そういう職場からはおもしろいモノは生まれないだろうし、働いていても死ぬほど退屈だろうな.... とも思う。