.
pandas & matplotlib Excelファイルの集計と可視化をやってみよう
逆引きPython標準ライブラリ (2018/2)
- python 3.6
- strip(): 文字列内から指定した文字種の削除
- partition(): セパレータで3分割(前、セパレータ、後ろ)。セパレータが見つからなければ、(全体、空、空)
- startswith(), endswith() はtupleで指定してもよく、どれかがヒットすればTrue
- ljust(), center(), rjust(): 左寄せ、中央寄せ、右寄せ
- zfill(): 0詰め
- ord(): 文字コード取得
- リピート連結
*strでもlistでもtupleでもこれでよい - リストの拡張には、append(), extend()のほか、スライスによる指定も可能
a=[35,36] a[len(a):]=[37,38] # a == [35,36,37,38]
- リストへの挿入についても、insert()のみならずスライスが使える(ただし、挿入する場合は)
a=[35,36] a[1:1]=[37,38] # a == [35,37,38,36] # a[1:1]=39 # "TypeError" a[1:1]=[39] # a == [35,39,37,38,36]
PyTorch自然言語処理プログラミング (2021/3)
- サンプルコード
- pythonの標準リストは数値以外も入れられるので高速演算に向かない。numpyは数値に限定することで高速演算に対応
- しかし、numpyでもGPU演算や微分の機能がない。そこでpytorchではそれらを持つTensorクラスを使う
- tensor * tensorはelement-wise演算。行列演算がしたい場合matmul()を使う
- mv() = matrix * vector
- mm() = matrix * matrix
- bmm() = batch of matrix * matrix
- sin, logなどはtorch内の関数を利用(torch.sin()など)
- 型はdtype or type()(str)で確認
- numpy() や from_numpy() で相互変換
- tensor(n, require_grad=True) で微分の情報を付与できる。ただしnumpyに変換するときはdetachが必要 t.detach().numpy()
- cat(): 行列の縦連結。横連結の場合はdim=1
- GPUで演算するには、tensorとモデルを
to.('cuda:0')でGPUに移動させる - word2vec, gensim, vocab, 分散表現, doc2vec,
- word mover distance: 2つの文章間の距離。単語ごとの近さの合計が基準だが、文章の長さの違いに対応するため、重みづけ和とし、距離が最小になるための最適化問題の解を距離として採用する
- fastText: facebookが開発したword2vecの改良版
- janome.tokenizer, import pickle,
- LSTM, multi layered LSTM, Bi directional LSTM,
- seq2seq: 系列データから系列データへの変換。文章から文章、画像から画像、音声から音声などなど
- NMT = neural machine translation
- 田中コーパス => small parallel enja
- attention NMT が標準(執筆時点)
- 未知語はsubwordに分解していけば、いずれかの時点で未知語はなくなる
- BPE(byte per encoding): subwordの標準
- SentencePiece: BPEは英語など空白で単語を区切る言語に最適化されていて、日本語で上手く動作しない。そこで日本語に対応させたものがこれ
- BERT (Bidirectional Encoder Representations from Transformer): pre trained model for NLP。文脈依存の多義語対応とfine-tuning対応
- BERTはSelf-Attentionを12回行うことで特徴量を抽出している。
- Self-Attention: 内積のsoftmaxの重みづけ和を行う固定処理。学習対象ではない
- 公開されているBERTモデル:京大版、東北大版、stockmarks, nict, laboro.
- BertJapaneseTokenizer: transformersに標準装備された、bert + jpn + mecabの全部入りクラス
- masked language model
- パラメータ凍結
- distilBERT (ex.) distilbert base japanese
- sentenceBERT
- 含意関係認識
自治労の正体
- 人事院勧告の抜け穴・一般市町村には存在しない。武蔵野・厚木・多摩・市川などは平均年収700万を超える
- また技能労務系職員(清掃・運転手など)は現業系職員として、事実上労使交渉で決められており、民間の2倍の給料になるケースが多発。
- これを問題視した総務省は2007年に各自治体に点検・報告を求めたが、2009年に民主党政権になりこの課題は忘れられ、民主党は逆に人事院勧告のほうを亡き者にしようと画策した(労使交渉で決まるようにしようとした)
- 民間であれば給料を上げ過ぎれば会社が倒産するが、公務員の給料は税金のため、要求する組合に自制心が働きにくい。
- また、要求に法的拘束力はなく、結局給与を決める予算は議会を通さなければならないので否決される可能性があり、労使交渉が徒労に終わる可能性もある。
- 天下りは地方自治体にもあり、国家公務員にあるような天下り規制がない
- 条例など自治体レベルでルールがある場合もあるが、自治労幹部は公的には管理職ではなく、専従職員(労働組合から給料をもらう)のため、規制が困難
- 中核派は地方公務員に紛れ込んでいる。本来は地方公務員法16条5号の欠格条項に該当すると捉えるのが自然だが、破防法適用団体でないことから該当しないというのが総務省の見解。
- 破防法はオウムも指定されていない、それどころか、活動制限以上の適用を受けた団体は1つもない
- 主体思想とは、指導者への崇拝と服従
- 自治労が沖縄の基地建設妨害座り込みに人を送り込み、それを堂々とウェブサイトで公表している
- 組合費の天引きをストップするとよい
- ヤミ専従は減ったが、より巧妙に体裁を整える偽装ヤミ専従が横行するようになった。これを可能にしているのは組合事務所が同じ庁舎内にあるため
- 組合に無償で貸与している自治体が多く、新潟市などは住民監査請求を行っても棄却された。
- 一方神戸市などは使用料を徴収している
- 公務員は政治活動が禁じられているはずだが、実際にはいくつも抜け道がある。
- ヒラ職員は政党機関紙を配布しても無罪(最高裁判決)、勤務している自治体の外ならOK、地方公務員には罰則規定なし
- 夕張市の破綻は、炭鉱の閉鎖、観光振興の失敗ばかりがフォーカスされるが、粉飾決算が最も大きな原因であることが忘れられている
- 単年度収支を黒字にするために一時借入金を使って自転車操業を行った。チェック機能としての議会の怠慢である。
- 民間企業なら、金融商品取引法や会社法で経営者や法人を罪に問えるが、残念なことに、自治体には適用できない。ただし、虚偽公文書作成罪の可能性あり。
- また、自治体に金を貸し付けているのは銀行であり、粉飾の構造を知ってて、最後は税金で補填されることを期待して高をくくって貸している。このせいで粉飾が表面化しにくい。
- そのような場合、銀行側に一定割合の債権放棄を義務付けるよう法改正すべきだ。
- 夕張市の職員はかわいそうだろうか? 一時、平均年収は380万になったが、2015年に500万を超えている。
- 消費税は一部が地方税であり、自治労(及び自治労が支援する立憲民主党)が消費増税に賛成なのはこれが理由。
- 解決策:組合費天引きの禁止、組合事務所有償化・立ち退き、技能労務系職種への給与の勧告権限を人事委員会に与えて内容をマスコミに公表する
トラジャ JR「革マル」30年の呪縛、労組の終焉
- JR東日本の労働組合はJR東労組が最大だが、国鉄時代、国労、鉄労、動労の3つに分かれていた。
- 動労の運動は過激で、その動労を率いていたのが、革マル派の松崎明氏。国鉄民営化とともにJR総連を立ち上げた。
- そのため、JR東労組にも革マル派の影響は色濃い。
- 氏は2010年に死去。そこから会社側は組合の弱体化を狙う。
- 運転士のポジションは、長時間マンツーマンで指導する見習い制度の関係上、活動家のオルグに利用されていた。
- そういったこともあって、一般社員には組合アレルギーがあり、特に会社の施策に反対するためにストに直行する組合の姿勢は疑問視されていた。
- かつてJRでは、小数労組ではなく、JR東労組でないと昇進が望めない状況だったが、会社がJR東労組への優遇を辞めるとわかり、4万人いた組合員が1万人へと激減。
- JR東労組の組合費の平均は月8000円、JR西の6500円、JR東海の5000円と比べて割高。
- 組合を脱退することが最大のベアとなった。
- 脱退者を中心に新鉄労組が結成されたが、これの人数は500人程度で、組合脱退者の多くは労働組合自体に嫌気がさし、どこにも所属しない社員も多かった。
- そのため、社友会という親睦団体をつくり、会社側としては36協定はそこと締結。
- 国鉄分割民営化後、民営化に反対してJRに採用されなかった旧国鉄職員である国労組合員を、運輸省がJR東に引き取るよう要請した
- JR総連は、これにストで対抗して日本全国のJR労組を巻き込もうとしたため、JR総連からJR各労組の脱退が相次いだ
- そこで、JR総連の意向をくむ小数組合をJR各社に立ち上げ、特にJR東海労は、順法闘争として93年に新幹線の減速運転を行った
- 順法闘争とは、ストにならない、法律の範囲内でストと同様の効果を得る行動で、通常一部簡略化される手順なども簡略化せず完全に励行することで業務を遅延させる手段
- ストができない官公庁などがやる手段で、旧国鉄でも動労・国労が多用した。ただしこの手法は国鉄利用者が激怒し、上尾事件が起きた。