山pの楽しいお勉強生活

勉強の成果を垂れ流していきます

Atomのmarkdown-tocでタイトルが日本語の場合に動かない場合の対処

はじめに

Markdown書いていると見出し(toc)が欲しくなる
↓
Atomのプラグイン探す
↓
あった
↓
日本語で正しく動かない

っといった感じでAtomプラグインmarkdown-toc」を使ってみたものの、日本語で書いた際に動かなくて困る人がまあまあいるらしい。

ので対応方法を書いてみる。

結論

markdown-tocをforkして対応してくれてる人がいるので↓のコマンドでインストールしてAtom再起動。

apm install https://github.com/Sorix/markdown-toc/

以下は蛇足です。

リンクが正しくされない詳細

  • # hoge」 は 「[hoge](#hoge)」 と変換される(正常)
  • 日本語の場合 「# ほげ」 は [ほげ](#)」 と変換される(異常)

原因

リポジトリ見てみると。

  • この問題に対するissueはいっぱい!pull requestもいくつか
    • 各国の人が各言語対応してくれと言っていて割とカオス
  • そんな中Sorixという人が、各言語まとめて指定してしたpull request作成してくれている
  • けど、、マージしてくれないっぽい。
    • 多分、作者がテストできないし、困ってないからから。
  • なので、SorixさんがForkして、修正している奴をインストールすればOK。

どんな修正?

  • 一発ドカンではなく不正な文字?(記号か?)だけを除去している
  • この文字リストがどこからきたのかさっぱりわからないが、日本語、中国語、韓国語、ドイツ語?などは除去されなくなるっぽい。
  • よって、 「# ほげ」 は 「[ほげ](#ほげ)」 と変換されて正しく動作するようになる。

疑問

アンカー名が日本語

実を言うと、 - [インストール][#インストール] のようにアンカー名を日本語で指定するのは、仕様上は正しくありません。正しく動くのはブラウザが賢く振る舞っているからです。

- [インストール][#%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB] のように URL Encode した文字列を指定するのが正しい書き方 です。

連続する空白の扱い

  • このプラグインだとタイトルに連続する空白が含まれている場合には1つにまとめて「-」と置換する処理が入っているが、GitHubwikiだと連続した「--」として扱うらしいので、正しくリンクされない。
  • これはビューワの仕様による気がする。(Markdown → HTML の正式な仕様ってあるのかしら?)
  • レアケースなので特に問題はないか?
  • 具体例 : 「# hoge hoge」 は 「hoge-hoge」 と変換されるが、GitHubwikiだと 「hoge--hoge」 となる。

参考

Python3とAWS LambdaでTwitterの名前に天気を表示する

はじめに

数日前に話題になっていた「Twitterの名前を5分毎に東京の天気☼☂☃と連動させるサーバレスプログラムを書いたら色々知らないことが出てきた話」を読んで、Pythonのいい練習になりそう!って事で自分でやってみた話です。

数日経って元記事見てみたら、既に何人かやっている人いるみたいです。(同じくPython3の人もいる) が、まぁ、他より割りと詳しく書いているので、試してみたい人はどうぞ。

楽しいお題?をくれた山本一成さんに感謝します。

前提

  • Python3がインストールされている
  • Twitterのアカウントを持っている
  • AWSアカウントを持っている

OpenWeatherMapAPIのAPIキーを取得

  • OpenWeatherMapにアクセス → Sign Up
    • 既に登録済みの人はSign In
  • API keysでKeyを確認
  • 検索したい都市名を取得
    • ここのJSONから調べる
    • 面倒なら「tokyo」、「osaka」、「nagoya-shi」、「london」とか
  • ブラウザで試す
    • ↓のURLに都市名とAPI Keyを入れこんで確認
    • http://api.openweathermap.org/data/2.5/weather?q=${都市名}&appid=${API Key}

Python3からOpenWeatherMapAPIを叩く

  • requests というモジュールを使う例が多かったのでpipで入れる
    • 後でLambdaに乗せる時ために、「-t」オプションをつけてスクリプトと同じ場所にインストール
    • pip install requests -t .
  • コードを書いて実行
import requests
import json

SEARCH_CITY = "tokyo"
OPEN_WEATHER_MAP_API_KEY = "取得したAPI Key"
API_URL = "http://api.openweathermap.org/data/2.5/weather?q={city}&APPID={key}"

# URIスキーム
url = API_URL.format(city=SEARCH_CITY, key=OPEN_WEATHER_MAP_API_KEY)
r = requests.get(url)

# 結果はJSON形式なのでデコードする
data = json.loads(r.text)
print(data)

TwitterAPI Tokenを取得

Twitterで名前更新

  • twitter というモジュールを使う例が多かったのでpipで入れる
    • 後でLambdaに乗せる時ために、「-t」オプションをつけてスクリプトと同じ場所にインストール
    • pip install twitter -t .
  • コードを書いて実行
import twitter

# メモしたキーとアクセストークンを設定
auth = twitter.OAuth(consumer_key="Consumer Key (API Key)",
                     consumer_secret="Consumer Secret (API Secret)",
                     token="Access Token",
                     token_secret="Access Token Secret")

t = twitter.Twitter(auth=auth)
t.account.update_profile(name="山pです。")

ちなみに

  • Tweetする場合
    • t.statuses.update(status="ついーとするないよう")

天気を含めてTwitterの名前更新

import requests
import json
import twitter


SEARCH_CITY = "tokyo"
OPEN_WEATHER_MAP_API_KEY = "取得したAPI Key"
API_URL = "http://api.openweathermap.org/data/2.5/weather?q={city}&APPID={key}"

# https://openweathermap.org/weather-conditions
WEATHER_EMOJI_MAP = {
    "01d": "☀",  # clear sky
    "02d": "🌤",  # few clouds
    "03d": "☁",  # scattered clouds
    "04d": "⛅",  # broken clouds
    "09d": "🌧",  # shower rain
    "10d": "🌦",  # rain
    "11d": "🌩",  # thunderstorm
    "13d": "🌨",  # snow
    "50d": "🌁"  # mist
}


def get_weather_icon():

    # URIスキーム
    url = API_URL.format(city=SEARCH_CITY, key=OPEN_WEATHER_MAP_API_KEY)
    r = requests.get(url)
    # 結果はJSON形式なのでデコードする
    data = json.loads(r.text)
    return data["weather"][0]["icon"].replace("n", "d")


def get_weather_emoji():
    return WEATHER_EMOJI_MAP.get(get_weather_icon())


def update_twitter_screen_name(name):

    # メモしたキーとアクセストークンを設定
    auth = twitter.OAuth(consumer_key="Consumer Key (API Key)",
                        consumer_secret="Consumer Secret (API Secret)",
                        token="Access Token",
                        token_secret="Access Token Secret")

    t = twitter.Twitter(auth=auth)
    t.account.update_profile(name=name)


def main():
    emoji = get_weather_emoji()
    twitter_name = "山p" + emoji
    update_twitter_screen_name(twitter_name)


if __name__ == '__main__':
    main()
  • 天気を絵文字に変換するのがかなり面倒なので、ここでは種類が少ないiconを使って変換してます。
  • 正確に天気が欲しい場合には↓を見て変換すれば良いと思います。

Lambadaに乗せるために準備

コードを変更

  • mainではなく、eventとcontextを受け取るhandler関数を作成
    • 名前はなんでもいいけどとりあえず。
  • Lambdaで環境変数を設定できるので、コードからKeyなどを除去して環境変数から取得するようにする。
import requests
import json
import twitter
import os

SEARCH_CITY = os.environ["SEARCH_CITY"]
OPEN_WEATHER_MAP_API_KEY = os.environ["OPEN_WEATHER_MAP_API_KEY"]
TWITTER_CONSUMER_KEY = os.environ["TWITTER_CONSUMER_KEY"]
TWITTER_CONSUMER_SECRET = os.environ["TWITTER_CONSUMER_SECRET"]
TWITTER_TOKEN = os.environ["TWITTER_TOKEN"]
TWITTER_TOKEN_SECRET = os.environ["TWITTER_TOKEN_SECRET"]

API_URL = "http://api.openweathermap.org/data/2.5/weather?q={city}&APPID={key}"

# https://openweathermap.org/weather-conditions
WEATHER_EMOJI_MAP = {
    "01d": "☀",  # clear sky
    "02d": "🌤",  # few clouds
    "03d": "☁",  # scattered clouds
    "04d": "⛅",  # broken clouds
    "09d": "🌧",  # shower rain
    "10d": "🌦",  # rain
    "11d": "🌩",  # thunderstorm
    "13d": "🌨",  # snow
    "50d": "🌁"  # mist
}


def get_weather_icon():

    # URIスキーム
    url = API_URL.format(city=SEARCH_CITY, key=OPEN_WEATHER_MAP_API_KEY)
    r = requests.get(url)
    # 結果はJSON形式なのでデコードする
    data = json.loads(r.text)
    return data["weather"][0]["icon"].replace("n", "d")


def get_weather_emoji():
    return WEATHER_EMOJI_MAP.get(get_weather_icon())


def update_twitter_screen_name(name):
    # 取得したキーとアクセストークンを設定する
    auth = twitter.OAuth(consumer_key=TWITTER_CONSUMER_KEY,
                         consumer_secret=TWITTER_CONSUMER_SECRET,
                         token=TWITTER_TOKEN,
                         token_secret=TWITTER_TOKEN_SECRET)

    t = twitter.Twitter(auth=auth)
    t.account.update_profile(name=name)


def handler(event, context):
    emoji = get_weather_emoji()
    twitter_name = "山p" + emoji
    update_twitter_screen_name(twitter_name)

Zip圧縮

  • ここでわざわざライブラリをスクリプトと同じ場所に置いていることが生きてくる
  • フォルダ毎ではなくて、ファイルを直で圧縮
    • コマンド例 : zip -r upload.zip *

Lambadaに乗せる

参考

Python3でZipの圧縮解凍操作

前記事のPython3でファイル操作に続いて、ZIPの圧縮解凍。 自分が業務内でどうでもいいスクリプト作る際に見るためのメモです。 Python勉強中なので間違っていたり、もっとPythonらしく書ける部分があればコメント欄やTwitterでツッコミお願いします。

コード

Githubにもあげてます。(使用しているファイルも。)

結局、Windows10環境でpyminizipを使用することはできなかった。。。別のモジュール使えばいいのかな?

import os
import zipfile
import pyminizip

from datetime import datetime

d = datetime.now().strftime("%Y%m%d%H%M%S")
outputDir = "./output/" + d + "/"
os.mkdir(outputDir)

# --------------
# ZIP解凍
# --------------

# 基本形(とりあえず全部解凍)
with zipfile.ZipFile("./data/simple.zip", "r") as zf:
    zf.extractall(outputDir) # 引数を指定しないとカレントに出力

# パスワード付きzipを全部解凍
with zipfile.ZipFile("./data/password.zip", "r") as zf:
    zf.extractall(outputDir, pwd="password".encode("ascii")) # encodeしないとエラー

# ファイル指定して解凍する
with zipfile.ZipFile("./data/somefile.zip", "r") as zf:
    print(zf.namelist()) # namelistでファイル名確認

    # バイトで書き込むので「b」で開く
    with open(outputDir + "somefile.txt", "wb") as writeFile:
        writeFile.write(zf.read("somefile/file2.txt")) # readはバイトが返る

    # テキストで取得したい場合はopenで開いてデコード?
    # zipfile.open は文字コード指定できない
    with zf.open("somefile/file2.txt") as targetFile:
        for line in targetFile:
            print(line.decode("UTF-8").rstrip())

# --------------
# ZIP圧縮
# --------------

# 基本的な圧縮
with zipfile.ZipFile(outputDir + "compress1.zip", "w") as zf:
    # 第2引数がない場合は第1引数の通りに格納される。(この場合だと「/data/text1.txt」となる。)
    zf.write("./data/text1.txt", "text1.txt")
    zf.write("./data/text2.txt","nest/text2.txt")

# パスワード付きは標準ライブラリではできない
# pyminizipモジュールを使用する
# https://github.com/smihica/pyminizip
# ↓で入ればよいが入らない場合には下記参照
# pip install pyminizip
# Windows10の場合↓のエラーが出たので、下記の通り「Microsoft Visual C++ Build Tools」をインストール
#  Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
#  その後zlibが必要だと言われたが解決できず。↓が参考になるかも
#  https://stackoverflow.com/questions/42529239/
# Ubuntuの場合
#  sudo apt-get install zlib1g-dev

pyminizip.compress("./data/text1.txt", outputDir + "compress2.zip", "password", 5)

Python3でファイル操作

何番煎じだ的な感じですが、自分が業務内でどうでもいいスクリプト作る際に見るためのメモです。 Python勉強中なので間違っていたり、もっとPythonらしく書ける部分があればコメント欄やTwitterでツッコミお願いします。

コード

Githubにもあげてます。(使用しているファイルも。)

import os

from datetime import datetime

defaultTextPath = "./data/shift_jis-crlf.txt"
#defaultTextPath = "./data/utf8-lf.txt"

# 基本形(OSのデフォルト?文字コードで読む)
with open(defaultTextPath) as f:
    print(f.read()) # 一括で読み込む

# 行毎に読み込む
with open(defaultTextPath) as f:
    for line in f:
        print(line)

# 行毎に読み込む
# メモリに全部乗る事、改行が含まれる事に注意
with open(defaultTextPath) as f:
    for line in f.readlines():
        print(line.rstrip()) # 最後の改行も含まれるので注意。「rstrip()」で除去
        # 違いはよくわからないが、f.read().splitlines() がオススメされてた
        # https://stackoverflow.com/questions/15233340/getting-rid-of-n-when-using-readlines

# 行毎に読み込む
# 使うことあるのか?
with open(defaultTextPath) as f:
    line2 = f.readline() # 1行づつ読み込む(改行文字も含まれる)
    while line2:
        print(line2.rstrip())
        line2 = f.readline()

# 文字コードを指定する場合にはencoding
# https://docs.python.jp/3.5/library/functions.html#open
# 検索するとcodecsモジュールを使うなどと出てくるが「codecs」は古い!
# python 2でもio.openでpython 3と同じ動きとのこと)
with open("./data/euc-crlf.txt", "r", encoding="euc_jp") as f:
    print(f.read())

# ----------------------
# 書き込み
# ----------------------

d = datetime.now().strftime("%Y%m%d%H%M%S")
outputDir = "./output/" + d + "/"
os.mkdir(outputDir)

# 基本形(OSのデフォルト?文字コードで書き込み)
with open(outputDir + "fisrt.txt", "w") as writeFile:
    writeFile.write("あいうえお\nかきくけこ\nさしすせそ\n") # Windowsの場合改行コードも何故か\r\nで出力

# 1行ごとに書き込み(OSのデフォルト?文字コードで書き込み)
with open(outputDir + "second.txt", "w") as writeFile:
    # Windowsの場合改行コードも何故か\r\nで出力
    writeFile.write("あいうえお\n")
    writeFile.write("かきくけこ\n")
    writeFile.write("さしすせそ\n")

# 文字コードを指定して書き込み
with open(outputDir + "third.txt", "w", encoding="UTF-8") as writeFile:
    writeFile.write("あいうえお\nかきくけこ\nさしすせそ\n") # Windowsの場合でも改行コードは\nで出力

# --------------------
# 文字コード変換して出力
# --------------------

# 文字コード変換
with open("./data/euc-crlf.txt", "r", encoding="euc_jp") as f:
    with open(outputDir + "euc-utf8.txt", "w", encoding="UTF-8") as writeFile:
        writeFile.write(f.read())

# 文字コードと改行コード変換
with open("./data/utf8-crlf.txt", "r", encoding="UTF-8") as f:
    with open(outputDir + "utf8-shift_jis-lf.txt", "w", encoding="shift_jis") as writeFile:
        writeFile.write(f.read().replace("\r\n","\n"))

追記(2018/02/28) Twitterでツッコミを頂いたのでコードを修正しております。ありがとうございます!

2017年の反省と2018年の目標

はじめに

2018年も既に2月となっておりますが、2017年の反省と2018年の目標を書きます。

2017年

転職の1年でした。活動自体は1月から7月の入社まで。(退職は3月末)入社後も色々な意味で慣れない仕事に追われていた1年でした。 転職活動では、皆様にご迷惑とご心配をかけてしまいました。本気で反省しております。

反省

英語

英語を勉強

  • 具体的な最終目標はなし
  • なるべく毎日何かやる
  • TOEICを3月と12月に受験
    • 1月に受けたかったけど、すぐ申し込んですぐ受けられるというものではないらしい。
    • 1/5に申し込んで3月受験。
  • 転職前までは割とやっていて習慣化していた。
  • が、通勤退勤中に行っていたためニート転職期間の3ヶ月?にやる気喪失。
    • 日々の日報を見ると3/30までは行っていた記録あり。
  • 1月にTOEIC受けた事は○だが、TOEICが難しすぎて逆にやる気が削がれたのも良くなかった。
  • 「○○をしたい → 英語を勉強する」という動機が弱かったため続かなかったと思われる。

何か作る

何か作る

  • 当初の目標と方向性は大きく異なるが、家庭内システム(Raspberry Pi)を作ったとは言えるかなと思う。
  • が、目標作った時に考えていたと思われる「公開して誰かに使ってもらえるもの」という事だと×。
  • 作業用リポジトリとか、日報とか見てると途中途中で色々作ろうとはしてるけど、結局作れてないので反省したい。

2018年

仕事が結構変わったためそれに合わせた目標を2つと、個人的な目標を1つにしてみた。 仕事の面でもプライベートでも今後の人生に大きく関わってくる1年だと思うので、ちょっと頑張っていきたい。

統計検定3級

  • 今の会社は分析が中心なので、社員は全員統計検定を取る義務があるらしい。
  • せっかく、そういう会社にいるので波には乗っておけの精神で取る予定。
  • 正直、やる気はそこまでないけど、数学は好きだったのでやれば楽しくなると思う。

PythonWebサービス作成

  • 会社内ではとりあえずPythonなので、慣れるためにも何か作る。
  • → 何かでは作らないので、既存サービスのパクリでも作ろうかと考えております。
  • 普通に何か作る際にサクッと作れるくらいには慣れるのが目標。

家庭内SlackBotの作成及び起動

  • 昨年末から稼働しているRaspberry Piを中心とした家庭内システム。
  • 一応稼働はしているが、先週末辺りにRaspberry Pi(初代)が壊れたので移行から。
  • 家族が結構喜んでくれたので、やる気もあるし継続的に改善していきたい。

Windowsから定期的にSlackに投稿する

はじめに

  • WindowsからSlackにメッセージを投げたい事があって、面倒だろうなと思って調べてみたらあまりにも簡単だったのでメモ。
    • 自分通知用にSlackメッセージ投げたい事あるよね?ない??
  • 一言で言うと「Windowsのタスクスケジューラでbash上でシェルを動かして、Slackにメッセージを投げる。」だけ。
  • Windows上でシェルが動くと楽で良い。

もうちょっと詳しく

  • 定期実行にはWindowsデフォルトのタスクスケジューラを使用。
  • Slackにメッセージを投げるにはIncoming WebHooksを使用して、規定のURLにPostする。
  • Postするにはシェルを使用。
    • 素のバッチで実行するのは面倒っぽい。
  • シェルを実行するにはWSL(Windows Subsystem for LinuxBash on Ubuntu on Windows)でインストールされるbashを使用。

手順

#!/bin/sh
# Incoming WebHooksのURL
WEBHOOKURL="https://hooks.slack.com/services/XXXX/XXXX/XXXX"
# slack 送信チャンネル
CHANNEL="#test"
# slack 送信名
BOTNAME="my_bot"
# slack アイコン
FACEICON=":ghost:"

WEBMESSAGE="Hello Slack!"

#Incoming WebHooks送信
curl -s -S -X POST --data-urlencode "payload={\"channel\": \"${CHANNEL}\", \"username\": \"${BOTNAME}\", \"icon_emoji\": \"${FACEICON}\", \"text\": \"${WEBMESSAGE}\" }" ${WEBHOOKURL} > /dev/null
  • タスクスケジューラ起動

f:id:yamap_55:20171208234801p:plain

  • 「基本タスクの作成」 or 「タスクの作成」
  • 名前やトリガーは適切な値に設定
  • 操作

f:id:yamap_55:20171208234805p:plain

注意

  • シェルの文字コードは「UTF-8」、改行コードは「LF」。
  • シェルに色々書きたい人は、Ubuntuのデフォルトシェルがbashじゃなくてdashであることを頭に入れておいたほうが良いかも?

Slackにメッセージ投げる部分抜粋

  • Slackに投げるだけなら、curlが使える環境ならPostするだけなので超簡単。
curl -s -S -X POST --data-urlencode "payload={\"text\": \"test dayo\" }" https://hooks.slack.com/services/XXXX/XXXX/XXXX" > /dev/null

Slackに投げる部分をもうちょっと汎用的にした奴

いくつか投げたい通知があったので、少し汎用的にして使っています。

#!/bin/sh

# Slack通知スクリプト
# 引数1(必須) : メッセージそのものか、メッセージが記載されたファイルPATH(PATHは/mnt/c/...形式)
# 引数2(任意) : 出力するユーザ名(未指定の場合は「mybot」)

MESSAGEFILE=$1

# slack 送信名
BOTNAME=$2
if [ "$BOTNAME" = "" ] ; then
  BOTNAME="mybot"
fi

ls ${MESSAGEFILE} > /dev/null 2>&1
if [ $? = 0 ] ; then
  WEBMESSAGE=`cat ${MESSAGEFILE}`
else
  WEBMESSAGE=${MESSAGEFILE}
fi
#WEBMESSAGE=`cat ${MESSAGEFILE}`

# Incoming WebHooksのURL
WEBHOOKURL="https://hooks.slack.com/services/XXXX/XXXX/XXXX""
# slack 送信チャンネル
CHANNEL="#test"
# slack アイコン
FACEICON=":ghost:"

#Incoming WebHooks送信
curl -s -S -X POST --data-urlencode "payload={\"channel\": \"${CHANNEL}\", \"username\": \"${BOTNAME}\", \"icon_emoji\": \"${FACEICON}\", \"text\": \"${WEBMESSAGE}\" }" ${WEBHOOKURL} > /dev/null

使う時

  • shから
/mnt/c/tools/notification2slack.sh "ほげほげでした。" "ほげ通知"
  • batから
bash "/mnt/c/tools/notification2slack.sh" "ほげほげでした。" "ほげ通知"

参考

lsとpwdをコマンドプロンプトで使う

c:\work\20170929>ls
'ls' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。

はじめに

コマンドプロンプトで「ls」や「pwd」と打って怒られたので、カッとなってやりました。

真面目に使いたいなら↓辺りを参考に色々使ってみれば良いと思います。

手順

  • 以下の内容を「ls.bat」というファイル名で保存。
@echo off
dir %1
  • 以下の内容を「pwd.bat」というファイル名で保存。
@echo off
@cd
  • ↑で作成したファイルをパスの通った所に置く。
  • 使う。
c:\work\20170929>ls
 ドライブ C のボリューム ラベルは OS です
 ボリューム シリアル番号は DE0A-E8AA です

 c:\work\20170929 のディレクトリ

2017/09/29  04:51    <DIR>          .
2017/09/29  04:51    <DIR>          ..
               0 個のファイル                   0 バイト
               2 個のディレクトリ  173,906,067,456 バイトの空き領域

c:\work\20170929>pwd
c:\work\20170929

コマンドでやる

mkdir c:\shortcuta
cd c:\shortcuta
echo @echo off >> ls.bat
echo dir %1 >> ls.bat
echo @echo off >> pwd.bat
echo @cd >> pwd.bat
set PATH=%PATH%;c:\shortcut
ls
pwd

環境変数に追加は手でやってください。

後書き

Windowsでもエイリアスの設定ができるらしいので、こっちが楽かも。