ホーム » プログラム » データ処理 unixツールを使って 作業を効率良く

データ処理 unixツールを使って 作業を効率良く

データ処理をする時に
知っていると何十倍も時短になるのが
Unixツールの使い方です。

実際は Ubuntu などの
LinuxというOSをインストールした
パソコンで作業します。

$ cat hoge.txt | sed -e 's/^ *//' 行頭のスペースを削除する
$ cat hoge.txt | sed -e 's/ *$//' 行末のスペースを削除する
$ cat hoge.txt | sed -e '/^ *$/d'  空白行(何も書かれていない行)を削除
$ cat hoge.txt | sed -e 's/^/
  • /g' 行頭に「
  • 」を追加
    $ cat hoge.txt | sed -e 's/$/<\/li>/g' 行末に「
  • 」を追加

パイプでつないで使います。

cat hoge.txt | sed -e 's/^ *//' | sed -e 's/ *$//'| sed -e '/^ *$/d'| 
sed -e 's/^/
  • /g'| sed -e 's/$/<\/li>/g' > hoge2.txt

大量のテキストデータを処理したい時に
Unix ( Linux ) のツール類が使えると便利です。

パソコンが大好きで、深く知りたければ
Linux をインストールして勉強する事をお薦めします。

ソートしたデータで重複したものを削除する

$ sort hoge-data.txt | uniq

パイプ機能を使ってツールとツールをつないで使います。
並べ替える → ユニークなデータだけ表示する。

データが何行あるか調べる

$ wc hoge-data.txt
1083  1090  24539 hoge-data.txt

 

5000件、10000件のCSVデータ

実際に5000件とか10,000件のCSVデータを
扱う場面ってどんな時だと思いますか?

メールマガ配信をする
読者のメールアカウント情報を
整理する時があります。

複数あるメール配信システムの
個人のメールアカウント情報の並び順が

名前(姓)、名、メールアドレス だったり

メールアドレス,名前(姓)、名 だったりします。

あっちのメール配信プロバイダから
こっちのメール配信プロバイダに移行しよう。

なんて時に、CSVデータの操作が必要になる時があります。

沢山のメール配信プロバイダがありますが
あなたは、どのメール配信プロバイダをお使いになっていますか?

  ↓ ↓ ↓
ネット商人Pro S缶エディション

 

メルマガ配信をし、ステップメールを使って
アフィリエイトをする時、
メルマガ配信システムは非常に重要な役割を担います。

あなたがメルマガを発行するなら、
はじめから信頼できるメルマガ配信システムを
ご利用になるべきです。

メルマガ配信システムはシステムも複雑なので
操作方法をプロバイダ毎に覚えていたら時間の無駄になってしまいます。

毎月の使用料を払い続ける事を考えると
一括、買取型のメール配信システムは
コストパフォーマンスも優れています。
あなたは、どのメール配信プロバイダをお使いになっていますか?

  ↓ ↓ ↓
ネット商人Pro S缶エディション

 

 
 
 
 
僕の無料メルマガでは
お薦めできるツールを使って、
具体的に使い方をご説明しています。
 
パソコンスキルを磨きたい方は是非
僕の無料メルマガに登録して下さい。
 
不要と思われた時はワンクリックでメルマガ解除が出来ます。
 
 



「無料メルマガに参加する」ページを見る

 

リストを集めるための
・ ランディングページの作り方や
・ あなたの情報をより多くの人に読んでもらうためのツールの紹介
・ メール配信システムの使い方
・ 売るために必要な文章の書き方
などをお伝えしています。

 
 

 

この記事に関連する記事一覧

無料メルマガ登録
最近の投稿
お問い合わせ

お問い合わせ・ご相談

お気軽にお問い合わせください。