*

(MQL4)WEBサイトの情報を引っ張ってくるやり方[EA自作]

Originally posted 2019-01-31 18:52:23.

MT4のチャート上にWEBサイトの情報を参照する方法について紹介します。

 

背景

オンラインの情報をトレードの判断に使う、というのは至極まっとうな考え方だと思います。

日経が為替に影響を与えるでしょうし、SP500も影響するでしょう。はたまたツイッターの群集心理による相場の形成や天候による先物相場への影響も考えられます。

MT4、MT5ではこれらの需要に答えるためにWEBにアクセスして、情報を取得することができます。

また、便利なのはWEBアクセス周りのプログラミングはMQL4とMQL5でほとんど同じだということです。

もともとMQL4ではオンラインアクセスするための関数がなかったのですが、2014年2月以降はDLLを使用せずにWEB(サイト)に接続できるようになりました。

 

GETとPOST

さて、ここからは技術的な話です。

WEBサイトにアクセスするには、GETとPOSTというメソッドがあります。ただサイトを閲覧するだけの場合GETで十分です。

POSTはログイン操作やフォームの送信に使います。

また、MT4,MT5で特定のWEBサイトにアクセスするにはあらかじめ接続先のドメインを登録しておく必要があります。

なぜこんな仕様になっているかというと、どんなWEBサイトにも無条件でアクセスできる仕様にしてしまうと、DDos攻撃や不正アクセスの末端になってしまう可能性があるから(だと思います。)

おそらく「これから接続するサーバーをユーザーが把握しとけよ」というメタクオーツの配慮でしょう。

 

アクセスするサイトの登録方法

メタトレーダーの上部タブの「Tools」-> 「Options」を選択すると下記の画面が出てきます。

bandicam 2017-06-23 15-44-30-126

「Expert Advisers」タブを選択すると、許可するURLが出てくるので、
アクセスしたいサイトのURLを入力してください。

複数のページにアクセスする場合でも、トップレベルドメイン一つ登録されていれば接続可能です。

ただし、注意しなければならないのはhttpとhttpsの違いです。WEBサイトの方でリダイレクトの設定がされている場合はOKですが、これを間違えるとアクセスできない場合がありますので、気を付けてください。

 

ヤフーファイナンスのデータを参照するコード

こんな関数を作って稼働させるだけでWEBサイトの情報を取得できます。

出力結果。
bandicam 2017-06-23 15-35-30-944

お察しの通り、メタトレーダーではHTML、Javascript、CSSの表示はできないため、この取得したデータをスクレイピングする必要があります。

本来は一度、自前のWEBサーバーでスクレイピングしたものに対して、メタトレーダーからアクセスした方が効率がいいのですが、(PHPの方がスクレイピングのライブラリが充実しているため)

 

EAからWEBサイトの情報を収集するときにどのタイミングで整形するのか問題

繰り返しになりますが、MT4ではEAを経由して各種WEBサイトの情報を参照することが可能です。

これにはWebRequest関数を使う訳ですが、この関数自体にはURLを指定して、そのページのコンテンツを引っ張ってくる能力しかありません。

 

しかもこれはすべてのタグを含むHTML情報なので、欲しいコンテンツを得るにはその取得データを整形する必要があります。(ちなみに、参照できるWEBサイトに制限はありません。ログインが必要なWEBサイトでもログインを自動化して収集できちゃいます。)

 

EA上でパース・スクレイピングする

とりあえず、データを全部取得してからEA上でパースする(文字情報を整形すること)ことも可能です。

 

以前の投稿では「専用の関数もないから絶対にやめた方が良い」と書いたのですが、MQL5フォーラム上のもの好きな方がパース用のライブラリを書いてくれたので、それを使えば比較的簡単にパースできるんじゃないかと思います。

 

詳しくはそちらのページで

https://www.mql5.com/en/articles/5706

https://www.mql5.com/en/market/product/12635

(ただし、35ドルかかります)

 

たぶん、現実的にはこれを使うのが一番いいんじゃないかと思います。

MQLしか触ったことがない人にとっては”パーサー”の使い方にちょっと戸惑うかもしれませんが、PHPとかWEB系の言語を触ったことがある人にとっては、Simple DOM Parserに近い環境にしてくれているのでとっつきやすいと思います。

 

デメリットとしてはMT4のバージョンアップでこのライブラリが使えなくなる可能性です。(とは言いつつ、しばらくは大丈夫なんじゃないっすか~)

 

自前サーバー上でパースする

これまで提案してきた方法です。一度自前のサーバーにパース用のPHPファイルを置いておいて、EAからはその自前サーバーに対してアクセスをするという方法です。

この場合、多くの人が使っているPHPのライブラリであるSimple DOM parserが使えるので、コードをパクってくるのもちょっと検索すれば簡単です。

 

デメリットとしては、サーバーを持っていない人の場合、これだけのためにサーバーを契約するのはちょっとめんどくさいかもしれません。

 

少し無理やりMQLでスクレイピングします。

EA内でスクレイピングしてみる

WEBサイトから取得したデータのスクレイピングです。
スクレイピングとは、すごい長い文字列から欲しい文字列だけを抽出することです。

WEBサイトの構成

基本的にWEBサイトは、

の構成になっています。

まず第一段階として、ヘッダの情報はいらないので削除します。

StringFindで<bodyまでの文字数をカウントし、最初からそのカウントまでの文字を””に変換します。

<body>としてタグを閉じてしまうと、<body class=””…となっているWEBサイトの場合に対応できないので、<bodyで検索をかけます。

(<スペースbody となっていないことを祈るばかりです。)

これでHTMLのbodyだけを抽出できました。

あとはこれの繰り返しです。

多くのサイトはテンプレートを使っているかワードプレスのようなCMSなので、同じような構成です。

テンプレートを使っていない場合でも、基本となる”暗黙の了解”のようなものがWEBの世界にはあるので、

メインとなる箱はたいてい
<div class=”main”>とか<div id=”wrapper”>とか<div class=”container”>
とかだったりします。

ある程度欲しい情報のまとまりが取れてきたら、今度はHTMLタグを外します。

また、日本語のサイトを表示させようとすると文字化けすることがありますが、
これはもう仕方ないです。

“自サーバーで一度文字コードを変換する”とかしかありません。

基本的にMQLは文字化けに滅茶苦茶弱いので、というか文字化けに対応させようとする気がメタクオーツ社にあまりないので、

MQL内で文字コードの変換はできないものと思っておいてください。
(今後のアップデートで改良される可能性はわずかながらにあるかもしれません。)

 

また、WebRequestはティック更新ごとに行うと十中八九Dos攻撃とみなされ、WEBサーバーがアクセスを一定時間拒否します。

1分に一回くらいのアクセスにしておきましょう。

(逆に言えば、EAでDos攻撃ができるわけです。)

 

 

 

WebRequestのヘルプのPOSTのサンプルコードが間違っている件と代替コード

最近になってMQL4でもオンラインに接続できるようになりましたが、WebRequestのPOSTには意外と厄介な点があります。

というのも、
WebRequestのヘルプのリファレンスが間違っていて、いつまでも修正されないという問題があるからです。(英語で検索すればこの件に関する騒ぎがヒットすると思います)

GETを使えば問題ないのですが、セキュリティの問題などでPOSTを使った方が良いことも多々あります。

また、WEBサイト上でログイン操作が必要な場合、POSTは必須になります。

下記はWebRequestでPOSTするための関数です。

このSendPost()をOnInitやOnCalculate内に貼り付けることで、
POSTを実行できます。

PHPでデータを取得する場合は$_POST[‘bid’]などで取得できます。

第3者のウェブサイトにログインする場合は、
そのログインフォームのinputのnameを取得して、
nameと一致するようにPOSTデータを送信します。

(ここら辺が何言ってるか分からない場合は、HTMLのフォームについて調べてみてください。)

また、
これを応用すれば、オンラインで口座認証したり、
サーバー側からEAを管理することが可能になります。

使い方を変えれば、ティック毎にサイトにアクセスするDos攻撃にもなりますので、

あまり頻繁にアクセスしないようにしましょう。

 

 

 

この投稿は役に立ちましたか? 役に立った 役に立たなかった 0 人中 0 人がこの 投稿 は役に立ったと言っています。

Message

メールアドレスが公開されることはありません。

CAPTCHA


関連記事

[MT4]EAに口座縛り/期間限定縛りをかける種類と方法(MT5)

良いEAができると、クレクレ厨がよってきますが、身内の人にならひっそりと配布したい場合もあります。

記事を読む

(MQL4プログラマのための)先に知っておくと時間を節約できるMQL4の仕様

ほとんどの人には関係ない記事だと思います。 開発者の方が検索してたまたま見てもらうような覚書です。

記事を読む

2chの市況版のスレをテキストマイニングして逆張りするやり方

よく「大衆の逆をいけば勝てる」みたいなことが相場の世界では言われますよね。 今回は2chの市況版の

記事を読む

[MQL4]EAの稼働が終了しても、データを記録しておく方法

(注:ディープラーニング関連の話ではありません。) MT4のEA、インジケーターは、基本的にバック

記事を読む

[MT4EA]完全無敗 勝率100%のバックテストを生成するEA[ソースコードあり]

今回はバックテストで完璧な成績を出すEAを作成しました。 意味は...ありません。ただの道楽です。

記事を読む

 
  • fxfx.work

    (↑広告です。このサイトの管理者の運営ではありません)

     


  • 横瀬兼元(ペンネーム)です。

    プロフィール
    商材を買わせようとする偽者がいるらしいのでご注意ください。
    ツイッター始めました(イマサラー)
    https://twitter.com/FxantennaC
    (埋め込みするとページ表示が極端に遅くなるので、リンクでご容赦を) 4000文字未満のトピックや話題はツイッターで発信しています。
  • fxfx.work

    (↑広告です。このサイトの管理者の運営ではありません)

Translate »
ページトップへ