hdfsにある圧縮ファイルにログを書き込む/追加することはできますか?

私は、ハープとハイブをテストしています。ログ解析にそれらを使用したいのです。

ここで私は質問がある、私は/ hdfsにある圧縮ファイルにログを追加/追加できますか?

私たちのシステムは毎日たくさんのログファイルを生成し、毎時間これらのログを圧縮し、それらをhdfsに入れます。

しかし、すでにhdfsに入っていて圧縮されているファイルにログを書きたいのですが?

これらのファイルは圧縮されていませんか?この作業は簡単ですが、圧縮ログにログを書き込む方法や追加する方法はありますか?

それをしてもいいですか?

誰か私にいくつかのアドバイスを与えたり、いくつかの例を教えてもらえますか?

どうもありがとうございました!

0

2 答え

HDFSはどんなファイルシステムにも似ています(ただし、配布されています)。圧縮アルゴリズムが追加をサポートしている場合、HDFSで追加することが可能でなければなりません。 Hadoopリリースの一部だけがHDFS追加をサポートしていることに注意してください。

0
追加された
Parveenに感謝します。だから、hdfsの圧縮ファイルにログを書き込んだり追加したりすることはできないようです。私はこの仕事をする他の方法を見つけます、ありがとう。
追加された 著者 SSolid,

zlibディストリビューションには、これを行う2つのプログラム例があります。 gzappendとgzlogです。 http://zlib.net からzlibディストリビューションを入手できます。

0
追加された