PostgreSQL で使用できる全文検索の拡張に PGroonga という高速で高性能な拡張があります。 PGroonga は、全言語対応の超高速全文検索機能を PostgreSQL で使えるようにする拡張で、 安定して高速で、かつ高機能（同義語、表記ゆれや異字体への対応、類似文書検索などが使えます）です。 Amazon RDS は Amazon がクラウド上で提供する RDBS サービスで、データベースのインストールや パッチ適用、スケールアウト、バックアップなどを Amazon が面倒をみてくれるため、 運用上の手間を大幅に減らすことができます。 Amazon RDS は、とて...

PostgreSQLで日本語の全文検索をするには、LIKE演算子を使って実現できますが、インデックスを使用しないため、データ量が多い場合には低速です。 英文については、インデックスを使用した全文検索が可能ですが、日本語には対応していません。 PGroonga(ぴーじーるんが)は、全言語対応の高速な全文検索機能をPostgreSQLで使えるようにする拡張で、安定して高速で、かつ高機能です。 本発表では、PGroongaの速さや便利さを紹介します。

PostgreSQL で使用できる全文検索の拡張に PGroonga という高速で高性能な拡張があります。 PGroonga は、全言語対応の超高速全文検索機能を PostgreSQL で使えるようにする拡張で、 安定して高速で、かつ高機能（同義語、表記ゆれや異字体への対応、類似文書検索などが使えます）です。 Amazon RDS は Amazon がクラウド上で提供する RDBS サービスで、データベースのインストールや パッチ適用、スケールアウト、バックアップなどを Amazon が面倒をみてくれるため、 運用上の手間を大幅に減らすことができます。 Amazon RDS は、とて...

PostgreSQL で使用できる全文検索の拡張に PGroonga という高速で高性能な拡張があります。 PGroongaはインストールも難しくなく、インデックスの設定もそれほど複雑ではないので、高速な全文検索を容易に利用できますが、 レプリケーションを使用した運用においては注意が必要な点があります。 本発表では、後のトラブルを防ぐために知っておいたほうが良いことや、トラブルを防止するためのメンテナンス方法について紹介します。

PostgreSQL で使用できる全文検索の拡張に PGroonga という高速に全文検索できる拡張があります。 PGroongaはバックエンドに本格的な全文検索エンジンGroongaを使っており、高速な全文検索以外にも、 より良い検索結果を出すための機能(検索結果の適合率や再現率の向上や、より良い結果順にするためのスコアリング) が盛り込まれています。 PGroongaはPostgreSQLの拡張なので、SQLベースでこれらの機能を使うことができ、 SQLを使い慣れている人であれば、比較的スムーズにこれらの機能を使えます。 本発表では、全文検索結果をより良くするPGroongaの...

MySQLのデータを全文検索したいときの良くあるアプローチは以下の3つがありますが、それぞれ課題があります。 1. MySQLのデフォルトのストレージエンジンInnoDBの全文検索機能を使う。 2. 別途Elasticsearchを用意し、アプリケーションでMySQLとElasticsearchのデータを同期し、検索はElasticsearchで行う。 3. 別途Elasticsearchを用意し、Logstashを使ってMySQLのデータをElasticsearchに同期する。 上記のアプローチの課題を解決する方法として、GroongaとGroongaのデータをMySQLに取り込む...

Apache Arrowが解決したい問題、設計方針、速さの秘密、現在できること、今後できるようになることなど、Apache Arrowを知らない人でもApache Arrowのことがわかるようになる説明をします。

Apache Arrowが解決したい問題、設計方針、速さの秘密、現在できること、今後できるようになることなど、Apache Arrowを知らない人でもApache Arrowのことがわかるようになる説明をします。

Apache Arrowの開発に参加したい人のためにApache Arrowの情報を紹介します。

2019年12月時点のApache Arrowの最新情報を紹介します。

細胞分化の軌跡推定に関するソフトウェアTreefitのパッケージまわりについ て紹介します。

16期目のクリアコードでなにをやりたいか

17期目のクリアコードでなにをやりたいか

CROSS 2015のセッション「全文検索エンジン群雄割拠〜あなたが使うべきはどれだ！〜」でGroongaと他の全文検索エンジンとの違いの説明です。

Apache Arrowはデータ分析システム間でのデータ交換を効率化することを目的としたデータフォーマットです。pandasやApache SparkやRなど主要なデータ分析システムはApache Arrowの対応を進めています。近い将来、データ分析システム間でのデータ交換はApache Arrowを使う状態になるでしょう。RubyもApache Arrowに対応することで既存のデータ分析システムとデータ交換できるようになります。これで、Rubyもデータ分析システムの一部でデータ処理をできるようになります！

Apache Arrow、Red Arrow、Red Data Toolsという観点からRubyにおけるデータ処理の現状を説明します。

ビッグデータは現実的な時間で処理できてこそ活きます。処理時間はデータ処理アルゴリズムの計算量だけで決まり…ません！適切なノードにデータを配置しないとそもそもデータ処理できませんが、大量ノードが協調するビッグデータ処理ではデータ移動コストを無視できません。Apache Arrow Flightを使えばネットワーク帯域限界まで高速にデータ転送できます。 このセッションではApache Arrow Flightの仕組みおよび利用例として分散計算プラットフォームApache Arrow Ballistaを紹介します。

2020年代、ビッグデータをどう扱えばよいか。今は各プロダクト毎に効率的な扱い方を実装していますが、2020年代はそんな時代ではありません！ビッグデータの扱いでも、共通で必要なものはプロダクトを超えて協力して開発して共有する、そんな時代です！ビッグデータのための共通基盤、それがオープンソースのApache Arrowです。AmazonもGoogleもNVIDIAも開発に参加しています。 このセッションではApache Arrow開発チームの主要メンバーがApache Arrowフォーマットがなぜ速いのかを説明します。

MySQLとPostgreSQLの全文検索機能は高速でリッチな全文検索システムを作るには機能・性能不足です。外部の全文検索サービスを利用することでそんなシステムを作れますが、複数の場所で同じデータを管理するためシステムの開発と運用が複雑になります。MySQL・PostgreSQLだけで作れれば…そこでMroonga・PGroongaです。Mroonga・PGroongaを使ってMySQL・PostgreSQLだけで高速でリッチな全文検索システムを作る方法を紹介します。

ナイーブな全文検索は単なる中間一致検索です。しかし、現実に人が入力するテキストは揺れまくっているので単なる中間一致検索では必要な情報を見つけられません。たとえば、「(090)1234-5678」も「０９０ー１２３４ー５６７８」も「09012345678」もすべて同じ電話番号として扱いたいのが現実です。 MySQLとPostgreSQLの全文検索機能ではこのようにゆるい全文検索を高速に実現することができません。そこでMroonga・PGroongaです。Mroonga・PGroongaを使ってMySQL・PostgreSQLだけで高速にゆるく全文検索する方法を紹介します。