09. Mongodb - GridFS

스터디도 종료됐고, 따로 포스팅도 하려했지만 정리 할 수록, 

책 정리하면서 포스팅 하는건 별로 의미가 없는것 같아서(내용이 너무 깊어서 포스팅이 벅차다..)

GridFS를 마지막으로 몽고디비포스팅은 끝내고 몽고디비를 이용한 프로그램하나 만들어보면서 

사용법을 익히는게 더 좋을것 같다. 언제가 될진 모르지만 완성되면 공개....

스터디 github : https://github.com/KWSStudy

몽고디비 정리 wiki : https://github.com/KWSStudy/Mongodb/wiki

-----------------------------------------------------

목표

• GridFS의 개념익히기
• java-mongodb 드라이버를 이용한 간단한 몽고디비 연동 및 GridFS 샘플

책에 나온 GridFS

• 어플리케이션에서 이미지, 섬네일, 비디오등 이진파일을 저장하기위해 파일 시스템에 의지.
• 파일 시스템은 액세스를 빠르게 해주지만, 수 만건 이상의 파일 관리시에 데이터 구조에 혼란을 초래함.
• 파일의 메타 데이터는 데이터 베이스에 저장할 경우 실제 파일과 메타데이터간의 정확한 백업이 복잡해짐.
• 파일 구조와 백업을 간단히 하기위해 파일을 데이터 베이스 자체에 저장하는 것이 합리적일 경우 사용.
• 파일 하나당 하나의 도큐먼트를 사용하는 것은 소량(1MB이하)의 이진객체에 적합.
• 대용량의 파일은 GridFS를 사용.

GridFS의 개념

• GridFS는 BSON 문서 크기 제한인 16MB를 초과하는 파일을 저장하고 검색하기위한 기능.
• GridFS는 파일을 하나의 문서에 저장하는 대신 파일을 여러 부분의 chunk로 나누고 각 chunk를 별도의 문서로 저장한다.
• 기본적으로 GridFS는 255KB의 chunk를 사용한다.
• GridFS는 파일 청크 콜렉션(bucket.chunks), 파일 메타 데이터 콜렉션(bucket.files)을 사용하여 파일을 저장한다.
• GridFS에 파일을 쿼리하면, 드라이버는 필요에 따라 청크를 재조합한다.
• GridFS를 통해 저장된 파일에 대해 범위 쿼리를 수행 할 수 있다.
• 비디오 또는 오디오 파일의 중간으로 건너 뛰는 것과 같이 파일의 임의 섹션에서 정보에 액세스 할 수도 있다.
• GridFS는 16MB를 초과하는 파일을 저장할 때, 전체 파일을 메모리에 로드하지 않고 액세스하려는 파일을 저장 할 수있다.
• 버전 2.4.10에서 변경 : 기본 청크 크기가 256KB에서 255KB로 변경됨.

GridFS 사용시기

• 시스템보다 큰 파일을 저장하는 것이 MongoDB 데이터베이스에서 더 효율적일 수 있다.
• 파일 시스템이 디렉토리의 파일 수를 제한하는 경우, GridFS를 사용하여 필요한만큼의 파일을 저장할 수 있다.
• 일부 정보에 액세스하려는 경우 GridFS를 사용하여 전체 파일을 메모리로 읽지 않고 필요한 파일 섹션을 호출 할 수 있다.
• 파일 및 메타 데이터를 여러 시스템 및 시설에 자동으로 동기화 및 배포하려는 경우 GridFS를 사용할 수 있다.
• 분산 된 복제 세트를 사용할 때, MongoDB는 여러 mongod 인스턴스와 기능에 파일과 메타 데이터를 자동으로 배포 할 수 있다.
• 전체 파일의 내용을 원자 적으로 업데이트해야하는 경우 GridFS 사용을 권장하지 않음.
• 대안으로 각 파일의 여러 버전을 저장하고 메타 데이터에 파일의 현재 버전을 지정 한다.
• 새 파일을 업로드 한 후 "최신"상태를 나타내는 메타 데이터 필드를 업데이트하고 필요하면 이전 버전을 제거.
• 파일 크기가 16MB보다 작 으면 GridFS를 사용하는 대신 단일 문서에 파일을 수동으로 저장하는 것이 좋다.
• BinData 데이터 형식을 사용하여 이진 데이터를 저장할 수 있다.
• BinData 사용에 대한 자세한 내용은 드라이버 설명서를 참조하십시오.

몽고디비 연동 및 GridFS 샘플

• java-mongodb 드라이버연동

//클라이언트 연결
MongoClient client = new MongoClient("localhost");
//데이터베이스 선택
MongoDatabase database = client.getDatabase("tutorial");
//컬렉션 선택
MongoCollection<Document> collection =  database.getCollection("numbers");

• GridFS 샘플

//GridFS가 생성될 컬렉션 이름
final String bucket = "test";
//GridFS를 이용해 저장할 파일명
final String filename = "test.JPG";      
//bucket명으로 지정한 GridFS연결 생성
GridFSBucket gridFSBucket = GridFSBuckets.create(database,bucket);
//사용자 정의 metadata에 저장될 샘플 BsonDocument
ObjectId etag = new ObjectId();
BsonDocument metadata = new BsonDocument();
metadata.put("_etag", new BsonObjectId(etag));

GridFSUploadOptions options = new GridFSUploadOptions().metadata(Document.parse(metadata.toJson()));
//GridFS를 이용해 저장할 파일 InputStream 생성
InputStream sourceStream = MongoConnector.class.getResourceAsStream(filename);

//GridFS를 이용해 파일 저장 후 _id값 받아오기          
ObjectId _id = gridFSBucket.uploadFromStream( filename, sourceStream, options);
//저장된 _id값 출력
System.out.println(_id);

• mongodb에서 확인

//생성된 GridFS 컬렉션 확인
> show tables;
numbers
test.chunks
test.files
//생성된 chunk 수 확인
> db.test.chunks.count()
25
//저장된 file 정보 확인
> db.test.files.find().pretty()
{
        "_id" : ObjectId("58477396f034dd1b840b32d4"),
        "filename" : "test.JPG",
        "length" : NumberLong(6341811),
        "chunkSize" : 261120,
        "uploadDate" : ISODate("2016-12-07T02:27:35.304Z"),
        "md5" : "48b2a854b5deb75370fcaaef52c865e6",
        "metadata" : {
                "_etag" : ObjectId("58477396f034dd1b840b32d3")
        }
}
>

• 저장된 GridFS를 이용해 파일 가져오기

//bucket명으로 지정한 GridFS연결 생성
GridFSBucket downloadGridFs = GridFSBuckets.create(database,bucket);
//지정된 파일명에 해당하는 id가져오기
ObjectId fid = downloadGridFs.find(Filters.eq("filename", filename)).first().getObjectId();
//가져온 파일을 d:/mongo.JPG에 저장
downloadGridFs.downloadToStream(fid, new FileOutputStream(new File("d:/mongo.JPG")));

---

• 샘플소스 전체 보기
• 이진 데이터